小红书作为日活用户3.2亿的社交平台,每天有3900万用户有明确的商品求购行为。
一位做电商的朋友问我,有没有办法用AI做小红书的选品数据分析?
有的兄弟,我上手实测了一套“爬取+AI分析”组合,批量拿到评论再做分析洞察。
采用2款工具
- • MediaCrawler,开源的多平台自媒体数据采集工具。
- • NotebookLM,谷歌推出的AI驱动智能笔记平台。
成果展示
以“苏式绿豆汤”为例\
跑一遍核心流程
项目需要安装前置依赖uv、Node.js,可参考官方指南安装。
首先,创建项目文件夹,执行git clone https://github.com/NanmiCoder/MediaCrawler.git将项目代码拉下来。
执行uv sync安装依赖。
执行uv run playwright install安装浏览器驱动。
通过uv run uvicorn api.main:app --port 8080 --reload在8080端口启动API服务器,访问http://localhost:8080即可打开可视化操作界面。
输入关键词,点击“开始爬虫”。
需要扫码登录后开始爬取评论。
爬取结果在项目文件夹中/data文件夹下查看。
打开NotebookLM,点击新建笔记本。
点击添加来源,爬取的数据可以选择csv、json、excel等格式,这里由于我们是json,直接当作文字添加进去。中间会展示对发帖及评论的概括,右侧可以生成PPT、信息图、表格等。
对内容提问并生成PPT与信息图。
可以看到,目前苏式绿豆汤主要存在“豆子不够熟、配料品质不够高、卫生不够好”等小作坊制作的普遍问题。这些真实评论揭示的问题,为后续的改进提供了方向。
PPT与信息图生成如下。
进阶一些
如果使用Codex、Claude Code或者龙虾等,可以告诉他安装MediaCrawler,通过MCP链接NotebookLM,实现一站式数据分析。
为了避免去踩缝纫机,尽量不要大规模的去爬数据。如果实在一次性的数据需求大了一些,请用代理池并开启CDP模式,降低被封禁概率并提高速度。