速卖通发布无忧物流和线上发货禁运品规则升级通知
780
2022-06-27
因为QA模块信息太重要,所以写个QA自动爬取程序,在浏览器中爬取竞品QA。
部分数据效果图如下。
本文分4个部分:
1. QA的作用
2. 使用步骤3. 触类旁通思路4. 工具代码
一、QA的作用
1. 从竞品中找到买家关注的点,进行产品优化及问题规避
2. 弱客服情况下,尽可能从QA层面解答买家疑问,提高转化率
二、使用步骤
1. 谷歌浏览器中安装web scraper插件
2. 导入文章末尾代码
3. 设置需爬取的链接
https://amazon.com/ask/questions/asin/爱森跨境/[1-n]?sort=SUBMIT_DATE
* 将‘爱森跨境’换成想爬的ASIN
* 将‘[1-n]’中的n换成想爬取的页数
4. 点击爬取按钮、下载表格
三、触类旁通思路
爬取思路很简单,针对QA模块,当然能收集到的数据有很多,可以按思路自定义自己的爬取规则
1. 分析网页结构,打开QA模块主页
https://amazon.com/ask/questions/asin/B08D6CLGLH/1?sort=SUBMIT_DATE
根据网页分析,得出三点结论:
* 链接拼凑结果为 公共部分+ASIN+页序号+排序方式
* 排序方式有两种 Most Helpful first 和 Newest first。对应字段值为SUBMIT_DATE、HELPFUL
* 遇到多条回答的问题,无法展开,只能跳到问答详情页
因此,根据流程,要爬取一个问题的所有回答,则必须抓取详情页数据。问答详情页分析如下:
由图可知,一个问答对应一个问答ID,问答详情页面也是由该ID拼接而成。所以只需打开不同问题拿到对应问题下的所有回答就好。
加入我们获取更多纯干货内容,教你如何用通俗代码解决平常数据收集和分析问题。
发表评论
暂时没有评论,来抢沙发吧~