20190918 数据收集流程.docx

数据收集是IT行业中一个至关重要的环节，特别是在大数据分析和电子商务领域。本篇将详细解析如何通过爬虫技术从亚马逊网站上获取产品信息和评论数据，以及如何深入挖掘评论者的个人信息。 我们要获取的是产品的基础信息。以亚马逊的商品页面为例（如：https://www.amazon.com/Samsung-Galaxy-S9-Unlocked-Smartphone/dp/B079H6RLKQ/ref=sr_1_4?fst=as%3Aoff&qid=1568794581&rnid=2811119011&s=electronics&sr=1-4），我们可以抓取以下关键数据： 1. 产品名称：Samsung Galaxy S9 Unlocked Smartphone 2. 价格：实时变动，需要实时抓取 3. 颜色：例如黑色、银色等 4. 尺寸：手机大小规格 5. 样式：如标准版、特别版等 6. 样式名称或图案：若有特殊设计或包装 接着，我们需要关注用户评价部分： 1. 评论总数量 2. 产品平均评分：反映商品的整体满意度 3. 商品排名：基于亚马逊内部算法，反映商品销售情况 进一步，我们还需要收集每条评价的详细信息： 1. 评论者姓名 2. 是否有头像：0表示无，1表示有 3. 评论者徽章：如Vine Voice（亚马逊试用计划参与者） 4. 评分：1-5星 5. 评论标题 6. 评论日期 7. 商品的具体变体（如颜色、尺寸） 8. 是否为"Verified Purchase"：确保评论真实可信 9. 评论内容 10. 图片数量 11. 视频数量 12. 有用性投票：表明多少人觉得此评论有帮助 13. 评论的评论数量（comments数量） 对于评论者个人信息，我们还可以深入挖掘： 1. 评论者ID 2. 姓名 3. 地址：可能只显示国家或地区 4. 关注者数量：包括可见和隐藏的总数 5. 排名：亚马逊评论者排名 6. 有用性投票总数 7. 发表评论的总数 8. 收藏数量：心形图标表示被其他用户收藏的次数 9. 创意列表数量：评论者创建的商品列表数量 为了获取评论者的所有历史评论，我们需要访问他们的个人资料页面，如：https://www.amazon.com/gp/profile/amzn1.account.AFIK6OBC22BYZNNGBVVT6SCDYA2Q/ref=cm_cr_getr_d_gw_btm?ie=UTF8，并逐页抓取他们对其他商品的评价信息，包括上述所有细节。 爬虫技术在数据收集中的应用需要遵循网站的robots.txt文件规定，并确保不违反亚马逊的使用政策。同时，处理大量数据时，要考虑到数据清洗、存储和分析的问题，确保数据质量并从中提取有价值的信息。此外，使用代理IP、设置合理的爬取间隔可以防止被目标网站封禁，确保爬虫的稳定运行。