需求

用户提供美国亚马逊的商品 id,程序根据商品 id,抓取回来用户评论的所有信息,存储在 sqlite 中,并提供数据清洗功能。

需求分析及实现

需求明确,耗时部分主要是分析 amazon.com 网站的网页结构,数据提交时的参数,返回的数据中,如何提取出来需要的信息,同时还要实现对运行状态的控制,要求能够在程序失败后,重新启动程序后,还能够继续从上次失败的地方继续运行抓取程序。

同时程序还要能支持增量更新。

完成时间

2017/04/25 日上午