

步骤一、打开网页
在首页【新建】-【自定义任务】-【手动输入】网址 https://movie.douban.com/subject/36809864/comments、https://movie.douban.com/subject/36448279/comments ,然后点击【保存设置】,八爪鱼自动打开网页并生成循环网址步骤。
步骤二、创建【循环列表】
1、通过以下连续4步,采集所有图书评论列表中的数据 ①、选中页面上1个评论列表(注意一定要选中整个列表,包含所有所需字段) ②、在黄色操作提示框中,点击【选中全部子元素】 ③、点击【选择全部子元素】 ④、点击【元素中数据内容】特别说明:
- a. 经过以上连续4步,【循环-提取数据】创建完成。【循环】中的项,对应着页面上所有图书评论列表,【提取数据】中的字段,对应着每个图书评论列表中的字段。启动采集以后,八爪鱼就会按照循环中的顺序依次提取每个列表中的字段。
- b. 为何通过以上4步,可建立【循环-提取数据】?详情点击查看 列表数据采集教程 。
步骤三、编辑字段
1、编辑字段 在【当前页面数据预览】面板中,删除不需要的字段,同时修改字段名称。 2、添加更多字段 默认提取的是评价中的字段。其他字段,如:作品名、星级、看过人数、页面网址等,需手动添加。 【电影名】:选中电影名, 在操作提示框中,点击【文本内容】 【看过人数】:选中看过人数, 在操作提示框中,点击【文本内容】 【星级】:选中星级, 在操作提示框中,点击【Outer Html】 【页面网址】:在【当前页面数据预览】面板中,点击【+】→ 【添加当前网页信息】 →【网址】 可以通过拖拽字段修改字段的顺序步骤四、格式化数据
1、去除【电影名】字段中的【短评】文字 提取作品名时,都会带上【短评】2字。如果不想带有【短评】2字,请按以下步骤操作: 点击【电影名】字段后的 … 按钮 → 【格式化数据】→【添加步骤】→【替换】,将【短评】替换为【空】,然后保存设置。 2、【看过人数】字段只保留纯数字 点击【看过人数】字段后的 … 按钮 → 【格式化数据】→【添加步骤】→【正则匹配】,正则表达式\d+,然后保存设置 3、 【星级】字段格式化 在步骤三中,将【星级】字段对应的源码提取下来。但是源码中有许多无效信息,如果需要精准将【星级】提取出来: 点击【星级】字段后的 … 按钮 → 【格式化数据】→【添加步骤】→【正则表达式匹配】→ 匹配user-stars 和rating之间的数据→【确定】,得到【allstar50】,即评分为50。特别说明:
步骤五、创建【循环翻页】
1、建立【循环翻页】 如果只是采集一页数据,可跳过此步骤。 如果需要翻页以采集多页数据:选择页面中的【后页】按钮,在操作提示上单击【循环点击单个链接】,创建【循环翻页】。特别说明:
- a. 为什么重复翻页?这是因为【循环翻页】默认生成的XPath,不仅可以定位到【下一页】的按钮,还能同时定位到【上一页】或者【首页】等,导致不断重复提取某页或某几页内容,因此我们需要修改翻页按钮的XPATH。这里需要一定的XPath知识。点击查看 XPath学习与实例教程 。
步骤六、启动采集
1、单击【采集】并【启动本地采集】。启动后八爪鱼开始自动采集数据。特别说明:2、采集完成后,选择合适的导出方式导出数据。支持导出为Excel、CSV、HTML、数据库等。这里导出为Excel。\
- a. 【本地采集】是使用自己的电脑进行采集,【云采集】是使用八爪鱼提供的云服务器采集,点击查看 本地采集与云采集详解。

