采集场景

进入同花顺基金净值查询页面:http://fund.10jqka.com.cn/datacenter/jz/ ,输入查询时间后搜索,采集搜索后得到的多个基金净值数据。

 

采集字段

序号、基金代码、基金代码链接、基金名称、基金链接、相关内容、相关内容链接、单位净值、累计净值、增长值、增长率、申购状态、赎回状态、当前采集时间等字段。

 

点击查看高清大图,下文其他图片同理

 

采集结果

采集结果可导出为Excel,CSV,HTML,数据库等多种格式。导出为Excel示例:

 

 

采集步骤

步骤一、打开网页

步骤二、输入时间并搜索

步骤三、创建【循环-提取数据】,采集所有表格中的数据

步骤四、编辑字段

步骤五、设置滚动加载更多数据

步骤六、启动采集

 

步骤一、打开网页

 

在首页【输入框】中输入目标网址 http://fund.10jqka.com.cn/datacenter/jz/,点击【开始采集】,八爪鱼自动打开网页。

 

 

特别说明:

a. 打开网页后,如果开始【自动识别】,请点击【不再自动识别】或【取消识别】将其关掉。因为本文不适合使用【自动识别】。

b. 【自动识别】适用于自动识别网页上的列表、滚动和翻页,识别成功后直接启动采集即可获取数据。详情点击查看 【自动识别】 教程。

 

步骤二、输入时间搜索

 

1、建立【输入文本】步骤

打开网页后, 选中净值日期搜索框,在操作提示框中,点击【输入文本】,输入要搜索的时间,示例中输入的是 2020-8-22,点击【确定】保存。

输入时间后,网页会自动开始搜索,等待一段时间后,目标数据出现。

 

2、设置等待

进入【输入文本】设置页面,设置【执行前等待】3s,以让网页有充分的加载时间。

 

 

特别说明:

a. 执行前等待,即在执行此步骤前等待一段时间,可有效避免因网页未加载完全导致的漏数据,详情点击查看 执行前等待使用场景与设置方法

 

步骤三、创建【循环列表】,采集所有搜索结果列表中的数据

 

表格是列表数据的特殊形式,通过以下4步,可创建一个【循环-提取数据】,让八爪鱼自动识别并采集所有表格中的字段。

 

① 先选中页面上第一行数据的第一个单元格,再点击提示框右下角的TR按钮,以选中一整行

② 在黄色操作提示框中,点击【选中子元素】

③ 点击【选择全部】

④ 点击【采集数据】

 

 

特别说明:

a. 经过以上连续4步,【循环-提取数据】创建完成。【循环】中的项,对应着页面上所有行数据,【提取数据】中的字段,对应着每行的每个字段。启动采集以后,八爪鱼就会按照循环中的顺序依次提取每行表格中的字段。

b. 为何通过以上4步,可建立【循环-提取数据】?详情点击查看 采集表格数据

 

步骤四、编辑字段

 

在【当前页面数据预览】面板中,可删除多余字段,修改字段名,移动字段顺序等。

 

步骤五、设置滚动加载更多数据

 

此页面向下滚动页面,可以加载出更多基金净值数据,在八爪鱼中也需进行滚动设置。

由于此网页比较特殊——在【输入文本】后可自动搜索数据,无需点击搜索等操作,但是【输入文本】步骤不支持设置向下滚动。

因此,我们需要在【输入文本】步骤后,新建一个【点击元素】步骤,对【点击元素】步骤设置滚动,以完成页面滚动。

 

1、新建一个【点击元素】步骤

① 选中页面空白的地方,在操作提示框中选择【点击该元素】,生成一个【点击元素】步骤。

② 将【点击元素】步骤拖动到【输入文本】后。

③ 进入【点击元素】设置页面,设置AJax超时为7秒,执行前等待15秒,以让数据充分加载出来。

 

 

特别说明:

a. 这里新建的【点击元素】步骤是为了滚动页面服务的,并不是为了点击,因此,选择任何空白页面创建点击都可。

b.  使用了Ajax技术的网页,八爪鱼会自动判断并设置一定的【Ajax超时】。如果系统自动设置的【Ajax超时】过短,可根据采集需求和网页加载情况进行调整,详情点击查看 Ajax教程 。

c. 执行前等待,即在执行此步骤前等待一段时间,可有效避免因网页未加载完全导致的漏数据,详情点击查看 执行前等待使用场景与设置方法

 

2、设置滚动

再次进入【点击元素】设置页面,点开【页面加载后】,设置【页面加载后向下滚动】,滚动方式为【向下滚动一屏】,【滚动次数】为10次,【每次间隔】2秒 ,设置后点击【应用】保存。

 

 

特别说明:

a. 设置中的滚动次数和时间间隔,请根据采集需求和网页加载情况进行设置,并非是一成不变的,具体请点击查看 处理滚动加载数据的网页教程

 

步骤六、启动采集

 

1、单击【采集】并【启动本地采集】。启动后八爪鱼开始自动采集数据。

 

 

2、采集完成后,选择合适的导出方式来导出数据。支持导出为Excel,CSV,HTML,数据库等。这里导出为Excel。

 

 

示例数据:

 

 

作者:Fan

编辑:Aisling