免费下载

八爪鱼采集器 - 最好用的网页数据采集器,超过40万用户首选网页采集软件

  1. 软件版本:V6.4.3
  2. 支持系统:32/64位 XP / Vista / Win7 / Win8 / Win8.1 / Win10
  3. 更新日期:03月22日 (新版功能)
免费下载
官方论坛解答
点击提问
免费版QQ群
1群:470619317 点击加入
2群:451754429 点击加入
3群:106739425 点击加入
4群:145803152 点击加入
专业版QQ群
3群:135071723 限专业版用户
2群:385161018 限专业版用户
1群:475423041 限专业版用户
旗舰版QQ群
3群:196097783 限旗舰版用户
2群:286777906 限旗舰版用户
1群:130849246 限旗舰版用户
站长采集交流群QQ群
2群:304456535 点击加入
1群:492396817点击加入
down

单个文本输入及登录

标签: 进阶教程,进阶 2015/8/4 16:38:10

本文给大家演示单个文本输入,及登录采集的方式。

除了文本输入的登录方式,还有另一个登录方式——cookie登录

首先打开八爪鱼采集器→点击快速开始→新建任务,进入到任务配置页面:

图片1

选择任务组,自定义任务名称和备注;

图片2

 

上图配置完毕之后,选择下一步,进入到流程配置页面,往流程设计器中拖入一个打开网页的步骤;

图片3

 

选中浏览器中的打开网页步骤,在右边的页面URL中输入网页URL并点击保存,系统会在软件下方的浏览器中自动打开对应网页:

图片4

 

上图的浏览器中大家可以看到网页我们需要输入电影名称,然后获取上映时间和剧情。我们选择上图中的电影输入框,在弹出的对话框中选择输入文本。 

图片5

 

完成上述操作之后,页面流程如下所示,

图片6

然后输入我们需要查询的文本,点击保存,如下图所示,浏览器会自动显示输入的文本

图片7

配置完成之后,点击浏览器中的查询按钮,在弹出的对话框中选择点击这个元素

图片8

这里的翻页其实涉及到了ajax延时加载,ajax异步更新其实就是一种脚本技术,通过在后台与服务器进行少量数据交换,意味着可以在不重新加载整个网页的情况下,对网页的某部分进行更新。

Ajax延时加载最明显的两个特征就是点击网页中某个选项的时候网址是不会有任何变化的,然后网页不是完全加载,只是局部有变化。如果符合这两个特征就是一个ajax网页。或者后面进行采集测试的时候,流程直接停止或者没跑完就提示采集已成功完成,基本都是这个问题导致的。原因就是八爪鱼的内置浏览器打开这个网页进行翻页的时候,由于网址没有变化只是局部内容有更新,所以收不到网页变化的信号,导致采集停止或者采集不到数据。

所以按照下图所示,需要在点击翻页的高级设置里面设置ajax加载,这个点击翻页的时间自己估算一下,大概是两秒完成点击步骤。

图片9

 

下面进行数据字段的提取。点击浏览器中需要提取的字段,在弹出的对话框中选择提取这个元素的文本

图片10

上述操作之后,系统会在页面的右上方显示我们将要抓取的字段;

注意提取数据也是要在循环里面

图片11

接下来配置页面中其他需要抓取的字段,配置完成之后修改字段名称。

图片12

 

修改完成之后点击下图中的保存按钮,再点开图中的数据字段可以看到,系统将会显示最终的采集列表;

图片13

 

点击上图中的下一步→下一步→启动单机采集(调试模式),进入到任务检查页面,以确保任务的正确性;

图片14

 

点击开始单机采集,系统将会在本地执行采集流程并显示最终采集的结果;

图片15

 

下面给大家演示用户名密码的登录方法

 首先打开八爪鱼采集器→点击快速开始→新建任务,进入到任务配置页面:

图片16

选择任务组,自定义任务名称和备注;

图片17

上图配置完毕之后,选择下一步,进入到流程配置页面,往流程设计器中拖入一个打开网页的步骤;

图片18

 

选中浏览器中的打开网页步骤,在右边的页面URL中输入网页URL并点击保存,系统会在软件下方的浏览器中自动打开对应网页:

图片19

下面进行输入用户名密码的步骤:

点击浏览器中的用户名输入框,在弹出的对话框中选择输入文本

图片20

完成上述流程之后,页面的流程如下:

图片21

在输入框中输入用户名并点击保存,系统将会在软件下方的浏览器中自动输入用户名:

图片22

接下来以同样的方式输入密码,完整之后如下图所示:

图片23

配置完成之后点击浏览器中的登录按钮,在弹出的对话框中选择点击元素:

同样这个点击元素这里涉及到了ajax,设置ajax之后如下图:

图片24

接下来进行数据字段的提取,点击浏览器中的登录成功在弹出的对话框中选择抓取这个元素的文本。

图片25

再以同样的方式提取页面中其他需要提取的元素:

图片26

配置完成之后修改字段名称,修改完成之后如下图所示:

查看数据字段可以看到系统将会显示最终需要采集的列表信息

图片27

点击下一步-下一步-启动单机采集(调试模式)进入到任务采集页面,系统将会在本地执行采集流程并显示最终采集的结果

图片28

 

下面演示具有验证码手动登录的方法:

注意此方法只适合单机采集,不适用云采集.

首先打开八爪鱼采集器→点击快速开始→新建任务,进入到任务配置页面:

图片1

选择任务组,自定义任务名称和备注;

图片2

上图配置完毕之后,选择下一步,进入到流程配置页面,往流程设计器中拖入一个打开网页的步骤;

图片3

选中浏览器中的打开网页步骤,在右边的页面URL中输入网页URL并点击保存,系统会在软件下方的浏览器中自动打开对应网页:

图片4

下面进行输入用户名密码的步骤:

点击浏览器中的用户名输入框,在弹出的对话框中选择输入文本

图片5

完成上述流程之后,页面的流程如下:

图片6

在输入框中输入用户名并点击保存,系统将会在软件下方的浏览器中自动输入用户名:

图片7

接下来以同样的方式输入密码,完整之后如下图所示:

图片8

接下来做验证码的设置:

点击上面验证码的输入框,在弹出的对话框中打×.

图片9

下面手动在浏览器中输入验证码:

图片10

配置完成之后点击浏览器中的登录按钮,在弹出的对话框中选择点击元素:

同样这个点击元素这里涉及到了ajax,设置ajax之后如下图:

图片11

 

由于我们需要在单机采集的时候手动输入验证码,那我们在点击元素这里手动配置执行前等待,以便后面单机采集的时候有足够的时间手动输入验证码,时间自己估算

图片12

接下来进行数据字段的提取,点击浏览器中的登录成功在弹出的对话框中选择抓取这个元素的文本。

图片13

再以同样的方式提取页面中其他需要提取的元素:

图片14

配置完成之后修改字段名称,修改完成之后如下图所示:

查看数据字段可以看到系统将会显示最终需要采集的列表信息

图片15

点击下一步-下一步-启动单机采集(调试模式)进入到任务采集页面,注意浏览器打开页面的时候我们在这里手动输入验证码

图片16

 

输入验证码之后,系统将会在本地执行采集流程并显示最终采集的结果

图片17

 

 



分享到: 更多
立即下载,体验更高效简单的数据收集吧! 免费下载

粤公网安备 44030502000701号