免费下载

八爪鱼采集器 - 最好用的网页数据采集器,超过40万用户首选网页采集软件

  1. 软件版本:V6.4.3
  2. 支持系统:32/64位 XP / Vista / Win7 / Win8 / Win8.1 / Win10
  3. 更新日期:03月22日 (新版功能)
免费下载
微信订阅号:八爪鱼采集器Live
扫一扫,关注我们
教程 | 功能点 | 实战案例
官方论坛解答
点击提问
免费版QQ群
1群:470619317 点击加入
2群:148686415 点击加入
专业版QQ群
3群:135071723 限专业版用户
2群:385161018 限专业版用户
1群:475423041 限专业版用户
旗舰版QQ群
3群:196097783 限旗舰版用户
2群:286777906 限旗舰版用户
1群:130849246 限旗舰版用户
站长采集交流群QQ群
2群:304456535 点击加入
1群:492396817点击加入
down

云采集为什么比单机采集还慢?

 

云采集的采集加速原理:

云采集是靠拆分任务加速的,一个任务拆分为多个子任务,分到不同的云服务器上运行,再回收每个云服务器上的数据传到数据库。

情况1,任务没有被拆分

没有被拆分的任务就是单机运行的速度,采集节点同样也只占1个,旗舰版的话最多还能运行同样不拆分的任务9个,每个都是单机速度,或者比单机慢,因为还要考虑任务需要上传到云端,云端分配任务到云服务器,云服务器将子任务运行起来,采到数据后数据上传到数据库,最后才展示到用户面前,这些过程都需要时间,但是对于有定时任务需求的用户还是很方便的,可以自动运行并合并累加每次运行出来的不重复数据。

情况2,任务单机运行本身就比较快

跟情况1一样,任务上传到云服务器到最后数据展示到用户面前是需要时间的,所以如果本身任务就半个小时之内就能运行完的,10倍速也不可能3分钟就运行完。

情况3,同时运行多个云采集任务

旗舰版最多同时跑10个云服务器,就是第一个任务如果拆了10个子任务,并且都运行了,第二个任务就需要等第一个任务运行完之后才开始运行,并不是可以运行10个任务,10个任务都是同时10倍速的状态

情况4,规则问题

规则的设置也会影响采集的速度,可以参考云采集规则优化加速案例:

http://bbs.bazhuayu.com/showtopic.aspx?topicid=1868

人工服务

立即下载,体验更高效简单的数据收集吧! 免费下载

粤公网安备 44030502000701号