八爪鱼,百万用户信赖的网络爬虫工具

网络爬虫是否违法

作者:keven 发布时间:2019/10/16 17:31:41 2633 人已阅读

摘要:基本上,网页抓取是互联网的功能。例如,SEO需要创建站点地图并授予其权限,让Google对其网站进行抓取,以便在搜索结果中获得更高的排名。许多顾问公司会雇用专门从事网络抓取的公司来丰富他们的数据库,以便为他们的客户提供专业服务。 在数字化时代,很难确定网页抓取的合法性。本文将探讨网页爬虫是否违法的具体情况。

Web爬取,也称为Web抓取,数据抓取或爬虫,是一种计算机程序技术,用于从网站上抓取大量数据,并将其处理为结构化数据。

 

Web抓取是常用的:


基本上,网页抓取是互联网的功能。例如,SEO需要创建站点地图并授予其权限,让Google对其网站进行抓取,以便在搜索结果中获得更高的排名。许多顾问公司会雇用专门从事网络抓取的公司来丰富他们的数据库,以便为他们的客户提供专业服务。

在数字化时代,很难确定网页抓取的合法性。

 

为什么网络抓取具有负面含义:

Web抓取可用于恶意目的,例如:

搜集私人或机密信息。
忽略网站的条款和服务,未经所有者许可,将其删除。
滥用数据请求的方式会导致Web服务器在额外的重负载下崩溃。
请务必注意,在以下情况下,负责任的数据服务提供商将拒绝您的请求:数据是私人的,需要用户名和密码
服务条款(TOS)明确禁止进行网页抓取
数据受版权保护

 


有什么理由可以起诉人?


违反《计算机欺诈和滥用法》(CFAA)
违反数字千年版权法案(DMCA)
侵害动产行为
挪用
如果网络数据运用不当,可能会导致意想不到的后果。

 

HiQ vs LinkedIn


您可能听说过2017年的HiQ与Linkedin案。HiQ是一家数据科学公司,为公司人力资源部门抓取数据。Linkedin随后发送了终止函,以停止HiQ的抓取行为。HiQ随后提起诉讼,以阻止Linkedin限制其访问网站。结果,法院裁定对HiQ是有利的。这是因为HiQ无需登录即可从Linkedin上的公共资料中抓取数据。也就是说,抓取在互联网上公开共享的数据是完全合法的。

让我们再举一个例子来说明在什么情况下抓取可能有害。例如:eBay诉讼Bidder's Edge。如果您出于个人目的进行网页抓取,则属于合法使用原则,因此是合法的。如果您想将抓取的数据用于其他目的(尤其是用于商业目的),则会开始复杂化。(引自Wikipedia.org,地址为100 F.Supp.2d 1058(ND Cal。2000))。

2000年,在线拍卖公司eBay成功地使用了“动产侵权”理论来获得初步禁令,以防止竞标数据汇总的Bidder's Edge使用“爬虫”从eBay网站上收集数据。该意见是将“动产侵权”应用于网络活动的一个主要案例。

只要您没有以破坏性的速度抓取,并且消息来源是公开的,那么就是合法的。在抓取前建议您检查目标网站,查找与数据爬取有关的任何服务条款。如果显示“不允许爬取”,则应尊重这一点。

 

建议:


谨慎抓取,请在开始抓取之前检查“ Robots.txt”
保守一点。激进地请求数据可能会给Internet服务器造成负担。请保持温柔。没有人想要使服务器崩溃。
明智地使用数据。您可以从收集的数据中获得见解,并帮助您的业务发展。
在开始抓取之前,请与网站所有者联系。
请勿将抓取的数据随意传递给任何人。如果它是有价值的数据,请确保其安全。


欢迎咨询在线客服
  • 免费版QQ群
  • 159956780
  • 257583266
  • 专业版QQ群
  • 135071723
  • 385161018
  • 月旗舰版QQ群
  • 196097783
  • 157692830
  • 月旗舰+QQ群
  • 431013573
  • 年旗舰版QQ群
  • 415864512
  • 年旗舰+QQ群
  • 592777128
欢迎您申请试用