免费下载

八爪鱼采集器 - 最好用的网页数据采集器,超过40万用户首选网页采集软件

  1. 软件版本:V6.4.3
  2. 支持系统:32/64位 XP / Vista / Win7 / Win8 / Win8.1 / Win10
  3. 更新日期:03月22日 (新版功能)
免费下载
微信订阅号:八爪鱼采集器Live
扫一扫,关注我们
教程 | 功能点 | 实战案例
官方论坛解答
点击提问
免费版QQ群
1群:470619317 点击加入
2群:148686415 点击加入
专业版QQ群
3群:135071723 限专业版用户
2群:385161018 限专业版用户
1群:475423041 限专业版用户
旗舰版QQ群
3群:196097783 限旗舰版用户
2群:286777906 限旗舰版用户
1群:130849246 限旗舰版用户
站长采集交流群QQ群
2群:304456535 点击加入
1群:492396817点击加入
down

玩爬虫的人都不会错过这些网页!

作者:keven 发布时间:2017/1/12 18:27:59

摘要:有哪些网站用爬虫爬取能得到很有价值的数据?

1、 IT桔子和36K 

这一类的网站以发布融资消息著称,通过抓取IT橘子和36Kr的各公司的投融资数据,我们可以试图分析出中国各家基金的活跃程度。

1

2 、知乎

在知乎平台搜索行业关键词,抓取并汇总所有答案,我们便能找出2016年最热门和最衰落的行业。

 

2

 

3 、汽车网站、汽车论坛

通过汽车网站和论坛的各种评论的抓取以及NLP分析处理,我们其实可以对各种车型的车主做画像。这就类似高德地图基于内部数据的抓取,最新发布的七大汽车品牌车主行为分析。

 

3

 

4 、天猫、京东、淘宝等电商网站

抓取各大电商的评论及销量数据,对各种商品的销量和用户消费习惯进行分析。甚至还可以根据用户评价做情感分析,对新发布的产品及时监控,以便价格和投放的调整。

 

4

5

 

5 、58同城、安居客、q房网、搜房网等房产网站

这一类的网站我们早有列举,通过抓取房产买卖和租售信息,我们其实可以分析出各地的房价的涨幅以及售量等。

 

6、 大众点评、美团网等餐饮消费类网站

探鱼、乐凯撒、黄焖鸡米饭是怎么火起来的?抓取这些网站上这些店面的开业情况以及用户消费评价,我们或许可以了解到周边变化的口味,做一个舌尖上的爬虫

 

6

 

7、 拉勾网、中华英才网等招聘网站

抓取这些网站上各类职位信息,分析最热门的职位以及薪资水平。

 7

 

8 、应用宝等APP

抓取这些APP的数据,对各个APP的发展情况进行跟踪和预测,例如,通过数据我们可以发现小红书这个APP的快速增长以及在年轻人中的极佳口碑。

 8

 

 

9、携程、去哪儿等交通出行类网站

用爬虫软件对航班及高铁等信息进行抓取,能从一个侧面看出一个城市的旅游和经济。

 9

 

10、雪球等财经类网站

抓取雪球KOL或者高回报用户的行为,找出推荐股票。

 10

 

11、58同城、易车等汽车类网站

一年当中最佳买车时间是什么时候?什么品牌的二手车更保值?通过这些网站车型数据的抓取,我们能迅速找出最佳的买车时间以及最保值的汽车。

 11

 

12、各类信托网站

通过抓取信托的数据,了解信托项目的类型和规模,以便决策。

 12

 

 

其实还有很多有价值的网站和数据,在这里就不一一列举了。重要的是,只要有爱数据的心和可抓取数据的八爪鱼,一切皆有可能。

 

 

【本文修改自知乎用户何明科的回答】

 

 

分享到: 更多
立即下载,体验更高效简单的数据收集吧! 免费下载

粤公网安备 44030502000701号