八爪鱼,最好的网络爬虫工具

数据源大盘点 | 你们要的数据源都在这儿了84个!(保持更新,建议收藏)

作者:keven 发布时间:2019/4/19 17:02:50 744 人已阅读

摘要:为大家收集汇总互联网上各类公开数据源,以后就不用到别处找了,赶紧收藏下来吧!

关注微信公众号:八爪鱼大数据(bazhuayudata)

 

作为一名数据分析师,我们是否经常遇到找不到可靠、质量高的数据来源的难题?今天我为大家收集汇总互联网上各类公开数据源,以后就不用到别处找了,赶紧收藏下来吧!!

 

PS:本文会一直更新,建议收藏哦!更新时间:2019-4-19

 

城市交通

 

1、高德交通

report.amap.com/index.d

提供全国100个城市的交通实时数据,提供非常酷炫、直观的数据可视化呈现,并定期提供专题分析报告与研究。

 

 

2、北京城市实验室

beijingcitylab.com/

由龙瀛博士首创致力于定量城市研究的学术网络,提供微观视角下的中国城市空间量化研究。

 

 

3、北京大学轨迹可视化系统

vis.pku.edu.cn/trajecto

由北京大学可视化与可视分析研究组创建,通过位置采样记录物体的移动,进行城市交通密度绘制、拥堵分析以及不同交通模式的关联分析、移动行为以及语意分析等工作,在城市交通GPS轨迹数据,减少交通事故和拥堵等领域发挥作用。

 

 

4、城市CAD地图数据

cadmapper.com/

提供全球200+城市精美的绘图文件,帮助城市规划设计人员节省大量制图绘图的时间。要求有AutoCAD、SketchUp 8+、Illustrator、Rhinoceros 5+软件。

 

 

5、深圳市道路交通运行指数

http://sztocc.sztb.gov.cn/#/rt/expo

深圳交通运输局旗下网站,是对深圳路网交通总体运行状况进行定量化评估的综合性指标,与传统的车速、流量等参数相比,具有直观、简单的特点,让人们更能清楚地了解堵到何种程度。

 

 

法律文书

 

 

6、无讼

https://www.itslaw.com/

提供法律诉讼判决案例、法律法规、法律服务等。截止目前共有 59,092,161 篇诉讼案例,每篇都有每详实的案件基本信息、判决文书内容,并且每天都进行实时更新。

 

 

7、裁判文书网

wenshu.court.gov.cn/(4.9-4.14前网站在升级维护中)

裁判文书网发布公开实时最新的最高法发生法律效力的判决书、裁定书、决定书。

 

 

社会经济

 

 

8、国家统计局

stats.gov.cn/

国家权威数据发布平台。提供所有国民经济、社会、民生数据,同时发布最新的统计政策、会议、统计标准等信息。

 

 

9、国家数据

data.stats.gov.cn/

国家统计局子网站。你想了解的中国所有权威数据几乎都能在上面找到,涵盖工业、能源、价格、投资、地产、消费、交通运输、采购、财政、金融等等数据,提供月度、季度、年鉴等多各维度数据,并包含数据可视化的图表走势对比分析。

 

 

10、世界银行公开数据

data.worldbank.org.cn/

世界银行公开数据上罗列7000多个指标,包括贫困与不平等、人口、环境、经济、国家与市场等数据。用户可以免费使用和分享数据,还可以按照国家、指标、专题和数据目录浏览并下载数据,并供支持EXCEL、CSV、API、ACCESS等不同导出形式。

 

 

11、前瞻数据库

d.qianzhan.com/

前瞻数据库拥有16年的细分产业大数据积累,提供中国宏观、区域宏观、全球宏观、行业经济、进出口、上市公司等数据。

 

 

12、中经网统计数据库
db.cei.cn/page/Login.as

《中经网统计数据库》是由国家信息中心中经网凭借与国家发改委、国家统计局、海关总署、各行业主管部门以及其他政府部门经过长期数据积累的经济统计数据库群。内容涵盖宏观经济、行业经济、区域经济以及世界经济等各个领域。

 

 

13、中经网产业数据库

cyk.cei.cn/aspx/Default

中经网数据中心是国家信息中心中经网组建的专业从事经济数据资源开发和服务的机构,网站提供24个产业数据以及经济综合数据。

 

 

14、一带一路统计数据库

ydyl.cei.cn/page/Defaul

一代一路统计数据库设置了沿线各国和地区的特色经济统计数据,涵盖经济、农业、工业、环境、资源、贸易、投资等十几个领域。

 

 

股票金融

 

15、华尔街见闻

wallstreetcn.com/charts

华尔街见闻是国内专业的商业和金融信息提供商,上面有最新的国内外经济数据与新闻动态。

 

 

16、新浪财经

http://vip.stock.finance.sina.com.cn/mkt/

新浪财经是一家创建于1999年8月的财经平台,提供全球财经实时数据,内容专业且丰富。

 

 

17、东方财富

eastmoney.com/

东方财富网2004年3月上线,网站内容涉及财经、股票、基金、期货、债券、外汇、银行、保险等诸多金融资讯与财经信息,全面覆盖财经领域,每日更新上万条最新数据及资讯,为用户提供便利的查询。

 

 

18、中财网数据引擎

data.cfi.cn/cfidata.asp

非常强大齐全的金融数据引擎,免费提供股票、基金、债券、外汇、理财等行情数据以及其他资料。

 

 

19、雪球

xueqiu.com/hq

雪球提供全球各类金融产品实时行情数据,还包括最新资讯以及各雪球大V门的精华跟踪点评。

 

 

20、保险数据

bxjg.circ.gov.cn/web/si

中国保监委定期发布的国民保险数据及统计。

 

 

政府信息公开(数据公开、采购招投标)

 

 

21、政府招标采购信息服务平台

chinabidding.org.cn/ind

中国政府采购招标网是国内专门从事招标和采购的网站,布全国8000多家政府采购办、政府采购中心、10000多家招标代理机构和全国数千家地市级以上建筑工程市场及其它组织、机构发布的招标公告,采购公告,预告,中标结果和拟在建项目。

 

 

22、中国政府采购网信息公告

ccgp.gov.cn/cggg/zygg/

财政部唯一指定政府采购信息网络发布媒体,国家级政府采购专业网站。

 

 

23、深圳市政府数据开放平台

opendata.sz.gov.cn/

于2016年11月上线运行,致力于提供深圳市政府部门可开放的各类数据的下载与API接口调用服务,为企业和个人开展信息资源的社会化开发利用提供数据支撑,推动信息资源增值服务的发展以及相关数据分析与研究工作的开展。

 

 

投融资

 

 

24、IT桔子

itjuzi.com/

IT桔子是关注IT互联网行业的结构化的公司数据库和商业信息服务提供商,提供风险投资、收购、竞争情报、细分行业信息、国外公司产品信息数据服务等。

 

 

25、投资界

https://zdb.pedaily.cn/

投资界是清科集团旗下提供行业丰富数据及深入分析的专业化网站,提供投融资方面比较详细的数据。

 

 

互联网金融

 

 

26、网贷之家

shuju.wdzj.com/

网贷之家是第三方网贷资讯平台,于2011年10月上线。上面披露各P2P平台最新交易数据、转型及停业、问题平台、网贷行业等数据。

 

 

27、网贷天眼

p2peye.com/

国内网贷行业较为权威的第三方机构,同样披露各P2P平台最新数据、行业数据、停业及问题平台、研究报告、行业政策等信息数据。

 

 

生态环境

 

 

28、国家生态环境部数据中心

datacenter.mee.gov.cn/w

国家生态环境部旗下提供的数据服务,包括环境质量、生态环境、污染源、环境管理业务等10大类数据信息。同时,还提供专题数据、数据分析、以及API接口等服务。

 

 

29、PM2.5in

http://pm25.in/

PM25.in是为大家提供空气质量监测数据的网站,数据采自于国家环境保护部,上面有全国各大城市的空气质量数据。

 

 

30、环境云

http://www.envicloud.cn/home

环境云是一个综合环境数据服务的平台,收录专业数据源(国家环保部数据中心、美国全球地震信息中心等)所发布的各类环境数据,接收其自主布建的各类环境监控传感器网络(包括空气质量指标,土壤环境质量指标检测网络)所采集的数据,结合相关数据预测模型生成的预报数据。

 

 

体育

 

 

31、体育大数据SportsDT

sportsdt.com/index.shtm

SportsDT 以体育大数据为入口,提供比分数据、指数数据、比赛数据、分析数据等数据。

 

 

32、stat-nba

stat-nba.com/playerList

号称全专业最全的NBA中文数据库。

 

 

文化娱乐

 

 

33、中国票房网

cbooo.cn/realtime

中国票房网收录了国内所有上映电影的票房实时数据,提供单日、单周、周末、单月、年度、中美对比、城市排片、电影资源库等丰富数据。

 

 

34、猫眼电影数据

piaofang.maoyan.com/das

猫眼专业版提供全国各大电影的票房实时数据,包括票房占比、排片场次、排片占比、场均人次、上座率等动态实时数据。

 

 

35、IMDb

imdb.cn/

IMDb创建于1990年10月17日,是一个关于电影演员、电影、电视节目、电视明星和电影制作的在线数据库。包括了影片的众多信息、演员、片长、内容介绍、分级、评论等。截至2018年6月21日,IMDb共收录了4,734,693部作品资料以及8,702,001名人物资料。

 

 

36、豆瓣

douban.com/

豆瓣收录了各种电影、书籍、音乐等丰富的文化娱乐产品信息,并且成为国内主流的分享与评论社区,拥有海量的评论舆情数据。

 

 

自媒体

 

 

37、新榜

newrank.cn/

国内微信公众号内容数据价值评估的第三方机构,新榜收录了超过1000万个微信公众号,截至2018年4月,对超过55万个有影响力的优秀账号实行每日固定监测,据此发布微信公众号影响力排行榜(日、周、月、年),以及超过20个细分内容类别的行业榜和超过30个省市区的地域榜。

 

 

38、微博

weibo.com/

这个估计就不用多介绍啦,微博提供社会舆论热点、热搜榜单,可以挖掘新闻资讯实时热点、用户舆情、用户画像。

 

 

39、清博大数据

gsdata.cn/

清博指数(前称新媒体指数)、提供各类新媒体数据、榜单、分析报告、舆情监测、品牌推广、精准营销等服务。

 

 

40、搜狗微信

weixin.sogou.com/

搜狗微信是搜狗在2014年6月9日推出的一款针对微信公众平台而设立的。“微信搜索”支持搜索微信公众号和微信文章,可以通过关键词搜索相关的微信公众号,或者是微信公众号推送的文章。

 

 

41、新浪舆情通

yqt365.com/logon.action

舆情通以中文互联网大数据及新浪微博的独家官方数据为基础,7*24小时不间断采集新闻、报刊、政务、外媒、微博、微信、博客、论坛、视频、网站、客户端等全网11大信息来源,每天采集超过9000万条数据。

 

 

42、星斗短视频

xingdouio.com/#

专注短视频精细化运营,支持抖音、快手等短视频平台,收录播主数量:5,243,513,提供找创意、找素材、找竞品服务。

 

 

企业征信

 

 

43、企查查

qichacha.com/

 

企查查是一款企业信用查询工具,旨在为用户提供快速查询企业工商信息、法院判决信息、关联企业信息、法律诉讼、失信信息、被执行人信息、知识产权信息、公司新闻、企业年报等服务。平台立足于企业征信的相关信息整合,经过深度学习、特征抽取和使用图构建技术,为用户提供全面、可靠、透明的数据信息。

 

 

44、天眼查

tianyancha.com/

天眼查基于政府公开数据,结合独家图数据库技术和世界领先的计算机语言学习能力,在线提供全国1.8亿+家社会实体、90余种数据维度的信息,涵盖企业背景、实际控制人、对外投资、融资历史、股权结构、法律诉讼等角度,还可以实时监控所关注的企业变更。

 

 

45、企信宝

qixin.com/

启信宝为用户提供快速查询企业工商信息、法院判决信息、关联企业信息、司法拍卖信息、失信信息、被执行人信息、知识产权信息、公司新闻等服务。

 

 

电商零售

 

 

46、淘宝

taobao.com/

人人必备的剁手工具,我们可以在上面查看到几乎所有商品的各类数据,如价格、销量、人气、商品详情、图片、折扣、用户评价等各类数据。可以帮我们比价、定价、选品、获取用户反馈、销量分析等等。

 

 

47、天猫

tmall.com/

和淘宝一样,天猫则拥有更多大场品牌的入驻。

 

 

48、京东

jd.com/

国内电商三巨头之一,同样能获取大量商品数据。

 

 

49、当当网

dangdang.com/

国内最早的电商图书平台之一,后续也逐渐扩大商品覆盖范围,极丰富商品供应种类。

 

 

50、亚马逊

amazon.cn/

美国最大的一家网络电子商务公司,成立于1995年,为客户提供数百万种独特的全新、翻新及二手商品,如图书、影视、音乐和游戏、数码下载、电子和电脑、家居园艺用品、玩具、婴幼儿用品、食品、服饰、鞋类和珠宝、健康和个人护理用品、体育及户外用品、玩具、汽车及工业产品等。

 

 

51、1688批发采购

re.1688.com/

1688(阿里巴巴)是中国领先的小企业国内贸易电子商务平台。目前1688已覆盖原材料、工业品、服装服饰、家居百货、小商品等16个行业大类,上面有所有批发采购的商品数据、价格数据、图片等信息。

 

 

汽车产业

 

 

52、汽车之家

autohome.com.cn/

汽车之家成立于2005年6月,是全球访问量最大的汽车网站。汽车之家为消费者提供选车、买车、用车、换车等所有环节的一站式服务,上面涵盖几乎所有品牌、类型的汽车数据、口碑数据、测评数据。

 

 

53、瓜子网

https://www.guazi.com/

瓜子二手车实时在售个人车源量超过12万台,覆盖全国28个省份,上面有大量二手车的真实数据。

 

 

54、人人车

renrenche.com/

国内最大的二手车销售平台之一,上面有大量二手车的真实数据。

 

 

综合分类

国内领先的生活分类信息网站,上面每日发布海量生活信息供用户免费查询。

 

 

55、58同城

https://www.58.com

 

 

56、赶集网

http://www.ganji.com

 

 

房地产

全国新房、二手房楼盘信息、租房信息、价格走势等数据。

 

 

57、房多多

https://www.fangdd.com/

 

 

58、链家

https://www.lianjia.com/

 

 

59、安居客

anjuke.com/

 

 

人才招聘

全国岗位信息、薪酬信息、公司背景等数据。

 

 

60、前程无忧

51job.com/

 

 

61、智联招聘

zhaopin.com/

 

 

62、Boss直聘

zhipin.com/

 

 

63、拉勾网

lagou.com/

 

 

旅游

 

 

64、携程网

ctrip.com/

携程创立于1999年,携程提供酒店、机票、车票、线路、门票、玩乐、租车、签证等详情信息以及价格等海量数据。

 

 

65、马蜂窝

mafengwo.cn/

马蜂窝创立于2006年,提供全球超过60000个旅游目的地的旅游攻略、旅游问答、旅游点评等资讯,以及酒店、交通、当地游等自由行产品信息数据。

 

 

生活娱乐

 

 

66、大众点评

dianping.com/

大众点评网2003年4月成立,截止到2015年第一季度,收录商户数量超过1400万家 ,覆盖全国2500多个城市及美国、日本、法国等近百个热门旅游国家和地区。

 

 

67、美团网

sz.meituan.com/

美团网2010年3月4日成立,收录全国海量商家、消费商品数据。

 

 

论文期刊

 

 

68、知网

cnki.net/

知网始建于1999年6月,提供中国知识资源总、数字出版物、文献评价数据、知识检索。据了解,中国知网文献总量达2.8亿篇,中外学术期刊品种达58000余种。

 

 

69、国家哲学社会科学学术期刊数据库

nssd.org/

国家期刊库收录精品学术期刊1000多种,论文超过485万篇以及超过101万位学者、2.1万家研究机构相关信息。

 

 

医药健康

 

 

70、国家食品药品监督管理局——数据查询

app1.sfda.gov.cn/datase

 

 

活动展会

 

 

71、活动行

活动行-精彩城市生活,尽在活动行

活动行是一个活动报名与售票平台,成立于2012年6月,截止2018年底,有58万主办方在上面注册,累计发布270万活动,拥有3800万个注册用户。

 

 

指数

 

 

72、百度指数

index.baidu.com/v2/inde

百度指数是以百度海量网民行为数据为基础的数据分析平台,主要功能模块有:基于单个词的趋势研究(包含整体趋势、PC趋势还有移动趋势)、需求图谱、舆情管家、人群画像;基于行业的整体趋势、地域分布、人群属性、搜索时间特征。

 

 

73、爱奇艺指数

index.iqiyi.com/

爱奇艺指数是由爱奇艺基于平台上收录的视频提供的视频数据分析工具。用户可以选择你想了解的视频或节目名字,平台输出包括热度趋势、视频看点、舆情分析、受众画像等维度的数据分析。用户还可以添加多个节目进行对比,哪个节目热度高、哪个明星带的流量多、用户都在讨论什么等数据一目了然。

 

 

74、阿里指数

shu.taobao.com/

阿里指数是了解电子商务平台市场动向的数据分析平台,2012年11月26日上线。根据阿里巴巴网站每日运营的基本数据包括每天网站浏览量、每天浏览的人次、每天新增供求产品数、新增公司数和产品数这5项指标统计计算得出。

 

 

综合数据服务商

 

 

75、云听

http://www.yunting.ai/

云听基于八爪鱼6年的大数据资源积累以及企业服务经验,运用人工智能自然语言分析技术,为企业提供一提供全网数据收集能力、数据整合分析能力和场景化解决方案,尤其在客户体验管理CEM领域,拥有OPPO、VIVO、科沃斯等知名零售品牌大客户,在电商数据及舆情方面拥有丰富的经验。

 

 

76、国泰安

gtafe.com/

国泰安是国内从事金融、经济信息精准数据库设计开发的专业高科技公司,为1000多个高校和金融机构服务。

 

 

77、优易数据

youedata.com/index.html

优易数据汇集了以“国家自然资源和地理空间基础信息库”为基础, 9个国家部委的20余万项核心政务数据。

 

 

78、瑞思数据

resset.cn/

锐思数据从事金融数据库和相关投资研究软件研发为高校、政府及金融机构提供精准的经济、金融数据和完备的增值服务。

 

 

79、CEIC数据

ceicdata.com/zh-hans

全面的经济数据库,覆盖超过200+个国家。提供中国超过33万条宏观经济、行业及区域的时间序列数据。

 

 

80、Wind金融数据

wind.com.cn/Default.htm

国内领先金融数据、信息和软件服务企业,数据内容涵盖股票、基金、债券、外汇、保险、期货、金融衍生品、现货交易、宏观经济、财经新闻等领域,新的信息内容及时进行更新以满足机构投资者的需求。

 

 

81、搜

soshoo.com/index.do

搜数网每天监测和收集处理公开媒体和各种年鉴书籍中披露的各类统计和调查数据,截止2019年04月10日,已加载到搜数网站的统计资料达到9,741本,涵盖2,280,300张统计表格和454,728,104个统计数据。

 

 

82、友盟数据

umeng.com/

友盟+以“数据智能,驱动业务增长”为使命,挖掘出40+标签大类,15,000+客群标签、100+用户/行业分析指标,帮助企业实现深度用户洞察、实时业务决策和持续业务增长。

 

 

83、艾瑞数据

data.iresearch.com.cn/i

艾瑞指数提供APP指数、PC Web指数、网络影视指数、网络广告指数、移动设备指数、移动渠道指数、海外APP指数,对于做数据分析、竞品调研、用户画像制定够用了。

 

 

数据采集器

 

 

84、八爪鱼采集器

bazhuayu.com/

八爪鱼大数据采集整合了网页数据采集、移动互联网数据及API接口服务(包括数据爬虫、数据优化、数据挖掘、数据存储、数据备份)等服务为一体的数据服务平台,连续4年蝉联互联网数据采集软件排名NO.1。自2016年,八爪鱼积极开拓海外市场,分别在美国、日本推出了数据爬虫平台Octopus和Octopus.JP。截止2018年,八爪鱼全球用户突破110万。


企业试用