【数据采集】数据获取的方式有哪些？

获取数据的方式有很多，如公开的数据集、爬虫、数据采集工具、付费API等。下面解药介绍几个常用的数据网站和获取数据的几种方式。

1、公开的数据集

UCI

经典的机器学习、数据挖掘数据集，包含分类、聚类、回归问题下的多个数据集。

国家数据

国家统计局，包含了我国经济民生等多方面的数据。

CEIC

最完整的一套超过128个国家的经济数据，能精确查找GDP、CPI、进口、出口、外资直接投资、零售、销售以及国际利率等深度数据。

万得

在金融业有着全面的数据覆盖。数据类目更新很快。

搜数网

中国咨询行自1992年以来收集的所有统计和调查数据。

中国统计信息网

国家统计局官网网站，汇集了海量的全国各省级政府各年度的国民经济和社会发展的统计信息等。

亚马逊

来自亚马逊跨学科的云数据平台，包含化学、生物、经济等多个领域的数据集。

Figshare

研究成果的共享平台，可以找到世界各地牛人们的研究成果数据。

Github

包含各个细分领域的数据库资源，自然科学和社会科学的覆盖都较全面，适合做研究和数据分析的人员。

政府开放数据

（1）北京市政府数据资讯网：包含竞技、交通、医疗、天气等数据；

（2）深圳市政府数据开放平台：包含交通、文娱、就业、基础设施等数据；

（3）上海市政务数据服务网：覆盖经济建设、文化科技、信用服务、交通出行等领域数据；

数据竞赛网站

DataCastle：专业的数据科学竞赛平台；

Kaggle：全球最大的数据竞赛平台；

天池：阿里旗下的数据科学竞赛平台；

DataFountain：中国计算机学会（CCF）指定大数据竞赛平台；

2.利用爬虫获取数据

通过爬虫技术爬取网站上的数据。

3.数据交易平台

属于付费平台，如优易数据、数据堂等

4.网络指数

通过指数的变化可以查看某个主题在各个时间段受关注的情况，进行趋势分析、行情分析和预测。如百度指数、阿里指数、友盟指数、爱奇艺指数等。

5.网络采集器

通过软件的形式实现简单快捷的采集网络上分散的内容，如造数、爬山虎等。