海量数据（又称大数据）已经成为各大互联网企业面临的最大问题，如何处理海量数据，提供更好的解决方案，是目前相当热门的一个话题。类似MapReduce、 Hadoop等架构的普遍推广，大家都在构建自己的大数据处理，大数据分析平台。 

相应之下，目前对于海量数据处理人才的需求也在不断增多，此类人才可谓炙手可热！越来越多的开发者把目光转移到海量数据的处理上。但是不是所有人都能真正接触到，或者有机会去处理海量数据的，所以就需要一些公开的海量数据集来研究。 

在Quora上有人就问到，如何获取海量数据集。此问题得到了很多人的关注。具体可以看看回答，数据集的种类多种多样，有化学分析，基因遗传等等，从中你肯定能得到自己想要个数据集。 

 

首先说说几个收集数据集的网站：

 

1、Public Data Sets on Amazon Web Services (AWS) 

 

Amazon从2008年开始就为开发者提供几十TB的开发数据。 

2、Yahoo! Webscope 

 

3、Konect is a collection of network datasets 

 

4、Stanford Large Network Dataset Collection 

 

再就是说说几个跟互联网有关的数据集：

 

1、Dataset for "Statistics and Social Network of YouTube Videos" 

 

2、1998 World Cup Web Site Access Logs 

 

这个是1998年世界杯期间的数据集。从1998/04/26 到 1998/07/26 的92天中，发生了 1,352,804,107次请求。 

3、Page view statistics for Wikimedia projects 

 

4、AOL Search Query Logs - RP 

 

5、livedoor gourmet 

 

海量图像数据集：

 

1、ImageNet 

 

包含1400万的图像。 

2、Tiny Images Dataset 

 

包含8000万的32x32图像。 

3、 MirFlickr1M 

 

Flickr中的100万的图像集。 

4、 CoPhIR 

 

Flickr中的1亿600万的图像 

5、SBU captioned photo dataset 

 

Flickr中的100万的图像集。 

6、Large-Scale Image Annotation using Visual Synset(ICCV 2011) 

 

包含2亿图像 

7、NUS-WIDE 

 

Flickr中的27万的图像集。 

8、SUN dataset 

 

包含13万的图像 

9、MSRA-MM 

 

包含100万的图像，23000视频 

10、TRECVID 

 

Stack Overflow Dump Files

 

7.3G 

 

573.1K 

 

153.0M 

 

2.2G 

 

截止目前好像还没有国内的企业或者组织开放自己的数据集。希望也能有企业开发自己的数据集给研究人员使用，从而推动海量数据处理在国内的发展！ 

2014/07/07 雅虎发布超大Flickr数据集 1亿的图片+视频 

 

100多个有趣的数据集