數(shù)據(jù)被譽為新時代的石油，隨著大數(shù)據(jù)市場的發(fā)展，數(shù)據(jù)開始流通，越來越多人也開始挖掘數(shù)據(jù)的價值。本文盡可能全面地介紹國內(nèi)的數(shù)據(jù)源、搜索數(shù)據(jù)的方法以及數(shù)據(jù)交易的平臺，幫助數(shù)據(jù)工作者們快速全面地找數(shù)據(jù)。文中涉及的數(shù)據(jù)交易方式包括API數(shù)據(jù)接口、數(shù)據(jù)包下載、數(shù)據(jù)定制等，涵蓋免費的公開源數(shù)據(jù)以及付費數(shù)據(jù)。以下是小編為你整理的大數(shù)據(jù)怎么自學(xué) ?

統(tǒng)計數(shù)據(jù) ?

*統(tǒng)計局/*數(shù)據(jù) ?

最正統(tǒng)、最官方的數(shù)據(jù)，數(shù)據(jù)范圍涵蓋各行各業(yè)，時間跨度也較大，可下載為各種常見格式 ?

*網(wǎng)站通常有統(tǒng)計數(shù)據(jù)，但不同*數(shù)據(jù)量有多有少，目前為止數(shù)據(jù)并不算深入，但隨著數(shù)據(jù)開放政策的深入，相信*網(wǎng)站會成為很好的數(shù)據(jù)源 ?

*列表可以在**網(wǎng)找，下文中的各行業(yè)數(shù)據(jù)都可以在相關(guān)的*網(wǎng)站找到數(shù)據(jù)，就不一一列舉了

數(shù)據(jù)需要申請或購買，公開的并不多，但不失為一個選擇 ?

咨詢、金融、市場調(diào)研公司，尤其是業(yè)內(nèi)頂尖的，通常有自己的數(shù)據(jù)，但同樣并不免費公開，部分?jǐn)?shù)據(jù)可購買 ?

大部分主要行業(yè)都有自己的年鑒，數(shù)據(jù)比較寶貴，只是給機器用之前還需要處理;價值高的年鑒通常需要付費獲取;這里推薦一下人大經(jīng)濟論壇，氛圍較好 ?

如何統(tǒng)計數(shù)據(jù) ?

公開信息及整理比如統(tǒng)計局的數(shù)據(jù)、公司自己發(fā)布的年報、其他市場機構(gòu)的研究報告、或者根據(jù)公開的零散信息整理; ?

購買的數(shù)據(jù)庫市場上有很多產(chǎn)品化的數(shù)據(jù)庫，比如Bloomberg、OneSource、Wind等等，這個一般是以公司的名義買入口，不光咨詢公司還有很多高等院校及研究機構(gòu)也買了; ?

自己的數(shù)據(jù)庫自己維護的數(shù)據(jù)庫有，但是比較少，一是專業(yè)的數(shù)據(jù)公司差不多能想到的都做了，二是自己做數(shù)據(jù)庫其實是一件很麻煩的事情。在有些數(shù)據(jù)是外界無法得到的情況下有可能自己維護一個小型的數(shù)據(jù)庫; ?

咨詢行業(yè)專家當(dāng)然是有償?shù)?，這個在項目中應(yīng)該蠻常見的。有些行業(yè)專家會專門收集和銷售數(shù)據(jù)，想要的基本能買到。 ?

發(fā)問卷有時候為了單獨的項目也會收集很特別的數(shù)據(jù)，如果外界實在沒有但是項目上沒有不行就只有自己做了，比如自己發(fā)發(fā)問卷之類的，但是這類數(shù)據(jù)需求要控制工作量，因為除非數(shù)據(jù)本身是交付內(nèi)容之一，要不然不能為了個中間件花費太多時間和精力; ?

客戶有些數(shù)據(jù)就是來源于客戶，甚至是咨詢公司的產(chǎn)品。舉個例子，比如HR咨詢公司的行業(yè)工資數(shù)據(jù)、四大的一些數(shù)據(jù)庫等等，這些數(shù)據(jù)的采集需要比較強的專業(yè)性或者時間積累，很大一部分是通過調(diào)查客戶的HR收集來的數(shù)據(jù)進行統(tǒng)計的。 ?

HBase集群及其管理 ?

1、集群的搭建過程 2、集群的監(jiān)控 3、集群的管理 ?

Pig基礎(chǔ)知識 ?

Pig是進行Hadoop計算的另一種框架，是一個高級過程語言，適合于使用 Hadoop 和 MapReduce 平臺來查詢大型半結(jié)構(gòu)化數(shù)據(jù)集。通過允許對分布式數(shù)據(jù)集進行類似 SQL 的查詢，Pig 可以簡化 Hadoop 的使用。 ?

1、Pig概述 2、安裝Pig 3、使用Pig完成手機流量統(tǒng)計業(yè)務(wù)

?

Hive ?

hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡單的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進行運行。 其優(yōu)點是學(xué)習(xí)成本低，可以通過類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應(yīng)用。 ?

1、數(shù)據(jù)倉庫基礎(chǔ)知識 2、Hive定義 3、Hive體系結(jié)構(gòu)簡介 4、Hive集群 5、客戶端簡介 6、HiveQL定義 7、HiveQL與SQL的比較 8、數(shù)據(jù)類型 9、表與表分區(qū)概念 10、表的操作與CLI客戶端 11、數(shù)據(jù)導(dǎo)入與CLI客戶端 12、查詢數(shù)據(jù)與CLI客戶端 13、數(shù)據(jù)的連接與CLI客戶端 14、用戶自定義函數(shù)(UDF) ?

Scala ?

Scala是另一種基于Java的語言，并且和Java相同的是，它正日益成為大規(guī)模機器學(xué)習(xí)，或構(gòu)建高層次算法的工具。它富有表現(xiàn)力，并且還能夠構(gòu)建健壯的系統(tǒng)。 ?

“Java就像是建造時的鋼鐵，而Scala則像黏土，因為你之后可以將之放入窯內(nèi)轉(zhuǎn)變成鋼鐵，”Driscoll說。 ?

Kafka和Storm ?

那么，當(dāng)你需要快速實時的分析時又該怎么辦呢?Kafka會成為你的好朋友。它大概5年前就已經(jīng)出現(xiàn)了，但是直到最近才成為流處理的流行框架。 ?

Kafka，誕生于LinkedIn內(nèi)部，是一個超快速的查詢消息系統(tǒng)。Kafka的缺點?好吧，它太快了。在實時操作時會導(dǎo)致自身出錯，并且偶爾地會遺漏東西。 ?

“有精度和速度之間有一個權(quán)衡，”Driscoll說， “因此，硅谷所有的大型高科技公司都會使用兩條管道：Kafka或Storm用于實時處理，然后Hadoop用于批處理系統(tǒng)，此時雖然是緩慢的但超級準(zhǔn)確?！? ?

Storm是用Scala編寫的另一個框架，它在硅谷中因為流處理而受到了大量的青睞。它被Twitter納入其中，勿庸置疑的，這樣一來，Twitter就能在快速事件處理中得到巨大的裨益。 ?

MatLab ?

MatLab一直以來長盛不衰，盡管它要價不菲，但它仍然被廣泛使用在一些非常特殊的領(lǐng)域：研究密集型機器學(xué)習(xí)，信號處理，圖像識別，僅舉幾例。 ?

Octave ?

Octave和MatLab非常相似，但它是免費的。不過，它在學(xué)術(shù)性信號處理圈子之外很少見到。 ?

GO是另一個正在掀起浪潮的后起之秀。它由Google開發(fā)，從C語言松散地派生，并在構(gòu)建健壯基礎(chǔ)設(shè)施上，正在贏得競爭對手，例如Java和Python的份額。 ?