大數(shù)據(jù)時(shí)代，你在干什么?大家都知道數(shù)據(jù)本身并沒(méi)有什么價(jià)值，由于分析方法的存在，使得海量的數(shù)據(jù)變得如同一座永遠(yuǎn)開采不完的礦，是金礦還是銀礦，得看你怎么分析和怎么利用了，和小編一起來(lái)了解一下怎么學(xué)習(xí)大數(shù)據(jù)吧。以下是小編為你整理的學(xué)大數(shù)據(jù)必須學(xué)什么 ?

【了解自身學(xué)習(xí)大數(shù)據(jù)的目的】每個(gè)人都有自己的想法，學(xué)習(xí)大數(shù)據(jù)的目的是什么，是學(xué)會(huì)分析，還是學(xué)會(huì)管理呢。 ?

【制定學(xué)習(xí)大數(shù)據(jù)的計(jì)劃】，在學(xué)習(xí)的過(guò)程中，沒(méi)有計(jì)劃，估計(jì)是達(dá)不到理想的彼岸的。一個(gè)好的計(jì)劃是詳細(xì)合理的，是張弛有度的。 ?

【三人必有我?guī)煛肯蛩藢W(xué)習(xí)，在現(xiàn)代社會(huì)里，大數(shù)據(jù)的思維，每個(gè)人都會(huì)擁有，只有不斷向他人學(xué)習(xí)，才能更好的提高之間，多問(wèn)為什么，根究5個(gè)w原則去做吧。

【互聯(lián)網(wǎng)很強(qiáng)大】利用網(wǎng)絡(luò)資源去學(xué)習(xí)，網(wǎng)絡(luò)時(shí)代，各種網(wǎng)絡(luò)視頻教學(xué)平臺(tái)都有資料、信息，只有跟上時(shí)代節(jié)奏，才不會(huì)落伍。 ?

【樂(lè)于操作、沉得下來(lái)】如果你學(xué)習(xí)大數(shù)據(jù)沉不下來(lái)，建議你別學(xué)，因?yàn)檫@需要很大的耐心，去處理、分析、解決大量的數(shù)據(jù)，需要不斷去思考，沉得下來(lái)，才能進(jìn)步。 ?

【學(xué)好數(shù)學(xué)及建模】數(shù)學(xué)來(lái)源于生活，數(shù)據(jù)也是來(lái)源于生活，計(jì)算機(jī)以邏輯說(shuō)話，數(shù)學(xué)乃邏輯的先祖，學(xué)好數(shù)學(xué)，懂得原理，學(xué)會(huì)建立相關(guān)模型是非常有必要的。 ?

大數(shù)據(jù)的學(xué)習(xí)基礎(chǔ) ?

你可以先從Python看起，Python結(jié)構(gòu)簡(jiǎn)單思路，這主要是建立你的編程思想。初學(xué)者學(xué)Python，不但入門容易，而且將來(lái)深入下去，可以編寫那些非常非常復(fù)雜的程序。網(wǎng)上有很多免費(fèi)的視頻隨便一搜就出來(lái)了! ?

當(dāng)你有了一定基礎(chǔ)之后可以學(xué)習(xí)下C語(yǔ)言或者JAVA語(yǔ)言這兩種語(yǔ)言都是很優(yōu)秀的。雖然跟你要說(shuō)的大數(shù)據(jù)差的很遠(yuǎn)但是底層的一些東西和一些思想還是要懂一些的 ?

學(xué)到這里就可以學(xué)習(xí)一些架構(gòu)知識(shí)了。我們就以JAVA為例，很多語(yǔ)言都是相通的所以不必糾結(jié)語(yǔ)言，我們就以JAVA為例。下面是我認(rèn)為比較好的一些學(xué)習(xí)路線。 ?

能把上述東西學(xué)好，你毫無(wú)疑問(wèn)已經(jīng)初入門檻小有成就了，這時(shí)候你就可以學(xué)習(xí)一下爬蟲和數(shù)據(jù)庫(kù)高級(jí)應(yīng)用之類的課程了。這時(shí)候就好比黎明前的黑暗有好多人就在這里放棄了，不過(guò)也有部分人認(rèn)為很輕松，個(gè)人覺得一部分是天賦另一部分就是努力了。 ?

接下來(lái)就可以學(xué)習(xí)算法、加密、數(shù)據(jù)挖掘等等一系列高級(jí)課程了。不管哪種語(yǔ)言都有它存在的必然，存在即真理，所以一定盡可能多學(xué)幾門語(yǔ)言當(dāng)你真正學(xué)好一種語(yǔ)言的時(shí)候?qū)W另一種語(yǔ)言很快的。還有如果有精力可以學(xué)習(xí)一下匯編語(yǔ)言熟悉一下底層知識(shí)，為你將來(lái)更上一層樓打下基礎(chǔ)。 ?

不管你怎么學(xué)習(xí)知識(shí)總是無(wú)窮的，而且也是相互聯(lián)系的，當(dāng)你學(xué)會(huì)一方面東西學(xué)習(xí)與它相近的東西有事半功倍的效果，所以與其說(shuō)是大數(shù)據(jù)入門不如說(shuō)是這一個(gè)行業(yè)的入門。加油學(xué)習(xí)吧 ?

初級(jí)MapReduce ?

這是你成為Hadoop開發(fā)人員的基礎(chǔ)課程。 ?

MapReduce提供了以下的主要功能: ?

1)數(shù)據(jù)劃分和計(jì)算任務(wù)調(diào)度: ?

2)數(shù)據(jù)/代碼互定位: ?

3)系統(tǒng)優(yōu)化: ?

4)出錯(cuò)檢測(cè)和恢復(fù): ?

這種編程模型主要用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算。 ?

1、如何理解map、reduce計(jì)算模型 ?

2、剖析偽分布式下MapReduce作業(yè)的執(zhí)行過(guò)程 ?

3、Yarn模型

?

4、序列化 ?

5、MapReduce的類型與格式 ?

6、MapReduce開發(fā)環(huán)境搭建 ?

7、MapReduce應(yīng)用開發(fā) ?

8、熟悉MapReduce算法原理 ?

Zookeeper ?

這是個(gè)萬(wàn)金油，安裝Hadoop的HA的時(shí)候就會(huì)用到它，以后的Hbase也會(huì)用到它。它一般用來(lái)存放一些相互協(xié)作的信息，這些信息比較小一般不會(huì)超過(guò)1M，都是使用它的軟件對(duì)它有依賴，對(duì)于我們個(gè)人來(lái)講只需要把它安裝正確，讓它正常的run起來(lái)就可以了。 ?

Mysql：我們學(xué)習(xí)完大數(shù)據(jù)的處理了，接下來(lái)學(xué)習(xí)學(xué)習(xí)小數(shù)據(jù)的處理工具mysql數(shù)據(jù)庫(kù)，因?yàn)橐粫?huì)裝hive的時(shí)候要用到，mysql需要掌握到什么層度那?你能在Linux上把它安裝好，運(yùn)行起來(lái)，會(huì)配置簡(jiǎn)單的權(quán)限，修改root的密碼，創(chuàng)建數(shù)據(jù)庫(kù)。這里主要的是學(xué)習(xí)SQL的語(yǔ)法，因?yàn)閔ive的語(yǔ)法和這個(gè)非常相似。 ?

Sqoop：這個(gè)是用于把Mysql里的數(shù)據(jù)導(dǎo)入到Hadoop里的。當(dāng)然你也可以不用這個(gè)，直接把Mysql數(shù)據(jù)表導(dǎo)出成文件再放到HDFS上也是一樣的，當(dāng)然生產(chǎn)環(huán)境中使用要注意Mysql的壓力。 ?

Hive：這個(gè)東西對(duì)于會(huì)SQL語(yǔ)法的來(lái)說(shuō)就是神器，它能讓你處理大數(shù)據(jù)變的很簡(jiǎn)單，不會(huì)再費(fèi)勁的編寫MapReduce程序。有的人說(shuō)Pig那?它和Pig差不多掌握一個(gè)就可以了。 ?

Oozie：既然學(xué)會(huì)Hive了，我相信你一定需要這個(gè)東西，它可以幫你管理你的Hive或者M(jìn)apReduce、Spark腳本，還能檢查你的程序是否執(zhí)行正確，出錯(cuò)了給你發(fā)報(bào)警并能幫你重試程序，最重要的是還能幫你配置任務(wù)的依賴關(guān)系。我相信你一定會(huì)喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。 ?

Hbase：這是Hadoop生態(tài)體系中的NOSQL數(shù)據(jù)庫(kù)，他的數(shù)據(jù)是按照key和value的形式存儲(chǔ)的并且key是*的，所以它能用來(lái)做數(shù)據(jù)的排重，它與MYSQL相比能存儲(chǔ)的數(shù)據(jù)量大很多。所以他常被用于大數(shù)據(jù)處理完成之后的存儲(chǔ)目的地。 ?

Kafka：這是個(gè)比較好用的隊(duì)列工具，隊(duì)列是干嗎的?排隊(duì)買票你知道不?數(shù)據(jù)多了同樣也需要排隊(duì)處理，這樣與你協(xié)作的其它同學(xué)不會(huì)叫起來(lái)，你干嗎給我這么多的數(shù)據(jù)(比如好幾百G的文件)我怎么處理得過(guò)來(lái)，你別怪他因?yàn)樗皇歉愦髷?shù)據(jù)的，你可以跟他講我把數(shù)據(jù)放在隊(duì)列里你使用的時(shí)候一個(gè)個(gè)拿，這樣他就不在抱怨了馬上灰流流的去優(yōu)化他的程序去了，因?yàn)樘幚聿贿^(guò)來(lái)就是他的事情。而不是你給的問(wèn)題。當(dāng)然我們也可以利用這個(gè)工具來(lái)做線上實(shí)時(shí)數(shù)據(jù)的入庫(kù)或入HDFS，這時(shí)你可以與一個(gè)叫Flume的工具配合使用，它是專門用來(lái)提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫到各種數(shù)據(jù)接受方(比如Kafka)的。 ?

Spark：它是用來(lái)彌補(bǔ)基于MapReduce處理數(shù)據(jù)速度上的缺點(diǎn)，它的特點(diǎn)是把數(shù)據(jù)裝載到內(nèi)存中計(jì)算而不是去讀慢的要死進(jìn)化還特別慢的硬盤。特別適合做迭代運(yùn)算，所以算法流們特別稀飯它。它是用scala編寫的。Java語(yǔ)言或者Scala都可以操作它，因?yàn)樗鼈兌际怯肑VM的。 ?