在維基百科中對(duì)數(shù)據(jù)挖掘的解釋是：數(shù)據(jù)挖掘(英語：data mining)是一個(gè)跨*的計(jì)算機(jī)科學(xué)分支 它是用人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)和數(shù)據(jù)庫的交叉方法在相對(duì)較大型的數(shù)據(jù)集中發(fā)現(xiàn)模式的計(jì)算過程。數(shù)據(jù)挖掘過程的總體目標(biāo)是從一個(gè)數(shù)據(jù)集中提取信息，并將其轉(zhuǎn)換成可理解的結(jié)構(gòu)，以進(jìn)一步使用。以下是小編為你整理的大數(shù)據(jù)實(shí)戰(zhàn)學(xué)習(xí)教程 ?

分類。分類是找出數(shù)據(jù)庫中一組數(shù)據(jù)對(duì)象的共同特點(diǎn)并按照分類模式將其劃分為不同的類，其目的是通過分類模型，將數(shù)據(jù)庫中的數(shù)據(jù)項(xiàng)映射到某個(gè)給定的類別。 ?

回歸分析?；貧w分析方法反映的是事務(wù)數(shù)據(jù)庫中屬性值在時(shí)間上的特征，產(chǎn)生一個(gè)將數(shù)據(jù)項(xiàng)映射到一個(gè)實(shí)值預(yù)測(cè)變量的函數(shù)，發(fā)現(xiàn)變量或?qū)傩蚤g的依賴關(guān)系，其主要研究問題包括數(shù)據(jù)序列的趨勢(shì)特征、數(shù)據(jù)序列的預(yù)測(cè)以及數(shù)據(jù)間的相關(guān)關(guān)系等。

聚類。聚類分析是把一組數(shù)據(jù)按照相似性和差異性分為幾個(gè)類別，其目的是使得屬于同一類別的數(shù)據(jù)間的相似性盡可能大，不同類別中的數(shù)據(jù)間的相似性盡可能小。 ?

關(guān)聯(lián)規(guī)則。關(guān)聯(lián)規(guī)則是描述數(shù)據(jù)庫中數(shù)據(jù)項(xiàng)之間所存在的關(guān)系的規(guī)則，即根據(jù)一個(gè)事務(wù)中某些項(xiàng)的出現(xiàn)可導(dǎo)出另一些項(xiàng)在同一事務(wù)中也出現(xiàn)，即隱藏在數(shù)據(jù)間的關(guān)聯(lián)或相互關(guān)系。 ?

導(dǎo)入/預(yù)處理 ?

雖然采集端本身會(huì)有很多數(shù)據(jù)庫，但是如果要對(duì)這些海量數(shù)據(jù)進(jìn)行有效的分析，還是應(yīng)該將這些來自前端的數(shù)據(jù)導(dǎo)入到一個(gè)集中的大型分布式數(shù)據(jù)庫，或者分布式存儲(chǔ)集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡(jiǎn)單的清洗和預(yù)處理工作。也有一些用戶會(huì)在導(dǎo)入時(shí)使用來自Twitter的Storm來對(duì)數(shù)據(jù)進(jìn)行流式計(jì)算，來滿足部分業(yè)務(wù)的實(shí)時(shí)計(jì)算需求。導(dǎo)入與預(yù)處理過程的特點(diǎn)和挑戰(zhàn)主要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量經(jīng)常會(huì)達(dá)到百兆，甚至千兆級(jí)別。 ?

挖掘 ?

與前面統(tǒng)計(jì)和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計(jì)算，從而起到預(yù)測(cè)的效果，從而實(shí)現(xiàn)一些高級(jí)別數(shù)據(jù)分析的需求。比較典型算法有用于聚類的K-Means、用于統(tǒng)計(jì)學(xué)習(xí)的SVM和用于分類的Naive Bayes，主要使用的工具有HadoopMahout等。該過程的特點(diǎn)和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計(jì)算涉及的數(shù)據(jù)量和計(jì)算量都很大，還有，常用數(shù)據(jù)挖掘算法都以單線程為主。 ?

Hadoop和Hive ?

一群基于Java的工具被開發(fā)出來以滿足數(shù)據(jù)處理的巨大需求。Hadoop作為*的基于Java的框架用于批處理數(shù)據(jù)已經(jīng)點(diǎn)燃了大家的熱情。Hadoop比其他一些處理工具慢，但它出奇的準(zhǔn)確，因此被廣泛用于后端分析。它和Hive——一個(gè)基于查詢并且運(yùn)行在頂部的框架可以很好地結(jié)對(duì)工作。 ?

Scala ?

Scala是另一種基于Java的語言，并且和Java相同的是，它正日益成為大規(guī)模機(jī)器學(xué)習(xí)，或構(gòu)建高層次算法的工具。它富有表現(xiàn)力，并且還能夠構(gòu)建健壯的系統(tǒng)。 ?

“Java就像是建造時(shí)的鋼鐵，而Scala則像黏土，因?yàn)槟阒罂梢詫⒅湃敫G內(nèi)轉(zhuǎn)變成鋼鐵，”Driscoll說。

?

Kafka和Storm ?

那么，當(dāng)你需要快速實(shí)時(shí)的分析時(shí)又該怎么辦呢?Kafka會(huì)成為你的好朋友。它大概5年前就已經(jīng)出現(xiàn)了，但是直到最近才成為流處理的流行框架。 ?

Kafka，誕生于LinkedIn內(nèi)部，是一個(gè)超快速的查詢消息系統(tǒng)。Kafka的缺點(diǎn)?好吧，它太快了。在實(shí)時(shí)操作時(shí)會(huì)導(dǎo)致自身出錯(cuò)，并且偶爾地會(huì)遺漏東西。 ?

“有精度和速度之間有一個(gè)權(quán)衡，”Driscoll說， “因此，硅谷所有的大型高科技公司都會(huì)使用兩條管道：Kafka或Storm用于實(shí)時(shí)處理，然后Hadoop用于批處理系統(tǒng)，此時(shí)雖然是緩慢的但超級(jí)準(zhǔn)確?！? ?

Storm是用Scala編寫的另一個(gè)框架，它在硅谷中因?yàn)榱魈幚矶艿搅舜罅康那嗖A。它被Twitter納入其中，勿庸置疑的，這樣一來，Twitter就能在快速事件處理中得到巨大的裨益。 ?

大數(shù)據(jù)系統(tǒng)應(yīng)包含的功能模塊

大數(shù)據(jù)系統(tǒng)應(yīng)該包含的功能模塊，首先是能夠從多種數(shù)據(jù)源獲取數(shù)據(jù)的功能，數(shù)據(jù)的預(yù)處理(例如，清洗，驗(yàn)證等)，存儲(chǔ)數(shù)據(jù)，數(shù)據(jù)處理、數(shù)據(jù)分析等(例如做預(yù)測(cè)分析，生成在線使用建議等等)，*呈現(xiàn)和可視化的總結(jié)、匯總結(jié)果。

下圖描述了大數(shù)據(jù)系統(tǒng)的這些高層次的組件：

本節(jié)的其余部分簡(jiǎn)要說明了每個(gè)組分 ?

2.1 各種各樣的數(shù)據(jù)源

當(dāng)今的IT生態(tài)系統(tǒng)，需要對(duì)各種不同種類來源的數(shù)據(jù)進(jìn)行分析。這些來源可能是從在線Web應(yīng)用程序，批量上傳或feed，流媒體直播數(shù)據(jù)，來自工業(yè)、手持、家居傳感的任何東西等等。

顯然從不同數(shù)據(jù)源獲取的數(shù)據(jù)具有不同的格式、使用不同的協(xié)議。例如，在線的Web應(yīng)用程序可能會(huì)使用SOAP / XML格式通過HTTP發(fā)送數(shù)據(jù)，feed可能會(huì)來自于CSV文件，其他設(shè)備則可能使用MQTT通信協(xié)議。

由于這些單獨(dú)的系統(tǒng)的性能是不在大數(shù)據(jù)系統(tǒng)的控制范圍之內(nèi)，并且通常這些系統(tǒng)都是外部應(yīng)用程序，由第三方供應(yīng)商或團(tuán)隊(duì)提供并維護(hù)，所以本文將不會(huì)在深入到這些系統(tǒng)的性能分析中去。 ?

2.2 數(shù)據(jù)采集

*步，獲取數(shù)據(jù)。這個(gè)過程包括分析，驗(yàn)證，清洗，轉(zhuǎn)換，去重，然后存到適合你們公司的一個(gè)持久化設(shè)備中(硬盤、存儲(chǔ)、云等)。

在下面的章節(jié)中，本文將重點(diǎn)介紹一些關(guān)于如何獲取數(shù)據(jù)方面的非常重要的技巧。請(qǐng)注意，本文將不討論各種數(shù)據(jù)采集技術(shù)的優(yōu)缺點(diǎn)。 ?

2.3 存儲(chǔ)數(shù)據(jù)

第二步，一旦數(shù)據(jù)進(jìn)入大數(shù)據(jù)系統(tǒng)，清洗，并轉(zhuǎn)化為所需格式時(shí)，這些過程都將在數(shù)據(jù)存儲(chǔ)到一個(gè)合適的持久化層中進(jìn)行。

在下面的章節(jié)中，本文將介紹一些存儲(chǔ)方面的*實(shí)踐(包括邏輯上和物理上)。在本文結(jié)尾也會(huì)討論一部分涉及數(shù)據(jù)安全方面的問題。 ?

2.4 數(shù)據(jù)處理和分析

第三步，在這一階段中的一部分干凈數(shù)據(jù)是去規(guī)范化的，包括對(duì)一些相關(guān)的數(shù)據(jù)集的數(shù)據(jù)進(jìn)行一些排序，在規(guī)定的時(shí)間間隔內(nèi)進(jìn)行數(shù)據(jù)結(jié)果歸集，執(zhí)行機(jī)器學(xué)習(xí)算法，預(yù)測(cè)分析等。

在下面的章節(jié)中，本文將針對(duì)大數(shù)據(jù)系統(tǒng)性能優(yōu)化介紹一些進(jìn)行數(shù)據(jù)處理和分析的*實(shí)踐。 ?

2.5 數(shù)據(jù)的可視化和數(shù)據(jù)展示

*一個(gè)步驟，展示經(jīng)過各個(gè)不同分析算法處理過的數(shù)據(jù)結(jié)果。該步驟包括從預(yù)先計(jì)算匯總的結(jié)果(或其他類似數(shù)據(jù)集)中的讀取和用一種友好界面或者表格(圖表等等)的形式展示出來。這樣便于對(duì)于數(shù)據(jù)分析結(jié)果的理解。