隨著互聯(lián)網(wǎng)的發(fā)展，大數(shù)據(jù)、云計(jì)算等名詞也進(jìn)入我們的生活的方方面面，那么什么是大數(shù)據(jù)?什么又是云計(jì)算?以下是小編為你整理的如何學(xué)好大數(shù)據(jù)分析 ?

大數(shù)據(jù)是什么? ?

就字面意思理解就是大量的數(shù)據(jù)的意思;深入理解大數(shù)據(jù)是對(duì)信息資源和數(shù)據(jù)的集合，利用這些數(shù)據(jù)和信息資源分析出有用的資源，這就是大數(shù)據(jù)。 ?

容量大數(shù)據(jù)作為信息的集合，它包含了很多潛在的信息，以及各個(gè)不同行業(yè)的信息，這些信息就是大數(shù)據(jù)的容量和價(jià)值。 ?

大數(shù)據(jù)的種類有很多，因?yàn)樗且粋€(gè)信息的合集，因此它包含多種類別的分析。

大數(shù)據(jù)不是一成不變的，隨著時(shí)間和空間的變化，大數(shù)據(jù)也會(huì)跟著變化。 ?

由于大數(shù)數(shù)量巨大，來源的渠道有很多，因此它表現(xiàn)出很強(qiáng)的復(fù)雜性。 ?

利用大數(shù)據(jù)可以分析和反映一個(gè)行業(yè)或者一個(gè)市場的一些規(guī)律，抓住這些規(guī)律，就可以產(chǎn)生價(jià)值。 ?

學(xué)大數(shù)據(jù)用什么語言 ?

Linux：因?yàn)榇髷?shù)據(jù)相關(guān)軟件都是在Linux上運(yùn)行的，所以Linux要學(xué)習(xí)的扎實(shí)一些，學(xué)好Linux對(duì)快速掌握大數(shù)據(jù)相關(guān)技術(shù)會(huì)有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運(yùn)行環(huán)境和網(wǎng)絡(luò)環(huán)境配置，能少踩很多坑，學(xué)會(huì)shell就能看懂腳本，這樣能更容易理解和配置大數(shù)據(jù)集群。 ?

Hadoop：這是現(xiàn)在流行的大數(shù)據(jù)處理平臺(tái)，幾乎已經(jīng)成為大數(shù)據(jù)的代名詞，所以這個(gè)是必學(xué)的。Hadoop里面包括幾個(gè)組件HDFS、MapReduce和YARN。 ?

Zookeeper：這是個(gè)萬金油，安裝Hadoop的HA的時(shí)候就會(huì)用到它，以后的Hbase也會(huì)用到它。它一般用來存放一些相互協(xié)作的信息。 ?

Hbase：這是Hadoop生態(tài)體系中的NOSQL數(shù)據(jù)庫，他的數(shù)據(jù)是按照key和value的形式存儲(chǔ)的并且key是*的，所以它能用來做數(shù)據(jù)的排重。 ?

Kafka：這是個(gè)比較好用的隊(duì)列工具，隊(duì)列是干嗎的?排隊(duì)買票你知道不?數(shù)據(jù)多了同樣也需要排隊(duì)處理。 ?

Spark：它是用來彌補(bǔ)基于MapReduce處理數(shù)據(jù)速度上的缺點(diǎn)，它的特點(diǎn)是把數(shù)據(jù)裝載到內(nèi)存中計(jì)算而不是去讀慢的要死進(jìn)化還特別慢的硬盤。特別適合做迭代運(yùn)算。 ?

大數(shù)據(jù)技術(shù)的具體內(nèi)容 ?

分布式存儲(chǔ)計(jì)算架構(gòu)(強(qiáng)烈推薦：Hadoop) ?

分布式程序設(shè)計(jì)(包含：Apache Pig或者Hive) ?

分布式文件系統(tǒng)(比如：Google GFS) ?

多種存儲(chǔ)模型，主要包含文檔，圖，鍵值，時(shí)間序列這幾種存儲(chǔ)模型(比如：BigTable，Apollo， DynamoDB等) ?

數(shù)據(jù)收集架構(gòu)(比如：Kinesis，Kafla) ?

集成開發(fā)環(huán)境(比如：R-Studio) ?

程序開發(fā)輔助工具(比如：大量的第三方開發(fā)輔助工具) ?

調(diào)度協(xié)調(diào)架構(gòu)工具(比如：Apache Aurora) ?

機(jī)器學(xué)習(xí)(常用的有Apache Mahout 或 H2O) ?

托管管理(比如：Apache Hadoop Benchmarking) ?

安全管理(常用的有Gateway) ?

大數(shù)據(jù)系統(tǒng)部署(可以看下Apache Ambari)

?

搜索引擎架構(gòu)( 學(xué)習(xí)或者企業(yè)都建議使用Lucene搜索引擎) ?

多種數(shù)據(jù)庫的演變(MySQL/Memcached) ?

商業(yè)智能(大力推薦：Jaspersoft ) ?

數(shù)據(jù)可視化(這個(gè)工具就很多了，可以根據(jù)實(shí)際需要來選擇) ?

大數(shù)據(jù)處理算法(經(jīng)典算法) ?

掌握基于Spark的核心框架使用 ?

1、掌握基于Spark上的核心框架的使用系列課程1: Spark SQL ?

1.1 Spark SQL原理和實(shí)現(xiàn) ?

1.2 使用Spark SQL操作文本文件和DSL ?

1.3 Spark SQL操作JSON和Hive ?

2、掌握基于Spark上的核心框架的使用系列課程2：Spark的圖計(jì)算 ?

2.1 Spark GraphX原理和實(shí)現(xiàn) ?

2.2 Table operator和Graph Operator ?

2.3 Verticies、Edges、Triplets ?

2.4 動(dòng)手編寫GraphX實(shí)例 ?

2.5圖操作之Property Operator、Structural Operator ?

2.6圖操作之Computing Degree、Computing Neighbors ?

2.7 圖操作之Join Operators、Map Reduce Triplets ?

2.8 Pregel API ?

2.9 ShortestPaths ?

2.10 PageRank ?

2.11 TriangleCount ?

3、掌握基于Spark上的核心框架的使用系列課程3: Spark實(shí)時(shí)流處理 ?

3.1 DStream ?

3.2 transformation ?

3.3 checkpoint ?

3.4 案例實(shí)戰(zhàn)之一 ?

3.5 案例實(shí)戰(zhàn)之二 ?

3.6 案例實(shí)戰(zhàn)之三 ?

3.7 案例實(shí)戰(zhàn)之四 ?

4、掌握基于Spark上的核心框架的使用系列課程4: Spark的機(jī)器學(xué)習(xí) ?

4.1 LinearRegression ?

4.2 K-Means ?

4.3 Collaborative Filtering ?

5、掌握基于Spark上的核心框架的使用系列課程5：Spark作為云服務(wù) ?

5.1 JobServer的架構(gòu)設(shè)計(jì) ?

5.2 JobServer提供的接口 ?

5.3 JobServer*實(shí)踐 ?

6、掌握基于Spark上的核心框架的使用系列課程6：Spark on Yarn ?

6.1 Spark on Yarn的架構(gòu)原理 ?

6.2 Spark on Yarn的*實(shí)踐 ?

7、掌握基于Spark上的核心框架的使用系列課程7：Tachyon ?

7.1 Tachyon架構(gòu)剖析 ?

7.2 Tachyon操作詳解 ?

7.3 Spark下的Tachyon使用解析 ?