課程亮點
以課堂講解、演示、案例分析為主,輔以互動研討、現(xiàn)場答疑、學以致用。
適用對象
不限
學習目標
了解大數(shù)據(jù)業(yè)內(nèi)*新發(fā)展趨勢,深入掌握Hadoop的原理,Hadoop生態(tài)系統(tǒng)
課程內(nèi)容
大數(shù)據(jù)背景與思維
1. 什么是大數(shù)據(jù)
2. 大數(shù)據(jù)技術的產(chǎn)生背景
3. 大數(shù)據(jù)應用場景
4. 大數(shù)據(jù)思維
5. 大數(shù)據(jù)產(chǎn)業(yè)鏈
6. 大數(shù)據(jù)是如何變革各行業(yè)的技術架構、商業(yè)模式和組織方式
7. 大數(shù)據(jù)必備的技術基礎
*天
Hadoop 2.0
大數(shù)據(jù)基礎理論介紹
Master/Slave結構
消息機制
RPC原理
Hadoop 1.0 存在的問題及現(xiàn)有的解決方案
Hadoop 2.0 各廠商版本對比
Cloudera
Hontorworks
華為等
Apache Hadoop 大數(shù)據(jù)平臺全流程解決方案
Cloudera Hadoop 大數(shù)據(jù)平臺全流程解決方案
HDP Hadoop 大數(shù)據(jù)平臺解決方案
Hadoop 2.0 項目結構解析
Hadoop工作原理及架構
第二天
Hadoop集群運維高階實踐-案例與實驗
運行節(jié)點的監(jiān)控
失敗節(jié)點的恢復
新節(jié)點的添加
Master節(jié)點的HA解決方案
失敗任務的恢復
損壞數(shù)據(jù)的恢復
第三天
Hive架構及實踐案例沙盤演練
Hive系統(tǒng)部署與搭建
Hive工作機制
基于Hive的大數(shù)據(jù)加載過程
Hive程序編寫性能建議
MapJoin
數(shù)據(jù)傾斜
Join順序
UDF編寫注意事項
快速獲取結果TopN
通過Explain觀察Hive行為
動手實驗:完成Hive的搭建與配置
典型案例分析:基于Hive的大型電信通話記錄分析示例,詳細分析Hive的架構應用、性能調(diào)優(yōu)及其使用場景與整體系統(tǒng)架構的結合
第四天
Spark架構及實踐
案例沙盤演練
1.2 Spark的重要擴展
1.2.1 Spark SQL和Dataframe
1.2.2 Spark Streaming
1.2.3 Spark MLlib和ML
1.2.4 GraphX
1.2.5 SparkR
2.3 運行Spark應用程序
2.3.1 Local模式運行Spark應用程序
2.3.2 Standalone模式運行Spark應用程序
2.3.3 YARN模式運行Spark
2.3.4 應用程序提交和參數(shù)傳遞
3 Spark程序開發(fā)
3.1 使用Spark Shell編寫程序
3.1.1 啟動Spark Shell
3.1.2 加載text文件
3.1.3 簡單RDD操作
3.1.4 簡單RDD操作應用
3.1.5 RDD緩存
3.2 構建Spark的開發(fā)環(huán)境
3.2.1 準備環(huán)境
3.2.2 構建Spark的Eclipse開發(fā)環(huán)境
3.2.3 構建Spark的IntelliJ IDEA開發(fā)環(huán)境
3.3 獨立應用程序編程
3.3.1 創(chuàng)建SparkContext對象
3.3.2 編寫簡單應用程序
3.3.3 編譯并提交應用程序
案例實戰(zhàn):一個用戶畫像的Spark分析實例, 演練使用Spark進行經(jīng)典用戶畫像分析的實例
第五天
Spark Streaming應用開發(fā)
Spark Streaming Java實例開發(fā)、運行
Spark Streaming Java實例的運行過程分析
Spark Streaming內(nèi)部數(shù)據(jù)傳輸過程分析
Spark Streaming應用開發(fā)總結(API回顧,典型應用模式總結)
Spark Streaming消息可靠性保證機制介紹
Spark Streaming實時大數(shù)據(jù)算法解析案例
Spark Streaming實時大數(shù)據(jù)報警案例
Spark Streaming實時大數(shù)據(jù)的調(diào)整與改進
