課程亮點(diǎn)
師資:*講師團(tuán)隊(duì),豐富行業(yè)經(jīng)驗(yàn)和企業(yè)培訓(xùn)經(jīng)驗(yàn)
特色:小班培訓(xùn),精品課程,面授+直播+錄播,上課方式多樣
培訓(xùn):免費(fèi)重聽
適用對象
不限
學(xué)習(xí)目標(biāo)
掌握Cloudera Manager管理集群的功能
課程內(nèi)容
*天
▲ Apache Hadoop介紹
● Hadoop介紹及優(yōu)勢
● 基本概念
● Hadoop核心組件
● 實(shí)操練習(xí):網(wǎng)絡(luò)配置
▲ Hadoop集群安裝
● 集群管理方案
● Cloudera Manager特征
● Cloudera Manager安裝
● CDH介紹及安裝
● 實(shí)操練習(xí)1:安裝Cloudera Manager服務(wù)
● 實(shí)操練習(xí)2:創(chuàng)建Hadoop集群
▲ Hadoop分布式文件系統(tǒng)(HDFS)
● HDFS特性
● 讀寫文件
● NameNode內(nèi)存注意事項(xiàng)
● HDFS安全簡介
● HDFS web UI
● 使用hadoop 文件 shell
● 實(shí)操練習(xí):使用HDFS
第二天
▲ YARN上的MapRduce和Spark
● 計(jì)算平臺在hadoop中扮演的角色
● YARN(集群資源管理器)的介紹
● MapRduce概念介紹
● Spark概念介紹
● 在YARN上運(yùn)行計(jì)算框架
● 通過web UIs和shell探索YARN應(yīng)用程序
● YARN應(yīng)用程序日志介紹
● 實(shí)操練習(xí):運(yùn)行YARN應(yīng)用程序
▲ Hadoop配置及服務(wù)運(yùn)行日志
● Cloudera Manager的配置管理機(jī)制
● 定位配置參數(shù)及更改應(yīng)用配置
● 管理角色實(shí)例及添加服務(wù)
● 配置HDFS服務(wù)
● 配置Hadoop Daemon日志
● 配置YARN服務(wù)
● 實(shí)操練習(xí):探索hadoop配置及守護(hù)程序日志
▲ 向HDFS導(dǎo)入數(shù)據(jù)
● 使用Flume從外部數(shù)據(jù)源實(shí)時(shí)導(dǎo)入數(shù)據(jù)
● 使用Sqooq從關(guān)系數(shù)據(jù)庫中導(dǎo)入數(shù)據(jù)
● REST接口介紹
● 導(dǎo)入數(shù)據(jù)的*佳實(shí)踐
● 實(shí)操練習(xí)1:Flume的使用
● 實(shí)操練習(xí)2:使用Sqooq導(dǎo)入數(shù)據(jù)
第三天
▲ Hadoop集群規(guī)劃
● 總體規(guī)劃考慮因素
● 硬件選擇
● 虛擬化選項(xiàng)
● 云部署選項(xiàng)
● 網(wǎng)絡(luò)考慮因素
● 節(jié)點(diǎn)配置
▲ Hive、Impala及Pig的安裝及配置
● Hive介紹
● Impala介紹
● Pig介紹
● Cloudera搜索
● 實(shí)操練習(xí):使用Hive和Impala查詢HDFS
▲ Hadoop客戶端及Hue
● Hadoop客戶端介紹
● 安裝和配置Hadoop客戶端
● 安裝和配置Hue
● 使用Hue進(jìn)行身份驗(yàn)證及授權(quán)
● 實(shí)操練習(xí):使用Hue來控制hadoop用戶訪問
▲ 集群高級配置
● 高級配置參數(shù)
● Hadoop端口配置
● HDFS機(jī)柜感知配置
● HDFS高可靠性配置
● 實(shí)操練習(xí):配置HDFS的高可靠性
