blink使用java開發(fā)嗎,搞 Java 最重要的是什么?毫不夸張地說(shuō),掌握和了解學(xué)習(xí)大數(shù)據(jù)之前要打什么基礎(chǔ)???,基本就能走遍天下都不怕了!
1.學(xué)習(xí)大數(shù)據(jù)之前要打什么基礎(chǔ)?
一、學(xué)習(xí)大數(shù)據(jù)需要的基礎(chǔ) 1、java SE、EE(SSM) 90%的大數(shù)據(jù)框架都是Java寫的 2、MySQL SQL on Hadoop 3、Linux 大數(shù)據(jù)的框架安裝在Linux操作系統(tǒng)上 在有了上面的技術(shù)基礎(chǔ)支撐之后,便可以開始我們的大數(shù)據(jù)開發(fā)工程師的鍛造之旅了,可以根據(jù)以下三個(gè)大的方面進(jìn)行學(xué)習(xí),當(dāng)然了,中間需要穿插一些項(xiàng)目練習(xí),將理論和實(shí)戰(zhàn)相關(guān)聯(lián)才能成長(zhǎng)的很快! 二、大數(shù)據(jù)技術(shù)需要學(xué)什么 1、大數(shù)據(jù)離線分析 一般處理T+1數(shù)據(jù)(T:可能是1天、一周、一個(gè)月、一年) a、Hadoop :一般不選用新版本,踩坑難解決 (common、HDES、MapReduce、YARN) 環(huán)境搭建、處理數(shù)據(jù)的思想 b、Hive:大數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù) 經(jīng)過(guò)寫SQL對(duì)數(shù)據(jù)進(jìn)行操作,類似于MySQL數(shù)據(jù)庫(kù)的sql c、HBase:基于HDFS的NOSQL數(shù)據(jù)庫(kù) 面向列存儲(chǔ) d、協(xié)作框架: sqoop(橋梁:HDFS《==》RDBMS) flume:搜集日志文件中的信息 e、調(diào)度框架 anzkaban 了解:crotab(Linux自帶) zeus(Alibaba) Oozie(cloudera) f、前沿框架擴(kuò)展: kylin、impala、(ES) 2、大數(shù)據(jù)實(shí)時(shí)分析 以spark框架為主 Scala:OOP(面向?qū)ο蟪绦蛟O(shè)計(jì))+FP(函數(shù)是程序設(shè)計(jì)) sparkCore:類比MapReduce sparkSQL:類比hive :實(shí)時(shí)數(shù)據(jù)處理 kafka:消息隊(duì)列 前沿框架擴(kuò)展:flink 阿里巴巴:blink 3、大數(shù)據(jù)機(jī)器學(xué)習(xí) spark MLlib:機(jī)器學(xué)習(xí)庫(kù) pyspark編程:Python和spark的結(jié)合 以上就是大數(shù)據(jù)的學(xué)習(xí)路線,有興趣的朋友,也可以了解下人工智能和物聯(lián)網(wǎng)。 在不久的將來(lái),多智時(shí)代一定會(huì)徹底走入我們的生活,有興趣入行未來(lái)前沿產(chǎn)業(yè)的朋友,可以收藏多智時(shí)代,及時(shí)獲取人工智能、大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)的前沿資訊和基礎(chǔ)知識(shí),讓我們一起攜手,引領(lǐng)人工智能的未來(lái)
雖說(shuō)掌握和了解了學(xué)習(xí)大數(shù)據(jù)之前要打什么基礎(chǔ)???,能走遍天下,但也要不斷去學(xué)習(xí)新的知識(shí),更多的Java知識(shí),請(qǐng)聯(lián)系客服獲取。