Hadoop生態(tài)系統(tǒng)及各模塊的功能？

1.HDFS(Hadoop分布式文件系統(tǒng))

HDFS是一個(gè)在Hadoop生態(tài)中提供分布式存儲(chǔ)支持的系統(tǒng)，很多上層計(jì)算框架(Hbase，Spark等。)依靠HDFS存儲(chǔ)。

(分布式計(jì)算模型)離線計(jì)算

什么是離線計(jì)算，其實(shí)就是非實(shí)時(shí)計(jì)算。

3.分布式資源管理器

紗線與紡織品。;的出現(xiàn)主要是為了解決原有Hadoop擴(kuò)展性差，不支持多種計(jì)算模式的問(wèn)題。

4.存儲(chǔ)計(jì)算

Spark在內(nèi)存中提供分布式計(jì)算能力，比傳統(tǒng)的MapReduce大數(shù)據(jù)分析更高效、更快速。

5.分布式列存儲(chǔ)數(shù)據(jù)庫(kù)

Hbase繼承了列存儲(chǔ)的特點(diǎn)，非常適合數(shù)據(jù)的隨機(jī)讀寫(xiě)。其次，Hbase建立在HDFS之上，它內(nèi)部管理的所有文件都存儲(chǔ)在HDFS。這使得它具有高度的容錯(cuò)性和可擴(kuò)展性，并支持Hadoopmapreduce編程模型。

6.數(shù)據(jù)倉(cāng)庫(kù)

7.Oozie(工作流調(diào)度程序)

Oozie是一個(gè)基于工作流引擎的調(diào)度器，它實(shí)際上是一個(gè)運(yùn)行在JavaServlet容器(如Tomcat)中的JavaWeb應(yīng)用程序，在其上可以運(yùn)行諸如Hadoop地圖縮小和豬。

8.Sqoop和Pig

9.Flume(日志收集工具)

Flume將數(shù)據(jù)從產(chǎn)生、傳輸、處理到最終寫(xiě)入目標(biāo)路徑的過(guò)程抽象成數(shù)據(jù)流。在具體的數(shù)據(jù)流中，數(shù)據(jù)源支持在Flume中定制數(shù)據(jù)發(fā)送方，從而支持不同協(xié)議的數(shù)據(jù)采集。

10.Kafka(分布式消息隊(duì)列)

Kafka是Apach

hadoop生態(tài)圈包含哪些系統(tǒng)？

Hadoop生態(tài)系統(tǒng):

1.HDFS:Hadoop分布式文件系統(tǒng)，用來(lái)解決機(jī)器組存儲(chǔ)數(shù)據(jù)的問(wèn)題。

第一代Hadoop計(jì)算引擎分為兩步:map和reduce。很好用，但是很繁瑣。

3.spark:第二代計(jì)算引擎，模糊了map和reduce之間的界限，需要更少的磁盤(pán)讀寫(xiě)。

4.pig:上面計(jì)算引擎的MapReduce程序很難寫(xiě)。與匯編語(yǔ)言相比，pig的描述更接近腳本。

配置單元是用sql描述的。將sql語(yǔ)言翻譯成MapReduce程序。

6.Tez和spark:新一代計(jì)算引擎，可以滿足低速數(shù)據(jù)處理的要求。

:流式計(jì)算平臺(tái)。數(shù)據(jù)流和統(tǒng)計(jì)。

8.zookeeper:分布式訪問(wèn)協(xié)作系統(tǒng)

9.紗:中央管理調(diào)度系統(tǒng)