大數據的框架主要學習和使用什么呢？
什么是大數據？大數據，IT行業術語，指的是可以傳統的軟件工具在一定的時間范圍內是無法捕捉、管理和處理的。它是一種海量、高增長、多元化的信息資產，需要一種新的處理模式來擁有更強的決策力、洞察和發現能力以及流程優化能力。
VictorMayer-schoenberg和KennethCook《大數據時代》大數據是指所有數據都用于分析和處理，而沒有隨機分析(抽樣調查)的捷徑。大數據的5V特征(IBM提出):體量(海量)、速度(高速)、多樣性(多樣性)、價值(低價值密度)、真實性。
大數據開發的學習路線:
第一階段:Hadoop生態架構技術
1.語言基礎
Java:在Java虛擬機中理解和練習內存管理、多線程、線程池、設計模式、并行化就夠了，不需要很深的掌握。
Linux:系統安裝，基本命令，網絡配置，Vim編輯器，進程管理，Shell腳本，虛擬機的菜單熟悉度等等。
Python:基本語法、數據結構、函數、條件判斷、循環等基礎知識。
2.環境準備
本文介紹了如何建立一個完全分布式的windows計算機，有1個主機和2個從機。
VMware虛擬機，Linux系統(Centos6.5)，Hadoop安裝包，Hadoop全分布式集群環境都在這里準備好了。
3、MapReduce
MapReduce分布式離線計算框架是Hadoop的核心編程模型。
4、HDFS1.0/2.0
HDFS可以提供高吞吐量的數據訪問，適合大規模數據集上的應用。
5、紗線(Hadoop2.0)
Yarn是一個資源調度平臺，主要負責給任務分配資源。
6、蜂巢
Hive是一個數據倉庫，所有數據都存儲在HDFS上。Hive主要用來寫Hql。
7、火花
Spark是專門為大規模數據處理設計的快速通用計算引擎。
8、火花放電
SparkStreaming是一個實時處理框架，數據是批量處理的。
9、火花屋
Spark作為Hive的計算引擎，將Hive的查詢作為Spark的任務提交給Spark集群進行計算，可以提高Hive查詢的性能。
10、風暴
Storm是一個實時計算框架。Storm實時處理每一條添加的數據，一條一條，可以保證數據處理的及時性。
動物園管理員
佐基Per是許多大數據框架的基礎，也是集群的管理者。
12、Hbase
Hbase是一個Nosql數據庫，它是高度可靠的、面向列的、可伸縮的和分布式的。
13、卡夫卡
Kafka是一個消息中間件，作為中間緩沖層。
14、水槽
Flume常見的是從應用程序生成的日志文件中收集數據，一般有兩個過程。
一種是Flume采集的數據存儲在Kafka中，便于Storm或SparkStreaming實時處理。
另一個過程是將Flume收集的數據存儲在HDFS上進行離線處理，以便以后使用hadoop或spark。
第二階段:數據挖掘算法
1.中文分詞
開源敘詞表的離線和在線應用
2.自然語言處理
文本相關算法
3.推薦算法
基于CB，CF，歸一化方法，Mahout應用。
4.分類算法
NB、SVM
5.回歸算法
LR、決策樹
6.聚類算法
分層聚類，k均值
7.神經網絡和深度學習
神經網絡、張量流
以上是學習Hadoop開發的詳細路線。如果需要了解具體框架的開發技術，可以咨詢Gamigu的大數據老師了解更多。
學習大數據開發需要掌握哪些技術？
(1)Java語言基礎
Java開發入門，熟悉Eclipse開發工具，Java語言基礎，Java進程控制，Java字符串，Java數組和類和對象，數字處理類和核心技術，I/O和反射，多線程，Swing程序和集合類。
(2)HTML、CSS和Java
PC端網站布局，html5cs3基礎，WebApp頁面布局，原生Java交互功能開發，Ajax異步交互，jQuery應用。
(3)JavaWeb和數據庫
數據庫，JavaWeb開發核心，JavaWeb開發內幕
LinuxampHadoop生態系統
Linux系統，Hadoop離線計算大綱，分布式數據庫Hbase，數據倉庫Hive，數據遷移工具Sqoop，Flume分布式日志框架。
分布式計算框架和SparkampStrom生態系統
(1)分布式計算框架
Python編程語言、Scala編程語言、Spark大數據處理、Spark—流式大數據處理、Spark—Mlib機器學習、Spark—GraphX圖計算、實戰1:基于Spark的推薦系統(某一線公司的真實項目)、實戰2:新浪。com()。
(2)2)暴風科技架構體系的原理和基礎，消息隊列kaf。Ka、R
簡述hadoop2.0的四個核心組件及其功能？
Hadoop基本概念
Hadoop生態系統是一個龐大的、功能齊全的生態系統，但它仍然被一個叫做Hadoop的分布式系統基礎設施所包圍。它的核心組件由四部分組成，即:通用、HDFS、MapReduce和YARN。
Common是Hadoop架構的常用組件；
HDFS是Hadoop的分布式文件存儲系統。
MapReduce是Hadoop提供的編程模型，可用于大規模數據集的并行操作。
YARN是Hadoop架構升級后廣泛使用的資源管理器。