初學者對大數據技術學習的一系列問題
很多大數據的初學者，總是會問這樣的問題：大數據是什麼？大數據需要學哪些技術？？我們再來簡單探討下吧。
首先大數據是一個比較大的概念，這也就是為什麼你問很多對大數據比較瞭解的人，他們也無法立馬回答你的原因。你說喜歡大數據，其實就好像在說喜歡"人類"一樣。這種感覺就像，一個外星人乍一看人類不都是一個樣嗎，然後用飛碟在地球各地擄走了幾個樣本之後，外星人發現自己懵逼了，怎麼這些樣本之間的差別這麼大啊，膚色、語言、思維習慣等等都不一樣，最後得出結論，不能用對付其中一個樣本種群的方法對付其他樣本種群，得慢慢研究。
但是你日常生活中，隨時隨地都在產生數據，你注意到沒有，每個人的手機都變成採集器了。手機擁有者剛顯示出對某個商品表示興趣，30秒鐘之內精確的廣告就會投放過來。所以大數據不是非常神秘的，人人都可以解除，只不過有一部分人對此加深了研究學習。
至於，，這裡對大數據學習中要接觸的技術做一些簡單的介紹，如果感興趣可以去仔細研究學習：
一、Hadoop
可以說，hadoop幾乎已經是大數據代名詞，至少目前來看hadoop就是大數據。無論是是否贊成，hadoop已經是大部分企業的大數據標準。得益於Hadoop生態圈，從現在來看，還沒有什麼技術能夠動搖hadoop的地位。
這一塊可以按照一下內容來學習：
1、Hadoop產生背景
2、Hadoop在大數據、雲計算中的位置和關係
3、國內外Hadoop應用案例介紹
4、國內Hadoop的就業情況分析及課程大綱介紹
5、分佈式系統概述
6、Hadoop生態圈以及各組成部分的簡介
二、分佈式文件系統HDFS
HDFS全稱 Hadoop Distributed File System ，它是一個高度容錯性的系統，適合部署在廉價的機器上，同時能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用。為了實現流式讀取文件系統數據的目的，HDFS放寬了一部分POSIX約束。
1、分佈式文件系統HDFS簡介
2、HDFS的系統組成介紹
3、HDFS的組成部分詳解
4、副本存放策略及路由規則
5、NameNode Federation
6、命令行接口
7、Java接口
8、客戶端與HDFS的數據流講解
9、HDFS的可用性（HA）
三、初級MapReduce
這是你成為Hadoop開發人員的基礎課程。
MapReduce提供了以下的主要功能：
1）數據劃分和計算任務調度：
2）數據/代碼互定位：
3）系統優化：
4）出錯檢測和恢復：
這種編程模型主要用於大規模數據集（大於1TB）的並行運算。
1、如何理解map、reduce計算模型
2、剖析偽分佈式下MapReduce作業的執行過程
3、Yarn模型
4、序列化
5、MapReduce的類型與格式
6、MapReduce開發環境搭建
7、MapReduce應用開發
8、熟悉MapReduce算法原理
四、高級MapReduce
這一塊主要是高級Hadoop開發的技能，都是MapReduce為什麼我要分開寫呢？因為我真的不覺得誰能直接上手就把MapReduce搞得清清楚楚。
1、使用壓縮分隔減少輸入規模
2、利用Combiner減少中間數據
3、編寫Partitioner優化負載均衡
4、如何自定義排序規則
5、如何自定義分組規則
6、MapReduce優化
五、Hadoop集群與管理
這裡會涉及到一些比較高級的數據庫管理知識，乍看之下都是操作性的內容，但是做成容易，做好非常難。
1、Hadoop集群的搭建
2、Hadoop集群的監控
3、Hadoop集群的管理
4、集群下運行MapReduce程序
六、ZooKeeper基礎知識
ZooKeeper的目標就是封裝好複雜易出錯的關鍵服務，將簡單易用的接口和性能高效、功能穩定的系統提供給用戶。
1、ZooKeeper體現結構
2、ZooKeeper集群的安裝
3、操作ZooKeeper
七、HBase基礎知識
HBase – Hadoop Database，是一個高可靠性、高性能、面向列、可伸縮的分佈式存儲系統，利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集群。
與FUJITSU Cliq等商用大數據產品不同，HBase是Google Bigtable的開源實現，類似Google Bigtable利用GFS作為其文件存儲系統，HBase利用Hadoop HDFS作為其文件存儲系統；Google運行MapReduce來處理Bigtable中的海量數據，HBase同樣利用Hadoop MapReduce來處理HBase中的海量數據；Google Bigtable利用 Chubby作為協同服務，HBase利用Zookeeper作為對應。
1、HBase定義
2、HBase與RDBMS的對比
3、數據模型
4、系統架構
5、HBase上的MapReduce
6、表的設計
八、HBase集群及其管理
1、集群的搭建過程
2、集群的監控
3、集群的管理
十、Pig基礎知識
Pig是進行Hadoop計算的另一種框架，是一個高級過程語言，適合於使用 Hadoop 和 MapReduce 平臺來查詢大型半結構化數據集。通過允許對分佈式數據集進行類似 SQL 的查詢，Pig 可以簡化 Hadoop 的使用。
1、Pig概述
2、安裝Pig
3、使用Pig完成手機流量統計業務
十一、Hive
hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為MapReduce任務進行運行。 其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用。
1、數據倉庫基礎知識
2、Hive定義
3、Hive體系結構簡介
4、Hive集群
5、客戶端簡介
6、HiveQL定義
7、HiveQL與SQL的比較
8、數據類型
9、表與表分區概念
10、表的操作與CLI客戶端
11、數據導入與CLI客戶端
12、查詢數據與CLI客戶端
13、數據的連接與CLI客戶端
14、用戶自定義函數（UDF）
十二、Storm
Storm為分佈式實時計算提供了一組通用原語，可被用於"流處理"之中，實時處理消息並更新數據庫。這是管理隊列及工作者集群的另一種方式。 Storm也可被用於"連續計算"（continuous computation），對數據流做連續查詢，在計算時就將結果以流的形式輸出給用戶。它還可被用於"分佈式RPC"，以並行的方式運行昂貴的運算。
1、Storm基礎知識：包括Storm的基本概念和Storm應用
場景，體系結構與基本原理，Storm和Hadoop的對比
2、Storm集群搭建：詳細講述Storm集群的安裝和安裝時常見問題
3、Storm組件介紹： spout、bolt、stream groupings等
4、Storm消息可靠性：消息失敗的重發
5、Hadoop 2.0和Storm的整合：Storm on YARN
6、Storm編程實戰
對大數據感興趣的朋友要多關注大數據技術動態，IT技術的更新換代非常快，要緊跟時代才能不被淘汰！
需要零基礎視頻 開發工具 系統學習路線，私信回覆 關鍵字：“666” 獲取
閱讀更多 IT時代發展 的文章
