目標
本文章將介紹大數據的職業和工作角色，幫助您瞭解大數據的需求，大數據的市場趨勢，從新手到經驗豐富的專業人士聘請大數據專業人士的各種公司，以及大數據中的不同檔案，以便在像Hadoop開發人員，Hadoop管理員，Hadoop架構師，Hadoop測試人員和大數據分析師，以及他們在不同大數據配置文件中所需的角色和職責，技能和經驗。
2.大數據職業和工作角色簡介
每秒都會生成大量數據，如果每天都收集到這些數據，則會導致每天生成2.5個數據字節的數據。
這些數據的90％是在過去兩年中產生的，這導致了數據的巨大爆炸。您可以想象，從成立之日到最近2年，數據生成僅佔全球可用數據總量的10％。因此，數據生成是隨時間呈指數而非線性的。
因此，我們已經看到了各種數據來源以及每天產生的數據量，我們可以得出結論，這些數據正在以每年40％的複合率增長。如果我們計算到2020年將產生的總數據，那麼大約45 ZB將顯示大數據的增長情況，並將成為未來幾年中要求最苛刻的技術。這將為大數據專業人士提供一個非常光明的未來。
MarketsandMarkets的一項研究估計，到2017年底，Hadoop和大數據分析市場預計將達到139億美元。
Hadoop工作不僅由IT公司提供，而且所有類型的公司都在招聘高薪Hadoop候選人，包括金融公司，零售組織，銀行，醫療保健組織等.Hadoop開發人員工作和Hadoop管理工作對初創公司的需求很大正在將Hadoop直接構建到他們的業務計劃中。EMC公司，蘋果公司，Facebook，谷歌公司，甲骨文公司，Hortonworks公司，IBM公司，微軟公司，思科公司等公司在印度的幾乎所有城市都有多個Hadoop職位，包括Hadoop開發人員，Hadoop測試人員，Hadoop架構師和Hadoop管理員。大多數需求在班加羅爾，浦那，孟買，海德拉巴，欽奈，新德里和NCR。
被問到的最常見的問題之一是“Hadoop中可用的各種工作是什麼”。以下是各種Hadoop作業說明的簡要概述。
3. Hadoop開發人員
Hadoop開發人員的工作職責是根據系統設計編寫程序，並且必須對編碼和編程有相當的瞭解。Hadoop開發人員的任務類似於軟件開發人員，但在大數據領域。Hadoop開發人員的工作還包括理解並致力於提出問題解決方案，設計和架構以及強大的文檔編制技能。
Hadoop開發人員的角色和職責
- 定義工作流程
- 管理和查看Hadoop日誌文件
- 通過Zookeeper進行集群協調服務
- 通過調度程序管理Hadoop作業
- 支持在Hadoop集群上運行的MapReduce程序
Hadoop開發人員所需的技能：
- 編寫Pig Latin Scripts和HiveQL的專業知識
- 經驗證的工作流程/調度程序，如Oozie
- 能夠處理Flume和Sqoop 等數據加載工具
Hadoop開發人員配置文件所需的經驗
從行業專家那裡學習Hadoop
0-5歲
Hadoop開發人員簡歷必須融合上述技能，由在印度和國外招聘Hadoop開發人員的公司選擇並獲得大量Hadoop開發人員薪水。有關Cloudera的Hadoop開發人員認證的更多詳細信息，請訪問Cloudera認證課程的詳細信息。
4. Hadoop架構師
Hadoop架構師的工作職責是設計系統應該如何工作，然後管理Hadoop解決方案的整個生命週期。他必須具備在Cloudera，HortonWorks和MapR等流行的Hadoop分發平臺上工作的主題專業知識和交付經驗。
Hadoop Architect角色和職責
- 設計技術架構和應用程序定製
- 進行必要的需求分析
- 進行擬議解決方案設計的部署
Hadoop Architect需要的技能
- 深入瞭解Hadoop架構和HDFS，包括YARN
- Hive, Pig
- Java MapReduce
- HBase的
Hadoop架構師配置文件所需的經驗
8年以上
Hadoop架構師簡歷必須融合上述技能，以便在印度和國外招聘Hadoop架構師的公司選擇。
5. Hadoop管理員
Hadoop管理作業職責與系統管理員作業類似。Hadoop管理員角色和職責包括設置Hadoop集群，備份，恢復和維護。Hadoop管理員需要熟悉硬件系統和Hadoop架構。
Hadoop管理員角色和職責：
- HDFS維護和支持
- Hadoop集群規劃和篩選
- 跟蹤所有連接和安全問題
- 設置新的Hadoop用戶
Hadoop管理員所需的技能：
- 深入瞭解Hbase
- 親身體驗Oozie，HCatalog，Hive
- Linux環境中強大的腳本編寫技巧
Hadoop管理員個人資料所需的經驗
0-5歲
Hadoop管理員簡歷必須融合上述技能，以便在印度和國外招聘Hadoop管理員的公司選擇。
6. Hadoop測試人員
Hadoop測試人員的工作職責是確保所設計的流程與組織所需的流程保持同步。他的主要職責是在Hadoop應用程序中查找和修復錯誤。
Hadoop Tester角色和職責
- 主要職責包括在程序中進行故障排除和查找缺陷，並將其報告給Hadoop開發人員以採取糾正措施
- 報告Hadoop / Pig / Hive組件中的所有正面和負面測試用例
Hadoop Tester所需的技能
- 測試JUnit，MRUnit框架的知識
- 瞭解Java以測試MapReduce作業
- 親手瞭解Hive, Pig
Hadoop測試人員配置文件所需的經驗
0-5歲
Hadoop測試員簡歷必須結合上述技能，由在印度和國外招聘Hadoop測試人員的公司選擇。
7. Hadoop分析師
Hadoop分析師的工作職責是分析大量數據，並提出公司可以用來改進的見解。
Hadoop分析師的角色和責任
- 使用腳本語言從可用數據中開發新見解
- 根據不同的假設進行A / B測試，以影響不同的關鍵績效指標
Hadoop Analyst所需的技能
- 親手瞭解Hive, Pig
- 深入瞭解Flume知識和SQL命令
希望這些能給大家一個清楚的認知觀，
閱讀更多 大數據信息站 的文章
