IT界不得不知的十大開源大數據技術,精通其一,年薪百萬

N0.1 Hadoop

Hadoop——高效、可靠、可伸縮,能夠為你的數據存儲項目提供所需的YARN、HDFS和基礎架構,並且運行主要的大數據服務和應用程序。

N0.2 Spark

Spark——使用簡單、支持所有重要的大數據語言(Scala、Python、Java、R)。擁有強大的生態系統,成長迅速,對microbatching/batching/SQL支持簡單。Spark能更好地適用於數據挖掘與機器學習等需要迭代的MapReduce的算法。

N0.3 NiFi

NiFi——Apache NiFi是由美國國家安全局(NSA)貢獻給Apache基金會的開源項目,其設計目標是自動化系統間的數據流。基於其工作流式的編程理念,NiFi非常易於使用、強大、可靠、高可配置。兩個最重要的特性是其強大的用戶界面和良好的數據回溯工具。堪稱大數據工具箱裡的瑞士軍刀。

N0.4 Hive

Apache Hive 2.1——Hive是建立在 Hadoop 上的數據倉庫基礎構架。它提供了一系列的工具,可以用來進行數據提取轉化加載(ETL),這是一種可以存儲、查詢和分析存儲在 Hadoop 中的大規模數據的機制。隨著最新版本的發佈,性能和功能都得到了全面提升,Hive已成為SQL在大數據上的最佳解決方案。

N0.5 Kafka

Kafka——Kafka是一種高吞吐量的分佈式發佈訂閱消息系統,它可以處理消費者規模網站中的所有動作流數據。它已成為大數據系統在異步和分佈式消息之間的最佳選擇。從Spark到NiFi再到第三方插件工具以至於Java到Scala,它都提供了強大的粘合作用。

N0.6 Phoenix

Phoenix—是HBase的SQL驅動。目前大量的公司採用它,並擴大其規模。HDFS支持的NoSQL能夠很好地集成所有工具。Phoenix查詢引擎會將SQL查詢轉換為一個或多個HBase scan,並編排執行以生成標準的JDBC結果集。

N0.7 Zeppelin

Zeppelin——Zeppelin 是一個提供交互數據分析且基於Web的筆記本。方便你做出可數據驅動的、可交互且可協作的精美文檔,並且支持多種語言,包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。

N0.8 Sparkling Water

Sparkling Water——H2O填補了Spark’s Machine Learning的缺口,它可以滿足你所有的機器學習。

N0.9 Apache Beam

Apache Beam——在Java中提供統一的數據進程管道開發,並且能夠很好地支持Spark和Flink。提供很多在線框架,開發者無需學習太多框架。

N0.10 Stanford CoreNLP

10.Stanford CoreNLP——自然語言處理擁有巨大的增長空間,斯坦福正在努力增進他們的框架。


以上10個開源工具,是互聯網IT常用工具,精通一個,涉獵其他,成為年薪百萬的精英T型人才,沒問題...

IT界不得不知的十大開源大數據技術,精通其一,年薪百萬


分享到:


相關文章: