Apache是什麼？

有幾個含義：

1、Apache 是使用最廣泛的 Web 服務器軟件。是由 Apache Software Foundation 開發和維護的，是一個免費提供的開源軟件，快速，可靠，安全。

2、Apache軟件基金會（也就是Apache Software Foundation，簡稱為ASF）是專門為運作一個開源軟件項目的Apache 的團體提供支持的非盈利性組織，這個開源軟件的項目就是 Apache 項目。

3、Apache開源協議，全名Apache Licence，是著名的非盈利開源組織Apache採用的協議。

Apache Hadoop：

是一個分佈式基礎框架，用戶可以在不瞭解分佈式底層細節的情況下，開發分佈式程序。充分利用集群的威力進行高速運算和存儲。它允許使用簡單的編程模型跨計算機集群分佈式處理大型數據集。它旨在從單個服務器擴展到數千臺計算機，每臺計算機都提供本地計算和存儲。

狹義上，Hadoop就是單獨指代Hadoop這個軟件；

廣義上，Hadoop指代大數據的一個生態圈，包括很多其他的軟件。

Hadoop體系結構中的服務角色介紹：https://www.toutiao.com/i6600146084285121032/

Apache-Hive：

基於Hadoop的一個數據倉庫工具。

Apache-HBase：

HBase是一個分佈式的、面向列的開源數據庫。

Apache zookeeper：

指包含一個或多個節點的集群提供服務框架用於集群管理。

Apache Spark：

是一個開源的、強大的分佈式查詢和處理引擎。

它是一種與 Hadoop 相似的開源集群計算環境，提供MapReduce的靈活性和可擴展性，但速度明顯更高，是快速、易於使用的框架，允許你解決各種複雜的數據問題，無論是半結構化、結構化、流式，或機器學習、數據科學。

它也已經成為大數據方面最大的開源社區之一，擁有來自250多個組織的超過1000個貢獻者，以及遍佈全球570多個地方的超過30萬個Spark Meetup社區成員。

SparkSpark基礎入門（Spark相關概念）：https://www.toutiao.com/i6537982075213971972/

Apache Storm：

Storm是一個免費並開源的分佈式實時計算系統。由Twitter正式開源的，是一個分佈式的、容錯的實時計算系統。

Storm可以實時處理數據，Storm簡單，可以使用任何編程語言。Storm的特點之一是可靠的消息處理機制，這個機制中最重要的一環是設計一個算法來跟蹤Storm中處理的數據，確保Storm知道消息是否被完整的處理。

Storm實時開發：https://www.toutiao.com/i6691134957210829316/

Apache Flink：

是一個分佈式大數據處理引擎，可對有限數據流和無限數據流進行有狀態計算。可部署在各種集群環境，對各種大小的數據規模進行快速計算。

Flink核心是一個流式的數據流執行引擎，其針對數據流的分佈式計算提供了數據分佈、數據通信以及容錯機制等功能。基於流執行引擎，Flink提供了諸多更高抽象層的API以便用戶編寫分佈式任務，還針對特定的應用領域提供了領域庫。

Apache Flink介紹：https://www.toutiao.com/i6618065157681578500/

Apache Kafka：

Apache Kafka是一個快速、可擴展的、高吞吐、可容錯的分佈式發佈訂閱消息系統

Kafka的優勢在於：

可靠性：Kafka是一個具有分區機制、副本機制和容錯機制的分佈式消息系統

可擴展性：Kafka消息系統支持集群規模的熱擴展

高性能：Kafka在數據發佈和訂閱過程中都能保證數據的高吞吐量。即便在TB級數據存儲的情況下，仍然能保證穩定的性能。

Kafka是什麼？工作原理如何：https://www.toutiao.com/i6714191670088303112/

Apache-Flume：

Flume是Cloudera提供的一個高可用的，高可靠的，分佈式的海量日誌採集、聚合和傳輸的系統。

Apache Sqoop：

Sqoop是一個關係型數據庫與Hadoop間的數據同步的工具。

Flume和Sqoop對比：https://www.toutiao.com/i6542386176903348749/