大數據平臺的軟件有哪些?

真實的我4L


1、 數據庫,大數據平臺類:

星環,做Hadoop生態系列的大數據底層平臺公司。Hadoop是開源的,星環主要做的是把Hadoop不穩定的部分優化,功能細化,為企業提供Hadoop大數據引擎及數據庫工具。

2、 雲計算,雲端大數據類,

阿里巴巴,明星產品-阿里雲,與亞馬遜AWS抗衡,做公有云、私有云、混合雲。實力不差,符合阿里巴巴的氣質,很有野心。

3、 大數據決策平臺:

帆軟。帆軟是商業智能和數據分析平臺提供商,從報表工具到商業智能BI,有十多年的數據應用的底子,在這個領域很成熟,但是很低調。旗下的報表產品FineReport和商業智能FineBI值得推薦。

Finereport:各方面都很成熟的一款大數據軟件,適用於對海量數據的處理與分析。比較符合中國人數據分析的習慣和邏輯,用不慣國外軟件的數據分析師建議使用。

這是一個商用報表軟件,企業級應用,一定程度上可替代Excel,如業務系統報表,數據分析報表,財務報表。可與OA,ERP,CRM集成。主要兩大核心是填報和數據展示。懂點java的話可以做開發,比如我同事用這個開發了一個公司內部的考試系統。

FineBI

個人最常用的BI分析工具,用習慣了覺得這個工具很簡單很傻瓜。操作類似Tableau,拖拽分析字段即可生成圖表,圖表是自動推薦的,精確智能。基本不需要寫函數,內置各種計算功能,數據過濾篩選條件等。內置一些基本的迴歸、預測數據挖掘功能,製作可視化儀表板很方便。個人使用免費。

可以看我之前寫的一篇文章:李啟方:這可能是今年最值得推薦的數據分析工具
4、 大數據存儲硬件類:

浪潮,很老牌的IT公司,國資委控股,研究大數據方面的存儲,在國內比較領先。


帆軟軟件


首推鑑:Hadoop,私有云最佳方案。hadoop下面還會涉及hbase,hive,spark,zookeeper,mapreduce等等。開源,免費,穩定,很多大公司都在用。


如果小公司自己用,那就去用各家的雲服務。像阿里雲,騰訊雲,華為雲之類的,都有相關大數據服務。


1、Hadoop是一個由Apache基金會所開發的分佈式系統基礎架構。用戶可以在不瞭解分佈式底層細節的情況下,開發分佈式程序。充分利用集群的威力進行高速運算和存儲。Hadoop實現了一個分佈式文件系統(Hadoop Distributed File System),簡稱HDFS。HDFS有高容錯性的特點,並且設計用來部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)來訪問應用程序的數據,適合那些有著超大數據集(large data set)的應用程序。HDFS放寬了(relax)POSIX的要求,可以以流的形式訪問(streaming access)文件系統中的數據。


2、Hadoop的框架最核心的設計就是:HDFS和MapReduce。HDFS為海量的數據提供了存儲,則MapReduce為海量的數據提供了計算。Hadoop是一個能夠對大量數據進行分佈式處理的軟件框架。 Hadoop 以一種可靠、高效、可伸縮的方式進行數據處理。

Hadoop 是可靠的,因為它假設計算元素和存儲會失敗,因此它維護多個工作數據副本,確保能夠針對失敗的節點重新分佈處理。

Hadoop 是高效的,因為它以並行的方式工作,通過並行處理加快處理速度。

Hadoop 還是可伸縮的,能夠處理 PB 級數據。
此外,Hadoop 依賴於社區服務,因此它的成本比較低,任何人都可以使用。


3、Hadoop是一個能夠讓用戶輕鬆架構和使用的分佈式計算平臺。用戶可以輕鬆地在Hadoop上開發和運行處理海量數據的應用程序。它主要有以下幾個優點:

高可靠性。Hadoop按位存儲和處理數據的能力值得人們信賴。

高擴展性。Hadoop是在可用的計算機集簇間分配數據並完成計算任務的,這些集簇可以方便地擴展到數以千計的節點中。

高效性。Hadoop能夠在節點之間動態地移動數據,並保證各個節點的動態平衡,因此處理速度非常快。
高容錯性。Hadoop能夠自動保存數據的多個副本,並且能夠自動將失敗的任務重新分配。
低成本。與一體機、商用數據倉庫以及QlikView、Yonghong Z-Suite等數據集市相比,hadoop是開源的,項目的軟件成本因此會大大降低。

4、Hadoop帶有用Java語言編寫的框架,因此運行在 Linux 生產平臺上是非常理想的。Hadoop 上的應用程序也可以使用其他語言編寫,比如 C++。

5、hadoop大數據處理的意義Hadoop得以在大數據處理應用中廣泛應用得益於其自身在數據提取、變形和加載(ETL)方面上的天然優勢。Hadoop的分佈式架構,將大數據處理引擎儘可能的靠近存儲,對例如像ETL這樣的批處理操作相對合適,因為類似這樣操作的批處理結果可以直接走向存儲。Hadoop的MapReduce功能實現了將單個任務打碎,並將碎片任務(Map)發送到多個節點上,之後再以單個數據集的形式加載(Reduce)到數據倉庫裡。


Adair品科技


這個要分好幾塊來講,首先我要說明的是大數據項目也是要有很多依賴的模塊的。每個模塊的軟件不一樣,下面分別聊一下。

一、大數據處理

這個是所謂大數據項目中最先想到的模塊。主要有spark,hadoop,es,kafka,hbase,hive等。

當然像是flume,sqoop也都很常用。

這些軟件主要是為了解決海量數據處理的問題。軟件很多,我只列幾個經典的,具體可以自行百度。

二、機器學習相關

大部分大數據項目都和機器學習相關。因此會考慮到機器學習的一些軟件,比如說sklearn,spark的ml,當然還有自己實現的代碼。

三、web相關技術

大部分項目也都跑不了一個web的展示,因此web就很重要的,java的ssh,python的django都可以,這個看具體的項目組習慣了。

四、其它

還有一些很常用的東西,個人感覺不完全算是大數據特定使用範圍。反正我在做大數據項目的時候也都用到了。

比如說數據存儲:redis,mysql。

數據可視化:echart,d3js。

圖數據庫:neo4j。

再來說說大數據平臺的軟件或者工具:

1、 數據庫,大數據平臺類,星環,做Hadoop生態系列的大數據平臺公司。Hadoop是開源的,星環主要做的是把Hadoop不穩定的部分優化,功能細化,為企業提供Hadoop大數據引擎及數據庫工具。

2、 大數據存儲硬件類,浪潮,很老牌的IT公司,國資委控股,研究大數據方面的存儲,在國內比較領先。

3、 雲計算,雲端大數據類,阿里巴巴,明星產品-阿里雲,與亞馬遜AWS抗衡,做公有云、私有云、混合雲。實力不差,符合阿里巴巴的氣質,很有野心。

4、 數據應用方面這個有很多,比如帆軟旗下的FineReport報表系統和FineBI大數據分析平臺等。

帆軟是商業智能和數據分析平臺提供商,從報表工具到商業智能,有十多年的數據應用的底子,在這個領域很成熟,目前處於快速成長期,但是很低調,是一家有技術有實力而且對客戶很真誠的公司。


分享到:


相關文章: