數據中臺和數據倉庫、數據平臺的關鍵區別

數據中臺、數據倉庫沒有直接的關係,他們為業務產生價值的形式有不同的側重。數據中臺距離業務更近,能更快速響應業務和應用開發的需求,可追溯,更精準。

三者的關鍵區別有以下幾方面:

1、數據中臺是企業級的邏輯概念,體現企業 D2V(Data to Value)的能力,為業務提供服務的主要方式是數據 API

2、數據倉庫是一個相對具體的功能概念,是存儲和管理一個或多個主題數據的集合,為業務提供服務的方式主要是分析報表

3、數據平臺是在大數據基礎上出現的融合了結構化和非結構化數據的數據基礎平臺,為業務提供服務的方式主要是直接提供數據集

4、數據中臺距離業務更近,為業務提供速度更快的服務;

5、數據倉庫是為了支持管理決策分析,而數據中臺則是將數據服務化之後提供給業務系統,

不僅限於分析型場景,也適用於交易型場景

6、數據中臺可以建立在數據倉庫和數據平臺之上,是加速企業從數據到業務價值的過程的中間層。

數據倉庫具有歷史性,其中存儲的數據大多是結構化數據,這些數據並非企業全量數據,而是根據需求針對性抽取的,因此數據倉庫對於業務的價值是各種各樣的報表,但這些報表又無法實時產生。數據倉庫報表雖然能夠提供部分業務價值,但不能直接影響業務。

數據平臺的出現是為了解決數據倉庫不能處理非結構化數據和報表開發週期長的問題,所以先撇開業務需求、把企業所有的數據都抽取出來放到一起,成為一個大的數據集,其中有結構化數據、非結構化數據等。當業務方有需求的時候,再把他們需要的若干個小數據集單獨提取出來,以數據集的形式提供給數據應用

而數據中臺是在數據倉庫和數據平臺的基礎上,將數據生產為為一個個數據 API 服務,以更高效的方式提供給業務。

數據中臺解決的問題可以總結為如下三點:

1、效率問題:為什麼應用開發增加一個報表,就要十幾天時間?為什麼不能實時獲得用戶推薦清單?當業務人員對數據產生一點疑問的時候,需要花費很長的時間,結果發現是數據源的數據變了,最終影響上線時間。

2、協作問題:當業務應用開發的時候,雖然和別的項目需求大致差不多,但因為是別的項目組維護的,所以數據還是要自己再開發一遍。

3、能力問題:數據的處理和維護是一個相對獨立的技術,需要相當專業的人來完成,但是很多時候,我們有一大把的應用開發人員,而數據開發人員很少。

這三類問題都會導致應用開發團隊變慢。這就是中臺的關鍵——讓前臺開發團隊的開發速度不受後臺數據開發的影響。

數據中臺設計的初衷是將計算與存儲分離,從狹義上來說,真正最核心的數據中臺可以是沒有存儲的。但就當前的情況來看,廣義的數據中臺在未來一段時間內仍會涵蓋數據倉庫、數據湖等存儲組件,“數據工廠”這個概念可能更適用於現在的階段。但隨著數據中臺的發展,未來很有可能不再需要數據湖了。


分享到:


相關文章: