數據模型:向上承接業務,向下引導數據

數據模型在數據管理中居於什麼樣的位置?筆者認為數據模型在數據管理中處於向上承接業務,向下引導數據的關鍵位置。

数据模型:向上承接业务,向下引导数据

導讀:國際數據管理協會DAMA在DMBOK2中定義了11個數據管理職能領域,數據建模與設計是其中的一個關鍵領域。數據模型作為數據建模與設計的核心產出物,勢必與其他各個領域都有著千絲萬縷的聯繫。我嘗試著將這些關係總結整理成這篇文章,與大家一同分享。

如下圖,在DMBOK2中,數據管理包含了11個職能領域,這11個領域分別是數據治理、數據架構、數據建模與設計、數據存儲與操作、數據安全、數據集成與互操作、文檔與內容管理、參考數據與主數據管理、數據倉庫與BI、元數據、數據質量。

数据模型:向上承接业务,向下引导数据

圖1DAMA定義的11個數據管理職能領域

(DMBOK2, DAMA International)

各個領域的定義和作用書中已經介紹得很清楚,所以我在這裡就不贅述了。下圖是我從數據模型出發,總結出的數據模型與各領域產出物之間的關係圖:

数据模型:向上承接业务,向下引导数据

圖2 數據建模與數據管理各領域的輸入輸出關係

各領域之間的這些輸入輸出關係讓數據管理各個領域之間形成了一張關係複雜的網,其中數據模型處於一個

關鍵位置

我將數據模型與各領域的關係總結成了以下9點

1. 數據模型是承載著數據需求的元數據集合

從一定程度上講,我個人認為:數據模型是真正立足於企業數據需求創建出來的元數據集合。

其中包括實體名、屬性名等豐富的技術元數據,還包括業務規則等業務元數據,主外鍵等關係是元數據血緣分析的主要來源之一。同時,數據模型也為元數據管理提供了元數據標準和元數據質量評分的指標參考。

2. 數據模型是數據校驗的對象之一,是形成數據質量規則的基礎

數據模型為數據質量管理提供關鍵元數據與業務規則輸入,以便人們可以針對性地根據企業現狀制定數據質量檢核標準與數據質量檢核規則。同時,數據模型本身也需要符合數據質量管理標準,需要通過數據質量管理的檢核。

3. 數據模型是數據集成與互操作的起點

為了在數據集成時創建一個單一、一致的數據版本,在數據集成時充分分析現有數據模型就顯得尤為重要。保證數據模型中關鍵元素的一致是數據集成時需要首要考慮的問題。

4. 數據模型是數據存儲與操作的結構保障

數據模型精確標準的定義為數據提供了一個規範的結構,這種比較精確化的結構和約束成為數據存儲和操作的一層基本結構保障,減少了數據存儲和操作時發生數據異常的可能性。

5. 數據模型是數據安全管控的對象之一

數據模型是數據安全管控的對象之一,數據模型中往往需要根據具體的數據安全需求標註出敏感字段/表,企業也需要參考著數據模型來制定具體的數據安全技術實現需求與業務規則,判斷出那些字段可以被哪些人查看,哪些字段需要脫敏等。

6. 數據模型通過文檔和內容管理實現可複用

在初始數據建模階段,有效的文檔和內容管理可以為數據建模提供以往數據建模過程的詳細參考。

在建模完成時,數據建模過程中的各種模型設計文檔,可以通過文檔和內容管理模塊實現合理存儲,形成企業數據模型記憶庫,供未來其他部分數據建模參考,或供數據模型維護階段參考,實現數據模型的複用。

7. 數據模型是數據倉庫和BI的核心

數據模型能為數據倉庫建設提供全面的業務梳理和整體的數據視角,通過數據模型,業務人員、開發人員能夠很容易在數據倉庫需求、範圍以及長遠建設規劃上達成共識,真正形成業務到數據倉庫的映射。

通過專門為BI數據分析而設計的維度模型,更好地分析立足於數據分析的數據需求。可以說沒有數據模型,數據倉庫與BI就無從談起。

8. 數據模型為參考數據與主數據管理提供一致性指導

參考數據與主數據管理是通過管理共享數據,去滿足組織目標、減少數據冗餘風險、保證更高的數據質量、減少數據集成成本的過程。(DMBOK2,DAMA International)。

在全面的MDM環境中,邏輯數據模型將在多個平臺中進行物理實例化,邏輯數據模型為主數據管理提供了清晰、一致的數據定義,它指導MDM解決方案的實施,並提供了數據集成服務的基礎。

9. 數據模型為數據科學與AI提供數據保障

數據科學與AI離不開數據,而數據模型恰恰就是為數據科學與AI後續算法與分析過程提供數據的基本保障。

數據模型的建立能夠讓各個數據管理領域有著力點,從而能夠為數據科學家們的業務分析工作提供更準確的數據,讓AI算法得出更準確的結果。

總結

可以說,數據模型在數據管理中處於向上承接業務,向下引導數據的關鍵位置。

它是承載著數據需求的元數據、是數據質量校驗的對象、是形成數據質量規則的基礎、是數據集成與互操作的起點、是數據存儲和操作的結構保障、是數據安全管控的對象、是數據倉庫和BI的核心、是參考數據與主數據的一致性指導。做好數據模型的管理,企業數據管理將會事半功倍。

參考:[1]DAMA International.DAMA-DMBOK: Data Management Body of Knowledge (2nd Edition)[M].Technics Publications:BASKING RIDGE, NEW JERSEY,2017:123.

題圖來自Unsplash,基於CC0協議


分享到:


相關文章: