數據管理,數據治理,數據中心,數據中臺,數據湖都是什麼意思,有什麼關係呢?

一切皆模型模型即一切



隨著信息技術的不斷湧現和普及,業務發展加快了數據膨脹的速度,行業內衍生了較多的新名詞,如數據治理、數據管理、數據資源管理、數據資產管理等名詞的定義很多,概念容易混淆,本文對這些名詞術語及內涵進行系統的解析,便於讀者對數據相關的概念有全面的認識。

一、數據與數據管理

1、數據

數據(Data)是指所有能輸入到計算機並被計算機程序處理的符號的介質的總稱,是用於輸入電子計算機進行處理,具有一定意義的數字、字母、符號和模擬量等的通稱,是組成信息系統的最基本要素。

未來是智能時代,企業的決策機制將發生巨大變化,誰最先擁抱數據,誰就擁有更多智慧,誰就擁有更強競爭力,大數據技術將會推動人類無所不知、無所不曉、無所不能,助力無所不能的是無所不包的數據,未來十年,只有擁抱數據技術才是唯一選擇。

2、數據管理

數據管理(Data Management)的概念是伴隨上世紀八十年代數據隨機存儲技術和數據庫技術的使用,計算機系統中的數據可以方便地存儲和訪問而提出的。

2015年,國際數據管理協會(DAMA,Data Management Association International)在DBMOK2.0知識領域將其擴展為11個管理職能,分別是數據架構、數據模型與設計、數據存儲與操作、數據安全(Data Security)、數據集成與互操作性、文件和內容、參考數據和主數據(Master Data)、數據倉庫(Data Warehouse)和商務智能(BI,Business Intelligence)、元數據(Metadata)、數據質量(Data quality)等。

數據管理(Data Management)是指通過規劃、控制與提供數據和信息資產職能,包括開發、執行和監督有關數據的計劃、政策、方案、項目、流程、方法和程序,以獲取、控制、保護、交付和提高數據和信息資產價值。

表1.各大機構對數據管理的定義一覽表機構名稱二、數據治理

1、數據治理的定義

數據治理(Data Governance)是一個正在不斷髮展的新興學科,與眾多新興學科一樣,目前數據治理存在多種定義,各大機構對數據治理的定義,如下表所示:

表2. 各大機構對數據治理的定義一覽表

2、狹義的數據治理

狹義的數據治理的驅動力最早源自兩個方面:

(1)內部風險管理的需要,包括:財務做假、敏感數據涉密、數據質量差影響關鍵決策等。

(2)為了滿足外部監管和合規的需要,比如薩班斯-奧克斯利法案、巴塞爾I/巴塞爾協議、健康保險流通與責任法案(HIPAA)等。

但隨著全球越來越多的企業瞭解到信息資產的重要性和價值,在過去幾年中,數據治理的目標也在發生些轉變。除滿足監管和風險管理外,如何通過數據治理來創建業務價值備受關注。

3、廣義的數據治理

廣義的數據治理是對數據資產管理行使權力和控制的活動集合(規劃、監控和執行),指導其他數據管理職能如何執行,在高層次上執行數據管理制度。組織為實現數據資產價值最大化所開展的一系列持續工作過程,明確數據相關方的責權、協調數據相關方達成數據利益一致、促進數據相關方採取聯合數據行動,數據治理與數據管理的關係如下圖所示:

圖1.數據治理與數據管理關係

數據治理的全過程:

從範圍來講,數據治理涵蓋了從前端事務處理系統、後段業務數據庫到終端的數據分析,從源頭到終端再回到源頭形成一個閉環負反饋系統(控制理論中趨穩的系統),從目的來講,數據治理就是對數據的獲取、處理、使用進行監督(監管就是我們在執行層面對信息系統的負反饋),而監管的職能主要通過五個方面的執行力來保證——發現、監督、控制、溝通、整合。

數據治理的目標:共同保證“正確的信息,以正確的形式,在正確的時候,交付給正確的人”。

3、數據治理的重要性

高質量的數據對任何企業都是戰略性資產,隨著企業推進數字化轉型的進程,有效數據正迅速成為一個關鍵的業務差異,但要使數據具有價值,需確保數據的可信任、安全性、可訪問性、準確性、共享性和及時性。數據治理有助於增強企業靈活性以最小化決策相關成本和風險,特別在數字經濟中,數據治理比以往任何時候都顯得尤為重要。

缺乏企業高層領導的支持、系統間的數據壁壘和整個治理項目缺乏明確的流程和數據模板、數據所有權和問責機制不清等因素是導致項目失敗或者治理結果不理想的主要原因。涉及到企業中所有跨功能和跨業務的決策機制。數據治理具有戰略性、長期性、艱鉅性、系統性、持續企業內部數據環境優化治理工作,因此數據治理是一個漫長而持續的過程,沒有一針頂破天的訣竅,也沒有立竿見影的捷徑,要避免對數據治理工作粗淺的認識。

三、數據資源管理

數據資源管理(Data Resource Management)是應用數據庫管理、數據倉庫等信息系統技術和其他數據管理工具,完成組織數據資源管理任務,滿足企業信息需求的管理活動。

數據資源管理(Data Resource Management)是應用信息技術和軟件工具完成組織數據資源管理採用文件處理方法,在這種方法中,數據根據特定的組織應用程序的處理要求被組織成特定的數據記錄文件,只能以特定的方式進行訪問。這種方法在為現代企業提供流程管理、組織管理信息時顯得過於麻煩,成本過高並且不夠靈活。因此出現了數據庫管理辦法,它可以解決文件處理系統存在的問題。

全業務域數據資源中心為企業提供完整的數據中心解決方案,提升企業管理和運營效率,實現數據採集管理、標準規範管理、元數據管理、主數據管理、數據協同與追溯管理、調度管理,數據反捕、BI決策分析等,通過體系化的數據資源管理中心的建設,可有效打通企業內部之間的數據流通渠道,解決企業管理信息化在數據層面的核心問題,形成橫向集成、縱向貫通的高效、有序的信息流,發揮數據信息的基礎支撐作用,滿足企業對信息和數據的需求,幫助企業解決數據集成和共享、盤活數據資產和有效規避信息孤島等問題。

四、數據資產與數據資產管理

1、數據資產的定義

數據資產(Data Asset)是指由企業擁有或者控制的,能夠為企業帶來未來經濟利益的,以物理或電子的方式記錄的數據資源,如文件資料、電子數據等。在企業中,並非所有的數據都構成數據資產,數據資產是能夠為企業產生價值的數據資源。

2、數據資產的屬性

數據資產具有無形資產的屬性,從這個角度出發,我們可以發現數據資產主要有以下特性:無消耗性、增值性、依附性、價值易變性、戰略性。

  • 無消耗性:數據資產的每次使用只需要花費很低的成本,不會因為使用頻率的增加而磨損、消耗,與其他傳統無形資產有相似性。
  • 增值性:企業通過穩定發展,會促使數據資產在原有的基礎上,數據規模和數據維度的不斷積累,整體價值進一步提升。
  • 依附性:與其他無形資產類似,數據資產不能獨立發揮作用,其發揮作用和效應往往依附於相應的軟件、硬件。
  • 價值易變性:數據資產時刻受到數據容量、數據時效程度、應用場景等因素的影響,與其他無形資產相比,其價值更易發生變化。
  • 戰略性:一切數據業務化,一切業務數據化,具有戰略性。

3、數據資產的屬性

數據資產管理(Data Asset Management)是指規劃、控制和提供數據及信息資產的一組業務職能,包括開發、執行和監督有關數據的計劃、政策、方案、項目、流程、方法和程序,從而控制、保護、交付和提高數據資產的價值。數據資產管理需要充分融合業務、技術和管理,以確保數據資產保值增值。

數據資產管理(Data Asset Management)一般來說包括統籌規劃、管理實施、稽核檢查和資產運營四個主要階段,貫穿數據採集、存儲、應用和銷燬整個生命週期全過程。企業管理數據資產就是對數據進行全生命週期的資產化管理,促進數據在“內增值,外增效”兩方面的價值變現,同時控制數據在整個管理流程中的成本消耗。

圖2.數據資產管理過程

數據資產管理(Data Asset Management)包括兩個重要方面,一是數據資產管理的核心管理職能;二是確保這些管理職能落地實施的保障措施,包括戰略規劃、組織架構、制度體系等。

五、數據管理、數據資產管理與數據資產管理內涵的演進

數據管理、數據資源管理與數據資產管理有著密切關係和關聯,但隨著現代數字技術的高速發展,三者在內涵、側重、延伸等方面存在差異。

圖3.數據管理、數據資源管理與數據資產管理的關係

1、數據資產內涵

在數據資產化的大背景下,數據資產管理是在數據管理基礎上的進一步發展,可以視作數據管理的升級版,主要區別在以下三個方面:

一是數據管理的視角不同,數據資產管理強調數據是一種資產,基於數據資產的價值、成本、收益開展全生命週期的管理。

二是管理職能有所不同,數據資產管理包含數據模型、元數據、數據質量、參考數據和主數據、數據安全等傳統數據管理職能,同時整合數據架構、數據存儲與操作等內容,將數據標準管理納入管理職能,並針對當下應用場景、平臺建設情況,增加了數據價值管理職能。

三是管理要求有所升級,在“數據資源管理轉向數據資產管理”的理念影響下,相應的組織架構和管理制度也有所變化,需要有更專業的管理隊伍和更細緻的管理制度來確保數據資產管理的流程性、安全性和有效性。

2、三者的關係

  • 數據管理指利用計算機硬件和軟件技術對數據進行有效的收集、存儲、處理和應用的過程。數據管理目標:在於充分有效地發揮數據的作用。
  • 數據資源管理致力於發展處理企業數據生命週期的適當的建構、策略、實踐和程序。數據資源目標:去尋找手段,以有效的控制數據資源,並提升數據資源的利用率。
  • 數據資產管理的核心思路是把數據對象作為一種全新的資產形態,並且以資產管理的標準和要求來加強相關體制和手段。從經濟角度,滿足對資產運營的各類管理要求。

3、數據資產管理的三個關鍵變革

  • 數據與企業設備、軟件、人才一樣成為企業的重要資產,可以從多個角度和多個層面為企業帶來價值收益。
  • 數據資產管理除了包含傳統以數據質量提升為目標的數據治理外,還包括挖掘數據價值的數據運營。
  • 數據資產管理不能僅僅依靠信息部門開展,需要企業自上而下各個部門之間的分工協作。
小結

本文對數據、數據管理、數據治理、數據資源管理、數據資產管理等內涵作了詳細說明,便於讀者更好的理解和掌握數據領域相關概念,最後總結兩點:

一、數據資源將成為戰略資產,而有效的數據治理才是數據資產形成的必要條件。

二、有效的數據治理是一個持續性的過程,也是逐步實現數據價值的過程。所以數據治理是企業信息化的基石,數據資產是企業戰略發展的核心價值,數據管理為企業賦能。(鳴謝:蔡春久先生給予專業指導)


帆軟軟件


數據治理和數據管理


簡單來說治理就是管理的管理。

管理你得遵循一定得標準規範體系,一定得流程,一定得組織角色分工,而這些內容就必須先通過數據治理定義清楚。管理只是根據數據治理規範體系去執行管理和監督得職責。

既管理執行得依據是治理規範體系。

如下圖:



數據中臺和數據湖


這個要解釋清楚不太容易,因此我儘量做簡化。


數據湖一般是公有云服務商提出得一個概念,即企業得結構化,非結構化數據都可以全部採集和存儲到我這裡來。數據湖就是一個大得存儲站,這個存儲是分佈式可無限擴展得,存儲過來得數據也不會去清洗和加工,儘量保持原樣。

在存過來後,數據湖再提供一些標準得開放接口給你使用數據,這些接口包括了查詢SQL類接口,計算引擎接口,流處理接口等。提供接口得目的也很簡單,你能夠方便得使用你存儲過來得數據。

數據湖得存儲一般是分佈式對象存儲或分佈式文件存儲,即使你是結構化數據庫採集過來得數據,仍然會轉成統一的存儲方法,方便擴展。


數據中臺簡單來說企業共享數據能力下沉並對外開放。

數據中臺包括了底層數據技術平臺(可以是我們熟悉的大數據平臺能力),中間的數據資產層,上層的數據對外能力開放。

核心的資產層本身也分層,從最底層的貼源數據,到分域應用數據,再到上層的數據倉庫和數據標籤庫。而數據湖更多對應到數據中臺概念裡面的數據貼源層。

企業實際在建數據中臺的時候實際很少用數據湖這個概念。


兩者的對比映射如下:




數據中心


對於數據中心這個詞,原來在BI系統應用裡面也經常出現。

但是現在數據中心一般特指IT基礎設施,大的公有云數據機房等,在BI系統或數據中臺裡面都很少用這個詞。即數據中心這個詞偏IT硬件基礎設施層面了。

比如下圖,一般指硬件和網絡基礎設施架構了。



人月聊IT


在數字時代的今天,雲計算作為大數據時代的系統工程,其觸角可以說已經遍佈我們的生活,但云計算需要以大數據為基礎,這個大數據就是我們通常講的數據庫。數據庫的建立需要有充足的信息來源,就像一個水庫,必須時時刻刻有水源注入,否則水庫就會乾涸。

有了海量數據作為基礎,人們還需要動手進行數據整理,數據清洗,確保數據整齊,方便批量處理,同時植入對應的計算公式,把自己需要的數據模型提取出來。而這一過程就是所謂的數據管理,或者叫數據治理。


分享到:


相關文章: