著急建設大數據平臺不可取,你進行數據治理了嗎

人類正從IT(Information Technology)時代走向DT(Data Technology)時代。這場大數據革命強烈衝擊著整個政府、銀行、教育、企業等多個系統,逐漸成為驅動政企變革與創新不可忽視的重要力量。

大數據的挖掘價值當然是毫無疑問的,只是這繁花似錦的背後卻還隱藏著不容小覷的問題。人人都想“嚐嚐鮮”,但多數組織單位連主數據都沒有管理起來,也著急建設大數據平臺實在不可取。但只是做主數據管理,實現數據共享,消除數據孤島,已經不能滿足對數據服務的需求,更無法實現基於數據分析的決策信息化。

數據管理的現狀

隨著大數據時代的到來,數據資源呈幾何級數的增長,但由於數據普遍存在缺乏統一的管理規範、數據一致性差、數據格式各異、數據錯誤等問題,使得大量寶貴的數據無法共享和利用,無法獲得更大程度的價值。究其原因,主要是因為:

1、數據多頭管理,缺少專門對數據管理進行監督和控制的組織。信息系統的建設和管理職能分散在各部門,致使數據管理的職責分散,權責不明確。組織機構各部門關注數據的角度不一樣,缺少一個組織從全局的視角對數據進行管理,導致無法建立統一的數據管理規程、標準等,相應的數據管理監督措施無法得到落實。組織機構的數據考核體系也尚未建立,無法保障數據管理標準和規程的有效執行。

2、多系統分散建設,沒有規範統一的數據標準和數據模型。各業務部門都逐步建立了各自的信息系統,各部門站在各自的立場生產、使用和管理數據,使得數據分散在不同的部門和信息系統中,缺乏統一的數據規劃、可信的數據來源和數據標準,導致數據不規範、不一致、冗餘、無法共享等問題出現,組織機構各部門對數據的理解難以應用一致的語言來描述,導致理解不一致。

3、缺少統一的主數據,核心系統的主要信息並不是存儲在一個獨立的系統中,或者不是通過統一的業務管理流程在系統間維護。缺乏對主數據的管理,就無法保障主數據在整個業務範圍內保持一致、完整和可控。

4、缺乏統一的數據質量管理流程體系。當前現狀中數據質量管理主要由各組織部門分頭進行;跨部門跨業務的數據質量溝通機制不完善;缺乏清晰的跨部門跨業務的數據質量管控規範與標準,數據分析隨機性強,存在業務需求不清的現象,影響數據質量;數據的自動採集尚未全面實現,處理過程存在人為干預問題,業務部門存在數據質量管理人員不足、知識與經驗不夠、監管方式不全面等問題;缺乏完善的數據質量管控流程和系統支撐能力。

5、數據全生命週期管理不完整。數據的產生、使用、維護、備份到過時被銷燬的數據生命週期管理規範和流程還不完善,不能確定過期和無效數據的識別條件,且非結構化數據未納入數據生命週期的管理範疇;無信息化工具支撐數據生命週期狀態的查詢,未有效利用元數據管理。

為什麼做數據治理

目前很多組織單位也開始著手進行一些局部的數據治理的工作,比如建立數據標準,統一數據規範;建設共享數據中心,部署數據交換中間件整合數據,消除“數據孤島”等等。這些方法在一定程度上可以緩解數據質量問題,但未能從全局的觀點,採取全面的措施來達到數據治理的目的。

何為數據治理?

數據治理是指將數據作為組織資產而展開的一系列的具體化工作,是對數據的全生命週期管理。

數據治理體系是指從組織架構、管理制度、操作規範、IT應用技術、績效考核支持等多個維度對組織的數據模型、數據架構、數據質量、數據安全、數據生命週期等各方面進行全面的梳理、建設以及持續改進的體系。

數據作為各組織單位的寶貴資源,如同一座有待開採、礦藏豐富的礦山,而數據治理則是具體的開採方法和手段。將從有效的數據治理中獲得:

1) 完善的數據管控體系。通過對數據管控組織、流程、標準和技術支持的統一規劃設計,實現數據管控過程的高效運行和持續優化,建立數據治理的長效機制;

2) 統一的數據來源。通過對關鍵共享數據進行集中管理,確保關鍵共享數據的一致性,構建統一數據視圖;

3) 標準化、規範化的數據。數據治理將實現現有數據的標準化,數據申請和數據審批等業務流程將控制新增數據的標準化,從而徹底改善數據不完整、冗餘、錯誤等治理問題;

4) 不斷提高的工作效率。數據的標準化將使得企業內部的信息共享、業務融合更加流暢,業務對數據實時性、準確性的需求得到滿足,從而帶來工作效率的提高;

5) 不斷降低數據管理、維護、集成的成本。共享數據分享在不同的業務系統中,想要保持數據的一致性,就必須付出大量管理維護成本,但這仍然無法根治數據治理問題。數據治理通過對這部分數據統一管理,而後將一致的、權威的數據通過接口自動分發給各個業務系統,大大節約分別維護的成本,並且保證了數據的質量;

6) 數據的價值得到充分體現。數據治理從制度上、體系上保證了數據的質量,使得數據的共享和充分的應用成為可能。企業通過大數據分析,可以更好地改進管理水平,提高人才培養的質量。

數據治理體系

數據治理體系包含兩個方面,一是數據質量核心領域,二是數據質量保障機制

具體兩者內容及相互關係可以參見圖:數據治理體系

著急建設大數據平臺不可取,你進行數據治理了嗎

數據治理體系

目前很多組織單位主要通過共享數據中心解決數據孤島問題,通過統一信息門戶解決數據的展示問題,在更深層次的數據技術規範、數據質量保障、主數據管理、數據安全管理以及提供的數據服務的深度和廣度方面都是遠遠不夠的。

睿治數據治理平臺融合元數據管理、數據標準管理、數據質量管理、數據集成管理、主數據管理、數據交換管理、數據資產管理、數據安全管理、數據生命週期管理等九大產品模塊,打通數據治理各個環節,九大產品模塊可獨立或任意組合使用,完美解決政府、企業各類不同的數據治理場景。個人認為是目前比較全面的數據治理解決方案。

為了更好地提高數據質量,擴大數據的應用範圍,提升數據的價值,有必要啟動全面的數據治理工作,把數據治理作為IT治理,甚至整體戰略的重要組成部分,從組織架構、管理制度、操作規範、IT應用技術、績效考核支持等多個維度對數據模型、數據架構、數據質量、數據安全、數據生命週期等各方面進行全面的梳理、建設,使數據治理成為一個持續改進的數據管理體系

。後續將分篇章持續介紹如何進行數據治理建設。


分享到:


相關文章: