02.27 數據倉庫最佳參考架構

根據數據倉庫的業務需求,結合數據分析系統的最佳參考架構,構建了深度運營支撐系統的系統架構。總體架構按照數據服務層、應用層、展現層及系統管理層四個層次進行構建。多層框架結構具有高度的擴展能力和方便的系統開發和維護性能,適合數據倉庫系統多階段、多層次的應用特點。

1、數據服務層:

數據服務層完成信息展示平臺所有原始數據的獲取、和彙總加工和存放的功能。

1.1、數據獲取:

數據的獲取包括兩種途徑:

(1)由綜合信息展示平臺主動採集各應用系統源數據

(2)數據源的應用系統向綜合信息展示平臺推送數據。考慮到機場集團下屬成員單位較多,且系統支撐能力相差較大,本次採用推送數據的模式,接口方式及內容由集成架構定義。另考慮到指標數據存在手工模式,則提供文件上載功能。

1.2、數據彙總加工及存放:

財務類數據可彙總存放,但經營管理類數據由於各成員單位業態豐富,關聯度低,由各自單獨存放。

2、功能應用層

功能應用層完成信息展示的數據組織及調用的功能。可分解為面向數據層需求的服務組件和麵向展示應用層的數據應用兩個層面的功能。

服務組件:簡單的數據調用可採用定製視圖的方式實現。而多變的/組合的數據調用則需要藉助組件的方式進行實現。

數據應用:一般定義為分析專題,在本項目中則明確為指標展現需求內容。

3、展示層

展示層按照用戶要求和習慣,完成所有信息的展示。在展示頁面需按照用戶要求數據維護以及再加工的功能。

4、系統管理層

系統管理層完成本系統對使用權限、數據質量、安全及系統運行情況等保障系統正常運行需要的監管和定義功能。

系統邏輯架構

數據源層:數據倉庫的數據源包括集團管控和專業運營兩大部分,集團管控是集團統一管理的業務系統。

數據接口層(STAGE):數據接口層用於接收全自動、半自動、手工方式採集的文件,並存儲在文件服務器上。對於成功接收的文件,將至少保留30天。

數據緩衝層(ODS):ODS數據層存儲各源業務系統貼源數據,為下游應用系統提供貼源(指:數據結構、數據格式、數據粒度與源系統保存一致)的數據訪問區。同時為數據倉庫提供增量歷史數據及為數據集市提供準實時的增量數據。

數據倉庫層(DW):DW數據層參照基礎數據標準的財務、資金、資源、人力、航班、旅客、安全、項目等主題模型構建,實現基礎數據的統一計算、存儲和管理 。該層對數據進行系統級、主題級數據整合,為後續的數據應用提成支撐,該數據區有大量的表Join、Merge、Lookup處理。是通過OLAP技術,利用數據倉庫的數據根據用戶需求建立的多維分析模型(多維立方體),模型以特定的方式存儲,大大提高了前端查詢訪問的效率,用戶能方便地實現靈活、動態、快速、多角度、多層次地分析企業數據。同時,也可以通過定製靈活的OLTP查詢來了解明細數據。

數據集市層(DM):DM數據層是面向應用的、滿足最終用戶需求的數據,數據集市中的數據是反規範的、彙總的,為決策分析對DW數據的應用提供數據和高效的數據訪問。

展示層:展示層是通過報表工具展示機場的分析數據,是基於數據倉庫及數據集市的數據情況,將經營活動分析、經營能力分析、績效考核、指標監控的分析數據以管理駕駛艙、分析報表方式展示出來。各分析主題面向企業各種不同層次的業務角色。決策支持平臺全面梳理機場集團核心業務決策指標體系,建立基層決策支持模型展示層的內容是面向集團及下屬單位領導層、各業務部分的業務人員、分析人員的,內容要滿足相應人員的業務需求。

系統管理層:系統管理層主要實現對系統的數據管控、門戶接入認證等管理功能,數據管控主要包括數據標準的制定,數據質量檢核、元數據管理、系統監控、安全管理和運維管理。另外實現門戶的統一接入,權限管理等功能。

系統技術架構

數據倉庫的技術架構主要體現各建設內容對應的技術及工具,本方案的軟件工具是IBM的BI系列產品,包括IBM Infosphere Warehouse、IBM Mule、IBM infosphere Datastage、IBM Cognos、IBM Portal,各工具的主要作用如下:

IBM Infosphere Warehouse:用於存儲ODS數據緩衝層、DW數據倉庫、DM數據集市的結構化數據。包含了初始的業務數據及處理過程中產生的臨時數據、中間數據等。

IBM Mule:用於全自動的數據採購,通過源系統提供的API,採用WebService、JCA等方式將源系統的數據解析成XML文件並存放在文件服務器上。

IBM Infosphere Datastage:用於數據的抽取、轉換、加載,將數據從文件服務器抽取到ODS數據緩衝層,並通過全量抽取、增量加載等方式將歷史數據抽取到DW數據倉庫層,在數據倉庫層實現數據關聯、拆分、合併、彙總等操作,形成基礎歷史數據和公共彙總數據。最後根據前端業務需求,將數據加工為適用於展現的集市數據。

IBM Cognos:用於創建固定報表、多維報表、靈活查詢及搭建管理駕駛艙,以展現機場的盈利、債務風險、經營增長、資產質量、資源效率、經營效果等數據。IBM Cognos是數據最終的展現工具,展現方式支持儀表盤、表格、餅圖、雷達圖、趨勢圖、柱狀圖等。

IBM Portal:IBM Portal是門戶集成產品,實現分析內容的統一接入、統一認證、權限管理等功能。

系統應用架構

數據倉庫完整體現在機場集團在建設集團板塊、航空非航空、廣告能源方面的決策支持平臺。數據倉庫將完成各個板塊的數據到EDW系統中的Web前端應用和BI前端工具(如:Cognos的Web前端)進行統一應用集成的管理,其中包含領導駕駛艙、財務管理、運營管理、投資管理人力資源、企業資源等幾個主題。綜合信息展示平臺的應用服務於企業需求,採用了上下結合的方式。在應用集成框架下,所有的BI工具層面和BI應用層面將採取統一封裝,所有BI工具和應用的前端都將實現統一的資源管理、統一的系統管理和統一的權限管理。


分享到:


相關文章: