中信建投證券數據中心負責人李海偉：數據是企業保證核心競爭力的關鍵資產，企業也都投入大量的人力、財力和時間，來開採數據中“金礦”，然而，這一數據之中的“採礦”路途卻存在著重重阻礙。而Informatica推出的DIH數據轉換平臺，基於 Power Center強大的ETL引擎之上，集成了數據承載能力和ETL的高效運算能力，我們利用它大大提升了數據交換和管理的效率，打造了一體化的數據交換系統，為未來的企業級數據治理奠定了良好基礎。
中信建投證券是一家全國性大型綜合證券公司，一直處於行業領頭羊的位置。隨著業務和數據規模的增加，原有數據架構無法滿足需求。藉助Informatica DIH數據交換平臺，打造了一體化的數據交換系統，為未來的企業級數據治理奠定了良好基礎。
業務需求
- 隨著企業業務的增加和數據規模大幅上漲，原有的數據架構大大超出負荷，無法滿足中信建投證券的業務持續擴展需求。
- 中信建投證券致力於為客戶提供精細化、綜合化的金融服務，急需建設一套集數據交換任務管理、ETL控制與調度及交換任務跟蹤監控為一體的數據交換系統。通過該系統對企業網的數據交換進行全過程、高可控、高效率的跟蹤和管理。
數據挑戰
- 業務系統相互獨立，需要從不同系統中提取客戶的交易行為，數據交換頻繁，不僅系統負擔重，數據交換安全管控也有風險。
- 自建的數據處理系統，隨著數據量增大，系統的承壓能力、處理能力明顯不足。
- 引進了基於MPP架構的數據倉庫，需要把數據倉庫的數據高效地推送出去，服務於其他系統。
產品方案
- Informatica DIH數據交換平臺
客戶收益
- 全面的數據交換支撐：一期建設協助遷移1400餘個數據ETL任務，新增了300個ETL任務；二期建設新增上線統計分析配置、DIH手工發佈與事件監控、系統服務監控、任務空表校驗告警等功能，完成177個ETL任務的開發。
- 管理效率提升：原來5~6個人維護2000多個數據ETL任務，現在兩個人就可以實現。
- 處理性能增強：以前數據中心處理大概需要6個小時，現在3.5小時就可以完成整個數據的採集計算。
- 降低整體運營成本：從運維角度和項目管理角度來講，Informatica DIH幫助節省了大量的時間和人力。
中信建投證券在證監會組織對行業的評比中，連續八年被評為行業最高等級A類2A級的證券公司。同樣在IT建設中，中信建投證券也一直處於行業領先地位。但是，隨著企業業務的增加和數據規模大幅上漲，導致原有的數據架構嚴重超出負荷，無法滿足中信建投證券的業務需求。
數據交換頻繁，原有系統處理能力不足
在證券市場大環境的推動下，中信建投證券上線了一系列新業務，相互獨立的業務系統就意味著獨立的業務數據。為了提高客戶的服務水平、加速業務審批，中信建投證券需要從不同的系統中挖掘客戶交易數據。不過，數據的頻繁交換加重了業務系統的負擔，也使得企業網內的數據交換安全管控面臨威脅。
中信建投證券在數據採集、組合計算，以及結果推送至前端CRM之類的系統之中，所依賴的主要是自有的一套數據中心繫統。不過，當數據量不斷擴大時，這一系統的承壓能力、處理能力卻顯現出嚴重的不足。
2016年中信建投證券啟動企業數據商務系統建設，引進了基於MPP架構的數據倉庫，雖然解決了並行計算性能低下的問題，但是卻不能很好地應對外部併發訪問請求，不能把數據倉庫的數據高效地推送出去，服務於其他系統，嚴重影響效率。
中信建投證券一直以為客戶提供精細化、綜合化的金融服務為目標。面對這種情況，它急需建設一套集數據交換任務管理、ETL控制與調度及交換任務跟蹤監控為一體的數據交換系統。通過該系統對企業網的數據交換進行全過程、高可控、高效率的跟蹤和管理。同時，這一系統也要為企業級數據治理奠定基礎。
為了解決這些問題，滿足企業後續發展的需求，中信建投證券選擇了Informatica DIH數據交換平臺，來構建符合其業務的數據治理方案。
Informatica DIH：理清數據流轉脈絡，提高數據治理效率
Informatica DIH數據交換平臺，基於PowerCenter強大的ETL引擎之上，集成了數據承載能力和ETL的高效運算能力，天然地繼承了PowerCenter之前所有的這些強大功能，比如集群部署、高併發、分區式處理，以及全面的接口管理。這也是中信建投證券將Informatica DIH引進其數據治理架構中的原因。
一方面DIH就像數據總線，將所有系統之間的交互集中在一個平臺之中，底層採用Power Center的高效數據運轉流程，可以快速的從各個系統進行數據的訪問控制，並且把數據高效的推送到消費系統之上。既有數據承載能力，又有數據運算能力，大大地滿足了企業對數據系統之間解耦，降低系統依賴性的需求。
另一方面，在DIH中，將傳統的ETL開發模式轉變成以自助服務為核心的管理模式，採用基於數據主題的自助發佈和訂閱的方式，快速適應企業系統內部的數據交互需求。例如，中信建投證券有數據交換需求時，用戶可以登錄DIH平臺，查找已有的數據主題進行訂閱，從而將數據按照用戶所需的方式，自動形成相應的數據流轉的工作流。
再者，DIH具備數據質量檢測，或者稱為數據質量防火牆的功能。利用DIH平臺作為數據交互唯一入口，進行數據質量驗證；當數據進入到DIH後，就可以轉換為標準的、可靠的數據，便於用戶分享。一次清洗、多次使用的方式，大大的提升了數據質量的驗證和清理效率，同時也為企業在未來維護數據質量統一模型，提供了平臺支撐。
結果反饋：系統穩定運行，效率大幅提升
中信建投證券自2017年6月開始對Informatica DIH的第一期建設，歷時6個月，協助遷移1400餘個數據ETL任務，還包括基礎功能和業務功能的開發，並且新增了300個ETL任務。2018年1月開始第二期建設，新增上線統計分析配置、DIH手工發佈與事件監控、系統服務監控、任務空表校驗告警等功能，完成177個ETL任務的開發。
中信建投證券數據中心負責人李海偉表示：“自從這個新的系統上線以來，一直都運行穩定。原來5至6個人維護2000多個數據任務，現在兩個人就可以實現；以前數據中心處理大概需要6小時，現在3.5小時就可以完成整個數據的採集計算與下發。從運維角度和項目管理角度來講，Informatica DIH幫助我們節省了大量的時間和人力，讓我們可以更好地投入到其他業務的建設中。”
閱讀更多 Informatica中國 的文章
