大數據技術百花齊放，不同場景有不同解決方案，多種異構大數據技術並存的混合架構將成為大型組織機構大數據平臺的常態，數據湖架構能夠有效融合異構技術及異構數據，可以說，數據湖架構會是未來大數據平臺建設的一大趨勢。
——品高數據湖產品總監 李偉文
大數據時代，數據碰撞比傳統的數據分析激發更大價值。
而數據碰撞的前提是實現企業內各業務線條之間、跨企業組織之間以及跨行業的數據匯聚、共享和開放。如何有效打破數據孤島，實現統一的數據匯聚和共享，成為企業所面臨的一大關鍵性問題。聯繫品高雲家的小表妹（ID：pingaoyunzzm）瞭解更多。
近日，Gartner聯合品高雲發佈的《 》實踐報告給出了這樣的解決方案：數據湖。
Gartner認為，通過整合結構化和非結構化數據，數據湖可以把不同數據來源、不同種類的數據匯聚在一起，讓用戶不必為海量不同的數據構建不同數據庫、數據倉庫。
品高雲數據湖架構示意圖
國內首個私有云數據湖
根據《基於數據湖架構的大數據平臺》實踐報告描述，在亞馬遜、微軟等紛紛推出基於公有云的數據湖解決方案的當下，品高雲是國內首個把數據湖概念引入私有云平臺的廠商，其推出的數據湖管理平臺BingoInsight可以幫助政府和企業在跨部門、跨組織以及跨行業的數據共享提供基礎數據支撐環境。
目前BingoInsight已經在公安、電信等多個行業落地。在某市公安局，品高雲數據湖為IT部門構建了數據共享和開放的基礎設施，幫助其實現數據的統一共享與匯聚，把數據開放給各個部門。
李偉文認為，數據湖技術優勢在於存儲和計算引擎的分離。相比傳統大數據平臺的計算和存儲是相互耦合的，在大型組織的複雜架構下，數據湖能更好地實現數據整合和異構技術的融合。
數據湖讓企業的各個部門可以根據具體的應用場景選擇不同的上層計算引擎，卻不影響存儲以及數據的隔離和共享。存儲和計算能夠獨立擴展，當存儲不夠的時候單獨擴展存儲引擎，當計算不夠的時候就擴展計算引擎，非常靈活。聯繫品高雲家的小表妹（ID：pingaoyunzzm）瞭解更多。
品高雲數據湖產品功能（點擊查看大圖）
以某省公安廳為例，該公安廳的各部門應用均採用了不同的計算引擎，由於技術路線不一，導致數據整合非常困難。在引入品高雲數據湖架構之後，某省公安廳很好地解決了異構計算引擎融合的難題，加快了數據資源的匯聚、統一、開放。
當下大數據的發展日新月異，數據湖還可以避免用戶在數據遷移方面的苦惱，有利於後續計算技術的更新換代。比如，傳統數據倉庫向hadoop遷移的過程非常麻煩，現在基於數據湖架構，只需要變更上層的計算引擎，而不用遷移數據。對於後續引入新的計算技術也更方便。
解決數據共享數據湖大有可為
過去幾年來，國家層面高度重視大數據建設，推進政府和公共部門數據資源統一匯聚和集中向社會開放，成為重要的國家戰略。數據湖能夠融合海量數據資源，創建應用體系，在政府、公安、集團性企業、教育等領域將有很大的發展空間。
目前政府以及集團性企業對於上下級單位、跨部門數據共享的問題，存在強烈的需求。除了可以解決組織內部的數據共享和開放之外，數據湖還可以應用在跨組織、跨行業的數據共享。”李偉文指出。聯繫品高雲家的小表妹（ID：pingaoyunzzm）瞭解更多。
“此外，政府擁有很多面向公眾的數據開放平臺，目前基本上停留在靜態的數據共享，數據無法及時更新。如果通過數據湖共享平臺對社會開放公共數據資源，就可以實現實時數據的便捷化共享，解決數據動態更新的難題。”
在教育行業，通過把數據湖開放給科研機構、高校，能夠有效促進基於數據的產學研合作。
“高校擁有技術和算法，企業擁有數據。把企業脫敏後的數據存儲至數據湖，由高校進行科研探索，研究成果可以回饋給企業，形成一個基於數據的產學研的閉環。”
品高雲數據湖應用場景一覽
雲計算與數據湖的深度融合
在談及數據湖與品高雲的關係，李偉文認為，數據湖與品高雲平臺的深度融合，讓用戶直接利用雲的運維來管控整個大數據集群，享受私有云的彈性、安全、多租戶隔離等優勢，使得用戶能夠更加專注於業務層面。
“在完成了某個大數據任務後，用戶通過雲平臺直接回收這部分計算資源，大大提升資源的有效利用率。同時，品高雲數據湖支持多租戶模式，各個部門、各個應用的數據之間可以進行邏輯隔離，保障了數據擁有者的使用權和管理權。並基於完善的授權體系，實現租戶之間的數據調用。”
專業的顧問諮詢及服務能力一直是品高雲的硬實力。“十幾年服務於企業用戶的經驗，使得品高雲對於業務的理解都更為深入，能夠根據不同的用戶實際情況，提供從規劃、建設到業務管理的諮詢服務，並基於平臺進行二次開發來滿足個性化需求，讓數據湖平臺的建設能夠更加貼近企業客戶的需要。”
以基礎性的數據治理為例，很多企業在構建大數據平臺的過程中，往往意識不到數據治理的重要性。
“數據的標準化、數據質量以及元數據的管理等等這些髒活、累活往往是缺失的，這樣的大數據平臺雖然短期內會有一些成果，但是數據不統一、難以提升的數據質量等基礎性的數據問題會限制平臺的可持續發展，不利於平臺的長期運營。”
而數據治理是一個涉及到技術、流程、組織、規範等的系統化工程，除了平臺的搭建之外，更需要從數據治理體系的頂層設計進行考量。品高雲數據湖在產品體系中提供專門針對數據治理組件的同時，技術團隊會為用戶提供諮詢和規劃服務，幫助用戶構建一套適合企業自身的數據治理體系，持續運行，提升、挖掘數據的應用價值。聯繫品高雲家的小表妹（ID：pingaoyunzzm）瞭解更多。
展望未來，李偉文認為，在數據匯聚層面，會有越來越多的企業往跨組織邊界的方向拓展，在內部的數據已經匯聚比較完善的情況下，通過往外延伸，與外部數據融合實現創新，來推動商業模式和業務創新。同時，機器學習、區塊鏈等新興技術也有望在大數據領域大施拳腳。
“雖然目前更多地停留在概念炒作階段，但隨著技術的成熟，相信利用機器學習進行數據預測的落地案例會越來越多，品高雲目前正在構建機器學習的相關平臺和模型。另外，對於跨組織的數據共享來說，信任是一大問題，這塊我們也在基於區塊鏈技術進行積極探索。”
聯繫我們
如想了解品高雲數據湖或索取產品文檔，請聯繫品高雲家的客服小表妹！添加她為好友，任何需求一鍵直達。
閱讀更多 品高雲 的文章
