數據倉庫為組織瞭解其歷史業務表現和推動持續運營提供了一個接入窗口，為數據分析師和業務用戶提供了諸如客戶行為、業務趨勢、運營效率和銷售等方面的信息。儘管出現了基於Hadoop和其他一些大數據技術的數據湖這一概念，但隨著公司越來越需要從更多不同的源系統收集和分析業務數據，這使得數據倉庫仍然具有其實用價值，甚至比以前更加重要。
但作為數據管理體系結構的一部分，在對數據倉庫平臺進行投資之前，首先還是要檢查您的組織是否真的需要一個數據倉庫平臺，以及通過實施部署，組織可以藉此獲取哪些業務收益。相關的，您必須考慮不同的數據倉庫部署情況——在企業範圍內還是部門範圍內，在本地還是在雲中。
您還需要確定，通常存儲在大數據系統中的非結構化和半結構化數據，是否會成為數據倉庫環境的組成部分，並確定是否將用於BI、企業報告和在線分析處理（OLAP）等應用的傳統數據倉庫，與數據處理和大數據分析管理集成在一起。最後，您必須將您的數據倉庫用例與最合適類型的數據倉庫平臺相匹配。
為什麼需要數據倉庫？
數據倉庫的一般概念非常簡單：從支持業務流程的操作系統中定期提取數據副本，並將其加載到單獨的存儲庫中，在該存儲庫中，數據將被合併，然後可用於分析和報告。之後，業務用戶和分析師可以通過BI和分析工具、儀表板、入口和準備好的報告來訪問數據。
在下面這些情況下，數據倉庫可能更容易發揮其價值：
·公司在做出有效的商業活動報告方面遇到了難題，因為所需要的數據不容易獲得。
·不同部門和用戶組會將業務數據複製到電子表格中以進行分析，而這些電子表格並非總是相互一致的。
·數據質量和準確性的不確定性，導致企業高管和業務經理會質疑報告的準確性。
·針對生產數據庫的BI報告會每晚延遲，或在月底進行的交易數據處理，需要擴展處理窗口。
·在工作日對數據庫運行臨時查詢會降低操作系統的速度，從而影響內部用戶和客戶、供應商以及其他外部用戶。
一個正確數據倉庫實施策略可以幫助您的組織準確地回答有關業務運營的問題，如發生了什麼、為什麼。數據倉庫可將來自不同位置和來源的數據組合到中央存儲庫中，從而提高數據的可訪問性。當數據移至數據倉庫時，通常還會對其進行清理和轉換，以使其與分析一致，這將有助於提高查詢結果和報告中信息的質量。
此外，一旦數據倉庫部署完成並得到積極使用，由於BI、報告和分析活動已從生產數據庫中移出，運營工作流程可能會變得更有效率。
數據倉庫的部署
各個組織之間的數據倉庫環境可能會有很大差異。從體系結構的角度來看，部署可以遵循多個路徑——如一個企業數據倉庫（EDW），一組較小的數據集市，或這兩種方法的組合。
EDW包含來自企業操作系統的所有相關數據，並且可能包含一些從外部數據源收集的數據。它是用於BI和分析數據的單個統一存儲庫，可以在所有部門和業務部門中使用。因此，建立EDW通常是一項艱鉅的任務，尤其是在大型企業中。
在EDW架構中，組織還可以在其操作系統和企業數據倉庫之間實施運營數據存儲（ODS）作為過渡步驟。將運營數據複製到ODS，然後提取並加載到數據倉庫中。ODS可以用作尚未經過轉換的、無法用於分析的數據的暫存區，同時可以用於運行近實時的查詢，這些查詢需要最新的業務運營的詳細相關數據，而不是數據倉庫中可用的數據。
數據集市是小型化的數據倉庫，專注於各個業務部門和職能領域。當需要滿足部門對BI的特定需求時，組織通常會選擇建立數據集市，並且優先考慮報告功能。數據集市不需要涵蓋整個企業的龐大項目，而是更加集中，並且可以更快地提供業務收益。
因此，數據集市的方法使組織可以通過一次處理一個業務的各個部分——而不是構建整體的EDW——以迭代方式開發數據倉庫體系架構。企業可以選擇部署一個或多個數據集市，具體取決於組織的規模和結構。
然後，決定組合採用這兩種方法的組織，可以將不同的數據集市彼此集成以創建虛擬EDW，或以物理方式填充一個EDW。另一種方式是，以EDW開始的組織可以將倉庫數據的子集提供給後來建立的數據集市，以此分離業務運營。
本地與雲數據倉庫
每種可用的數據倉庫平臺類型都有不同的部署選項：數據庫管理系統（DBMS）軟件，通常基於關係數據庫技術；專門的分析型DBMS；數據倉庫設備將必要的硬件和DBMS軟件捆綁在一個包裝中；雲數據倉庫。
將雲用於數據倉庫已成為更可行的選擇。有些供應商已經推出了特定於雲的數據倉庫平臺，而且有些最初設定為本地安裝的數據倉庫數據庫，其供應商現在也提供了基於雲的版本。此類產品包括組織自己在雲中運行的常規數據倉庫系統，以及供應商為用戶部署和管理的數據倉庫即服務（DWaaS）技術。
與其他類型的雲系統一樣，與本地環境相比，雲數據倉庫可以減少部署時間，並提供更輕鬆的可伸縮性和更大的靈活性。還可以節省一定的成本——但這並不能保證，IT經理需要密切關注雲中數據倉庫的使用，以確保成本最終不會高於預期。同樣，數據安全和隱私問題可能是決定是否在本地部署數據倉庫的考慮因素。
數據湖與數據倉庫
在Hadoop和其他大數據技術首次出現之後，關於它們是否會替代數據倉庫，市場上充滿了各種聲音。但是在大多數組織中，數據倉庫並沒有消失。相反，它們和大數據系統通常並存，每種系統都支持不同類型的分析用例。
數據倉庫平臺通常基於關係DBMS，幷包含源自組織的運營和交易處理系統的結構化數據。數據倉庫主要由希望運行基於SQL的、基本BI查詢的業務分析人員和執行人員，以及希望創建儀表板和報告以向業務用戶提供分析信息的BI開發人員訪問。
另一方面，大數據系統通常基於非關係技術，例如Hadoop、Spark和NoSQL數據庫。它們包含的數據可以是結構化、非結構化或半結構化的，並且可以源自所有類型的內部系統，以及社交網絡和其他外部數據源。大數據分析旨在發現模式、關聯和類似的見解——例如，根據過去的活動預測未來趨勢和客戶行為。通常是由數據科學家和統計人員使用Python、R和Scala等語言開發的複雜分析模型完成的。
大數據技術還支持數據湖的概念，數據湖是來自各種來源的原始數據的存儲庫，可以按原樣存儲這些數據，然後根據需要對其進行過濾和分析準備。
最後，大數據系統並不能直接替代數據倉庫和數據集市。實際上，數據倉庫和數據湖之間存在協同作用。例如，可以將在數據湖中收集的結構化數據集移動到數據倉庫中，以進行常規的OLAP存儲和分析。供應商也已開始將大數據訪問集成到數據倉庫平臺中，從而可以從一個位置訪問存儲在不同系統中的，不同格式的數據。
數據倉庫用例和場景
下面我們介紹一些用例和方案，這可能會影響組織的數據倉庫策略，以及決定為數據倉庫項目部署哪種類型的平臺。
初次VS長期數據倉庫用戶。希望擴展現有數據倉庫的公司通常會很好地繼續使用他們已經建立的數據倉庫平臺。對於第一次實施數據倉庫的組織而言，數據倉庫設備可能是一個不錯的選擇。供應商可能會與您一起確定適合的設備規格和配置，而且這些設備的交付是非常簡易的。但是，所有數據倉庫平臺對於首次使用的用戶都是可行的選擇，您應該審查本部門中的其他用例，以開發您的特定要求和部署計劃。
公司規模。大型公司可能會選擇主流的關係DBMS、分析數據庫或混合事務/分析處理（HTAP）系統。這些組織擁有成功使用此類技術的基礎架構和人員。在HTAP方法中，相同的DBMS既可以用於處理業務交易，也可以用於BI和分析建模。為了支持HTAP，關係數據庫引擎可以提供內置的列式訪問或用於分析處理的附加設備。
另一方面，較小的組織應考慮使用數據倉庫設備或雲數據倉庫服務。這兩種選擇都可以最大程度地減少管理需求：設備已預先配置，並且DWaaS環境提供的雲中的數據倉庫一般由雲服務提供商進行設置和管理。
IT部門的規模。IT部門相對較小的大型組織往往擁有較少的數據庫管理員和其他可以建設、調整和管理數據倉庫系統的IT專業人員。對於他們來說，考慮使用數據倉庫設備或DWaaS產品也很有意義。
雲用例。如果您的組織在雲中運行大量應用程序，則DWaaS部署或自我管理的雲數據倉庫平臺可能是您的最佳選擇。將生成和存儲在雲中的業務數據保存在雲中以進行數據倉庫和分析是一種符合邏輯的方法。
數據延遲要求。對於在分析應用程序中需要最小數據延遲的組織而言，優化的數據倉庫設備可能最有價值。使用其他方法也不是說無法實現近實時的延遲，但是您可能需要使用其他高速硬件和軟件來擴展數據倉庫環境，以滿足您的性能目標。
一旦您的組織決定需要建設一個數據倉庫，並確定了最合理的部署方案，下一步就是研究購買數據倉庫平臺的可用技術選項。整個過程，往往需要經過萬全的考慮。
原文作者：Craig S. Mullins
閱讀更多 IT168企業級 的文章
