在大型企業中保證業務數據的一致性是一個非常棘手的問題。一般來說，如跨國型公司的客戶或產品相關數據，往往有多個來源。這就導致了，有時即使是最簡單的問題也很難回答。在此情況下，數據集成可能是成為一種解決辦法。來源：IT168
數據集成為組織提供了存儲在多個數據源中數據的統一視圖，而提取、轉換和加載(ETL)技術就是數據集成的早期嘗試。
使用ETL，可以從多個源事務系統提取、轉換和加載數據到單個位置，例如公司數據倉庫。提取和加載部分相對機械，但轉換部分不那麼容易。為了實現這一點，您需要對業務規則進行定義，來解釋哪些轉換是有效的。
ETL與數據集成之間的一個主要區別是，數據集成是一個更廣泛的領域。它可能還包括數據質量和定義主引用數據的過程，例如在公司範圍內定義客戶、產品、供應商和其他與業務事務提供有關的關鍵信息。
數據分類與一致性
下面我們看一個例子。一個大的營業公司可能需要從幾個層次對產品和客戶進行分類，以分段分層展開營銷活動。對於該公司旗下規模較小的子公司，則可以通過簡單的產品和客戶分類層次結構來實現這一點。在這個例子中，規模更大的組織可能將一罐可樂歸類為碳酸飲料、一種飲料、食品和飲料銷售的一部分。然而，較小的子公司可能會把同樣的可樂歸入食品和飲料銷售，而沒有中間的分類。這就是為什麼需要分類的一致性——或者至少是對差異的理解——來獲得公司整體銷售的全局視圖的原因。
不幸的是，知道你在和誰做生意並不總是那麼簡單。例如，Shell U.K.是石油巨頭Royal Dutch Shell公司的子公司。像Aera Energy和Bonny Gas Transport這樣的公司都是Shell公司的實體，有些還有其他投資者。因此，與這些公司進行的業務交易，需要作為客戶添加到Shell公司的全局視圖中，但是從公司名稱來看，這種關係並不明顯。
著名投資銀行副總裁曾告訴筆者，他們不知道自己在全球範圍內做了多少業務,例如,德意志銀行(Deutsche bank),更不用說企業是否盈利，這些問題的答案埋在各種全球性投資銀行部門的系統內。
數據質量問題
ETL技術是解決這個問題的早期嘗試。但要正確獲得轉換步驟，您需要定義業務規則，制定什麼樣的轉換是有效的——例如，如何彙總銷售事務或映射一個數據庫字段，當“m”用於定義男性顧客，而“male”用於另一個含義時。技術的發展對這一過程是有幫助的。
事實證明，實現集成化的數據比ETL和數據集成本身更廣泛。數據質量也是一個重要因素。如果發現客戶或產品文件中有重複的內容怎麼辦？在筆者參與的一個項目中，有80%的客戶記錄都是重複的。這意味著，該公司的商業客戶數量只有它認為的五分之一。
在原材料中，主文件的重複率通常是20%到30%。當進行公司概述，需要彙總數據時，應該消除這些異常情況。加米穀大數據培訓，大數據開發、數據分析與挖掘，零基礎學習，已向市場培養出大批的大數據人才！
不斷增長的數據量
儘管數據集成對大公司來說有其優勢，但也不是沒有挑戰。如公司產生的非結構化數據的持續增長。
而且，由於數據以不同的格式保存——傳感器數據、web日誌、呼叫記錄、文檔、圖像和視頻——ETL工具在這種環境中可能是無效的，因為它們在設計時並沒有考慮到這些因素。當存在大量數據或大數據時，這些工具也會遇到困難。如Apache Kafka等類似工具，試圖通過實時流數據來解決這個問題，這使他們能夠克服以前的消息總線方法對實時數據集成的限制。
從早期的ETL到現在，數據集成的相關技術、理念已經發生了很大的變化。但仍需要繼續保持不斷進化，以跟上企業持續變化的需求和大數據時代下不斷湧現的新型挑戰。
閱讀更多 加米穀大數據 的文章
