一個數據分析流程,應該包括以下幾個方面,建議收藏此圖仔細閱讀。成都加米穀大數據培訓機構分享學習,完整的數據分析流程:
• 業務建模。
• 經驗分析。
• 數據準備。
• 數據處理。
• 數據分析與展現。
• 專業報告。
• 持續驗證與跟蹤。
作為數據分析師,無論最初的職業定位方向是技術還是業務,最終發到一定階段後都會承擔數據管理的角色。因此,一個具有較高層次的數據分析師需要具備完整的知識結構。
1. 數據採集
瞭解數據採集的意義在於真正瞭解數據的原始面貌,包括數據產生的時間、條件、格式、內容、長度、限制條件等。
這會幫助數據分析師更有針對性的控制數據生產和採集過程,避免由於違反數據採集規則導致的數據問題;同時,對數據採集邏輯的認識增加了數據分析師對數據的理解程度,尤其是數據中的異常變化。
在數據採集階段,數據分析師需要更多的瞭解數據生產和採集過程中的異常情況,如此才能更好的追本溯源。另外,這也能很大程度上避免“垃圾數據進導致垃圾數據出”的問題。
2.數據存儲
無論數據存儲於雲端還是本地,數據的存儲不只是我們看到的數據庫那麼簡單。
比如:
• 數據存儲系統是MySql、Oracle、SQL Server還是其他系統。
• 數據倉庫結構及各庫表如何關聯,星型、雪花型還是其他。
• 生產數據庫接收數據時是否有一定規則,比如只接收特定類型字段。
• 生產數據庫面對異常值如何處理,強制轉換、留空還是返回錯誤。
• 接觸到的數據是原始數據還是ETL後的數據,ETL規則是什麼。
• 數據倉庫數據的更新更新機制是什麼,全量更新還是增量更新。
• 不同數據庫和庫表之間的同步規則是什麼,哪些因素會造成數據差異,如何處理差異的。
在數據存儲階段,數據分析師需要了解數據存儲內部的工作機制和流程,最核心的因素是在原始數據基礎上經過哪些加工處理,最後得到了怎樣的數據。
3.數據提取
數據提取是將數據取出的過程,數據提取的核心環節是從哪取、何時取、如何取。
• 從哪取,數據來源——不同的數據源得到的數據結果未必一致。
• 何時取,提取時間——不同時間取出來的數據結果未必一致。
• 如何取,提取規則——不同提取規則下的數據結果很難一致。
在數據提取階段,數據分析師首先需要具備數據提取能力。其次是理解業務需求的能力。
4.數據挖掘
數據挖掘是面對海量數據時進行數據價值提煉的關鍵,以下是算法選擇的基本原則:
• 沒有最好的算法,只有最適合的算法,算法選擇的原則是兼具準確性、可操作性、可理解性、可應用性。
• 沒有一種算法能解決所有問題,但精通一門算法可以解決很多問題。
• 挖掘算法最難的是算法調優,同一種算法在不同場景下的參數設定相同,實踐是獲得調優經驗的重要途徑。
在數據挖掘階段,數據分析師要掌握數據挖掘相關能力。一是數據挖掘、統計學、數學基本原理和常識;二是熟練使用一門數據挖掘工具,Clementine、SAS或R都是可選項,如果是程序出身也可以選擇編程實現;三是需要了解常用的數據挖掘算法以及每種算法的應用場景和優劣差異點。
5.數據分析
數據分析相對於數據挖掘更多的是偏向業務應用和解讀,當數據挖掘算法得出結論後,如何解釋算法在結果、可信度、顯著程度等方面對於業務的實際意義,如何將挖掘結果反饋到業務操作過程中便於業務理解和實施是關鍵。
6.數據展現
數據展現即數據可視化的部分,數據分析師如何把數據觀點展示給業務的過程。數據展現除遵循各公司統一規範原則外,具體形式還要根據實際需求和場景而定。
基本素質要求如下:
• 工具。PPT、Excel、Word甚至郵件都是不錯的展現工具,任意一個工具用好都很強大。
• 形式。圖文並茂的基本原則更易於理解,生動、有趣、互動、講故事都是加分項。
• 原則。領導層喜歡讀圖、看趨勢、要結論,執行層歡看數、讀文字、看過程。
• 場景。大型會議PPT最合適,彙報說明Word最實用,數據較多時Excel更方便。
• 最重要一點,數據展現永遠輔助於數據內容,有價值的數據報告才是關鍵。
7.數據應用
數據應用是數據具有落地價值的直接體現,這個過程需要數據分析師具備數據溝通能力、業務推動能力和項目工作能力。
數據溝通能力。深入淺出的數據報告、言簡意賅的數據結論更利於業務理解和接受,打比方、舉例子都是非常實用的技巧。
業務推動能力。在業務理解數據的基礎上,推動業務落地實現數據建議。從業務最重要、最緊急、最能產生效果的環節開始是個好方法,同時要考慮到業務落地的客觀環境,即好的數據結論需要具備客觀落地條件。
項目工作能力。數據項目工作是循序漸進的過程,無論是一個數據分析項目還是數據產品項目,都需要數據分析師具備計劃、領導、組織、控制的項目工作能力。
閱讀更多 加米穀大數據 的文章