AI知識圖譜:機器學習、深度學習、數據分析、數據挖掘「附腦圖」

正文共:2993 字 11 圖

預計閱讀時間: 8 分鐘

在本文中,我們將研究深度學習、機器學習、數據分析、數據挖掘之間的差異。我們將逐一瞭解它們,然後討論他們在各個方面的不同之處。先看AI知識圖譜:

AI知識圖譜:機器學習、深度學習、數據分析、數據挖掘「附腦圖」

AI知識圖譜

深度學習與機器學習發展史

AI知識圖譜:機器學習、深度學習、數據分析、數據挖掘「附腦圖」

發展史

一、什麼是機器學習?

機器學習:抵達AI目標的一條路徑

大體來講,機器學習就是用算法真正解析數據,不斷學習,然後對世界中發生的事做出判斷和預測。此時,研究人員不會親手編寫軟件、確定特殊指令集、然後讓程序完成特殊任務,相反,研究人員會用大量數據和算法“訓練”機器,讓機器學會如何執行任務。

機器學習這個概念是早期的AI研究者提出的,在過去幾年裡,機器學習出現了許多算法方法,包括決策樹算法(Decision trees)、歸納邏輯程序設計、聚類分析(Clustering)、強化學習、貝葉斯網絡、Find-S算法、隨機森林算法(Random forests)、人工神經網絡等。正如大家所知的,沒有人真正達到“強人工智能”的終極目標,採用早期機器學習方法,我們連“弱人工智能”的目標也遠沒有達到。

AI知識圖譜:機器學習、深度學習、數據分析、數據挖掘「附腦圖」

機器學習

通常,有3種類型的學習算法:

1,監督機器學習算法用於進行預測。此外,該算法搜索分配給數據點的值標籤內的模式。

2,無監督機器學習算法:沒有標籤與數據點相關聯。這些ML算法將數據組織成一組簇。此外,它需要描述其結構,使複雜的數據看起來簡單,有條理,便於分析。

3,增強機器學習算法:我們使用這些算法來選擇動作。此外,我們可以看到它基於每個數據點。一段時間後,算法改變其策略以更好地學習。

二、什麼是深度學習?

深度學習:實現機器學習的技術

AI知識圖譜:機器學習、深度學習、數據分析、數據挖掘「附腦圖」

深度學習是機器學習中一種基於對數據進行表徵學習的方法。觀測值(例如一幅圖像)可以使用多種方式來表示,如每個像素強度值的向量,或者更抽象地表示成一系列邊、特定形狀的區域等。而使用某些特定的表示方法更容易從實例中學習任務(例如,人臉識別或面部表情識別)。深度學習的好處是用非監督式或半監督式的特徵學習和分層特徵提取高效算法來替代手工獲取特徵。

深度學習是機器學習研究中的一個新的領域,其動機在於建立、模擬人腦進行分析學習的神經網絡,它模仿人腦的機制來解釋數據,例如圖像,聲音和文本

任何深度神經網絡都將包含三種類型的圖層:輸入層、隱藏層、輸出層。我們可以說深度學習是機器學習領域的最新領域。這是實現機器學習的一種方式。

三、數據挖掘

數據挖掘利用各種技術與統計方法,將大量的歷史數據,進行整理分析,歸納與整合,是從海量數據中“挖掘”隱藏信息,如趨勢、特徵及相關的一種過程。工作BI(商業智能)、數據分析、市場運營都可以做這個工作。

AI知識圖譜:機器學習、深度學習、數據分析、數據挖掘「附腦圖」

數據挖掘

之所以經常和機器學習合在一起講是因為現在好多數據挖掘的工作是通過機器學習提供的算法工具實現的。例如廣告的ctr預估,PB級別的點擊日誌在通過典型的機器學習流程可以得到一個預估模型,從而提高互聯網廣告的點擊率和回報率;個性化推薦,還是通過機器學習的一些算法分析平臺上的各種購買,瀏覽和收藏日誌,得到一個推薦模型,來預測你喜歡的商品。

我們可以把數據挖掘理解為一種類型的工作,或工作中的某種成分,機器學習是幫助完成這個工作的方法。

統計學、數據庫和人工智能共同構造了數據挖掘技術的三大支柱,許多成熟的統計方法構成了數據挖掘的核心內容。

四、數據分析

數據分析只是在已定的假設,先驗約束上處理原有計算方法,統計方法,將數據轉化為信息,而這些信息需要進一步的獲得認知,轉化為有效的預測和決策,這時就需要數據挖掘,也就是我們數據分析師系統成長之路的“更上一樓”。

AI知識圖譜:機器學習、深度學習、數據分析、數據挖掘「附腦圖」

數據分析

數據分析是把數據變成信息的工具,數據挖掘是把信息變成認知的工具,如果我們想要從數據中提取一定的規律(即認知)往往需要數據分析和數據挖掘結合使用。

舉個例子:你有50塊錢,去買菜,經過一一問價,你知道了50塊錢能買多少蔬菜,能買多少肉,能吃多少天,心裡得出一組信息,這就是數據分析。根據自己的偏好,營養價值,用餐時間計劃,最有性價比的組合確定了一個購買方案,這就是數據挖掘。

五、機器學習與深度學習的比較

深度學習與機器學習我們使用機器算法來解析數據,從數據中學習,並根據所學知識做出明智的決策。基本上,深度學習用於創建人工“神經網絡” ,可以自己學習和做出明智的決策。我們可以說深度學習是機器學習的一個子領域。

數據依賴性

性能是兩種算法之間的主要關鍵區別。雖然,當數據很小時,深度學習算法表現不佳。這就是是深度學習算法需要大量數據才能完美理解的原因。

AI知識圖譜:機器學習、深度學習、數據分析、數據挖掘「附腦圖」

但是,在這種情況下,我們可以看到算法的使用以及他們手工製作的規則。上圖總結了這一事實。

硬件依賴

通常,深度學習依賴於高端機器,而傳統學習依賴於低端機器。因此,深度學習要求包括GPU。這是它工作中不可或缺的一部分。它們還進行大量的矩陣乘法運算。

特色工程

這是一個普遍的過程。在此,領域知識被用於創建特徵提取器,以降低數據的複雜性,並使模式更加可見以學習算法的工作。雖然,處理起來非常困難。因此,這是需要非常多的專業知識和時間。

AI知識圖譜:機器學習、深度學習、數據分析、數據挖掘「附腦圖」

解決問題的方法

通常,我們使用傳統算法來解決問題。但是,它需要將問題分解為不同的部分以單獨解決它們。要獲得結果,請將它們全部組合起來。

例如:讓我們假設你有一個多對象檢測的任務。在此任務中,我們必須確定對象是什麼以及它在圖像中的位置。在機器學習方法中,我們必須將問題分為兩個步驟:1.物體檢測、2.物體識別。

首先,我們使用抓取算法瀏覽圖像並找到所有可能的對象。然後,在所有已識別的對象中,你將使用像SVM和HOG這樣的對象識別算法來識別相關對象。

AI知識圖譜:機器學習、深度學習、數據分析、數據挖掘「附腦圖」

執行時間處理時間

通常,與機器學習相比,深度學習需要更多時間進行訓練。主要原因是深度學習算法中有太多參數。機器學習只花需要更少的時間進行訓練。

解釋性

我們將可解釋性作為比較兩種學習技巧的因素。儘管如此,深度學習在用於工業之前仍然被認為是10次。

六、數據分析與數據挖掘的比較

數據分析只是在已定的假設,先驗約束上處理原有計算方法,統計方法,將數據分析轉化為信息,而這些信息需要進一步的獲得認知,轉化為有效的預測和決策,這時就需要數據挖掘,也就是我們數據分析師系統成長之路的“更上一樓”。

數據挖掘與數據分析兩者緊密相連,具有循環遞歸的關係,數據分析結果需要進一步進行數據挖掘才能指導決策,而數據挖掘進行價值評估的過程也需要調整先驗約束而再次進行數據分析。

AI知識圖譜:機器學習、深度學習、數據分析、數據挖掘「附腦圖」

數據量上:數據分析的數據量可能並不大,而數據挖掘的數據量極大。

約束上:數據分析是從一個假設出發,需要自行建立方程或模型來與假設吻合,而數據挖掘不需要假設,可以自動建立方程。

對象上:數據分析往往是針對數字化的數據,而數據挖掘能夠採用不同類型的數據,比如聲音,文本等。

結果上:數據分析對結果進行解釋,呈現出有效信息,數據挖掘的結果不容易解釋,對信息進行價值評估,著眼於預測未來,並提出決策性建議。

七、機器學習和深度學習在哪裡應用?

AI知識圖譜:機器學習、深度學習、數據分析、數據挖掘「附腦圖」

計算機視覺: 我們將其用於車牌識別和麵部識別等不同應用。

信息檢索: 我們將ML和DL用於搜索引擎,文本搜索和圖像搜索等應用程序。

營銷:我們在自動電子郵件營銷和目標識別中使用這種學習技術。

醫療診斷:它在醫學領域也有廣泛的應用。癌症鑑定和異常檢測等應用。

自然語言處理:適用於情感分析,照片標籤,在線廣告等應用。

八、數據分析與數據挖掘運用案例:

電信客戶分類,船隻損壞率分析

電信客戶流失預測,房價預測

信用卡逾期客戶預測

手機用戶市場細分,購物籃分析

AI知識圖譜:機器學習、深度學習、數據分析、數據挖掘「附腦圖」


分享到:


相關文章: