IBM研究人員通過探索缺乏的東西來解釋機器學習模型

在《銀火歷險記》(The Adventure of The Silver Blaze)中,夏洛克·福爾摩斯解決的一個案例十分著名,他不是通過發現線索來解決,而是通過發現線索的缺失部分來解決問題。在例子中,有一隻不吠叫的狗,而正是因為吠聲的缺乏幫助找出了罪魁禍首。

人類能夠從缺失的東西中進行推斷和學習,但這個方法還沒有廣泛應用到機器學習當中。這是IBM想要改變的研究人員團隊的一部分,在今年早些時候發表的一篇論文中,該團隊概述了使用缺失結果來更好地理解機器學習模型是如何工作的方法。

IBM研究人員通過探索缺乏的東西來解釋機器學習模型

“深度學習的一個缺陷是它或多或少是一個黑匣子,”該研究小組的成員之一Amit Dhurandhar解釋表示,“所以很難確定為什麼要做出這樣一個決定。答案可能是準確的,但在許多對人類的關鍵應用中,比如對於藥物來說,這是不夠的。”

為了更好地理解機器學習算法如何達到他們的決定,IBM團隊創建了一個“對比性解釋”系統——尋找缺失的信息,以便更好地理解機器學習模型如何達到其結論。這在實踐中意味著,如果機器學習模型正在識別狗的照片,則該方法不僅可以用於顯示機器模型用於識別狗(如毛皮和眼睛)的內容,而且還可以模型識別一隻狗時,知道它缺少什麼東西(比如它沒有翅膀)。

IBM研究人員通過探索缺乏的東西來解釋機器學習模型

Carnegie Mellon大學機器學習系副教授Pradeep Ravikumarbiaohsi 表示,“這是一個很簡單的想法,但這是一個非常重要的想法,我認為其他人已經錯過了。”

在這篇文章中,IBM團隊能夠成功地使用這種方法以及三種不同類型的數據集:大腦的fMRI圖像、手寫數字和採購欺詐數據集。在所有這些數據集中,研究人員將能夠更好地理解機器學習模型如何做出決策。

研究人員表示,“有趣的是,相關的消極因素在許多領域發揮著至關重要的作用,其中解釋很重要。“因此,當不同類別的投入互相接近時,它們似乎是最有用的,例如,它們在區分流感或肺炎的診斷時更重要。”

IBM研究人員通過探索缺乏的東西來解釋機器學習模型

Dhurandhar認為,使用這種方法的關鍵是通過更好地理解人工智能,人類能夠與這些模型一起工作,以獲得比人類或機器學習模型能夠自行完成的更好結果。另外,瞭解計算機為什麼會做出決定會讓人們更傾向於使用該模型的建議。

“人們會想知道他們為什麼被推薦某種東西,一旦他們知道了,就會提高他們的購買意願。”


分享到:


相關文章: