儘管AI前途廣闊，但在發展過程中也遇到了一些發展痛點。除了筆者在之前文章中提及過的偏見問題，還有一個“黑匣子”問題：如果人們不知道AI是如何做出決策的，那麼人們就不會信任AI。
事實上，缺乏信任是很多AI技術失敗的關鍵，如IBM Watson，尤其是Watson for Oncology。
專家們很快就知道了問題所在。“IBM嘗試向癌症醫生推廣他們的超級計算機程序，但是這是一個公關災難，”谷歌UX研究人員兼 Avantgarde Analytics的創始人Vyacheslav Polonski（博士）說道：“Watson for Oncology的問題僅僅在於醫生並不信任它。”
當Watson的結果和外科醫生得出的結果一致時，它能夠證實這一情況；當Watson的結果和醫生的不一致時，醫生只會認為它是錯誤的。
如果醫生知道它是如何做出結論的，那麼結果可能會大相徑庭。“對於大多數人來說，AI的決策過程通常都是很難理解的，”Polonski說道：“和我們不理解的事物互動會導致人們產生焦慮，就好像我們失控了。”
DARPA解釋了可解釋性AI
可解釋性的必要性
如果腫瘤學家瞭解Watson是如何得出結論的——該產業將其稱為“可解釋性”——那麼他們對它的信任等級或許會更高。
除了醫療領域，可解釋性在很多情境下都成了AI的關鍵要求。以Twitter為例。“我們需要更好地解釋我們的算法是如何工作的。理想來說，將其公之於眾，從而人們能夠知道它們的工作方式。但是對於任何人來說，這並不容易，”Twitter的首席執行官Jack Dorsey說道：“事實上，AI的整個研究領域被稱為‘可解釋性’，即試圖理解算法是如何解釋它們能夠做出決策的。”
在其它案例中，人們也號召使用AI來決策‘生與死’。在這種情況之下，可解釋性是及其重要的。
因此，這也無疑美國國防部正在投資XAI（可解釋性AI）。“如果未來學家能夠理解、合理地信任、並有效地管理新興一代的AI機器合作伙伴，那麼XAI（尤其是可解釋性機器學習）是很有必要的，”DARPA（美國國防部高級研究計劃局）程序經理David Gunning說道：“新的機器學習系統能夠解釋它們的工作原理，描述它們的長處與不足，並傳達他們對未來行為的理解。”
然而，醫療仍然是AI最有前途的領域之一。“可解釋性AI在醫療領域的重要性不容小覷，尤其是在從理解可能發生的情況，到對身體健康產生什麼樣的影響，並且實際上也會為臨床醫生提供一些臨床工具，並讓他們瞭解如何使用這些工具，”聯合健康集團Optulab應用數據科學中心的副總裁Sanji Fernando說道：“這就是為什麼我們認為學術界、學術機構、大型公司以及聯邦政府都有一些令人驚訝的工作要做，從而能夠安全地批准這種決策。”
可解釋性平衡
當DARPA（美國國防部高級研究計劃局）等機構在積極投資可解釋性AI的時候，也有一個公開問題，即這些努力是否能夠減少中心優先性，從而能夠讓AI算法做得更好。
目前還有很多的疑慮：我們是否需要簡化AI算法，從而讓他們變得可解釋？“算法越準確越難解譯，尤其是在深度學習方面。”加利福尼亞大學歐文分校計算機科學助理教授Sameer Singh指出：“計算機對我們的生活變得愈加重要，並且隨著時間的推移，自動化技術也會改進，所以知道為什麼這些複雜的AI和機器學習系統能夠做出決策變得越來越重要。”
一些在AI研究方面的努力或許會與其背道而馳。“系統越複雜，越無法解釋，”奧塔哥大學博士後研究員以及可解釋AI研究人員John Zerilli說道：“如果你想讓系統變得可解釋，那麼你需要一個更加簡單的系統，並不需要那麼強大或者準確。”
DARPA對所謂的“第三浪潮AI系統”投資了20億美元，這或許能夠很好地解決平衡問題。Gunning補充道：“XAI是當前少數DARPA項目的計劃之一，旨在實現‘第三浪潮AI系統’，其中機器能夠理解它們所運行的情境和環境，並且隨著時間的推移也會構建底層解釋模型，從而能夠讓它們代表真實的世界。”
Skynet，解釋你自己
解決當今的信任問題很重要，但未來也會有信任問題。如果我們將XAI的發展領域置於AI懷疑論者所設想的反烏托邦式未來中，那麼我們或許會有方法來阻止這些噩夢。
不論是HAL 9000、Skynet（天網）或者是其它的好萊塢AI反面角色，邪惡計劃的發展都有一個關鍵點，它們會擺脫人類創造者的控制，並且也會肆無忌憚。
但是如果這些創造者將可解釋性構建在這種系統中，那麼這些系統就不大可能會為所欲為，或者至少來說，看到這一情況的可能性會更小。
多虧了XAI，我們終於如釋重負。
原文作者：Jason Bloomberg
編 譯：信軟網
聲 明：本文系信軟網編譯文章，轉載請註明出處、作者和本文鏈接。若違規轉載使用，本網站將保留追究的權利。
閱讀更多 信軟網 的文章
