在我們通往可信賴的人工智能的道路上，我在我之前的博客中討論過偏見問題，它如何從人類傳播到機器，如何通過人工智能應用程序放大，對現實世界，個人和企業的影響以及重要性積極解決這個問題。今天，我將討論所謂的“黑匣子”模型的可解釋性和透明度問題。
在解釋性和準確性之間進行選擇？
要相信，必須明白。人類之間的關係也是如此。在採用能夠增強人類能力以產生洞察力和做出決策的系統時，也是如此。這是人與機器之間的合作關係。與所有合作關係一樣，信任是關鍵。
AI和機器學習（ML）算法的可解釋性已經成為該領域中討論最多和研究最多的主題之一，這也許就不足為奇了。
算法可以解釋是什麼意思？這意味著系統可以傳達有關其內部工作的有用信息，它所學習的模式以及它提供的結果。可解釋性是可解釋性的更柔和，更輕的版本。如果我們能夠看到正在發生的事情以及我們是否可以基於輸入變量合理預測結果，即使我們不一定知道系統如何做出決策，系統也是可解釋的。
一些模型類型，如決策樹和線性迴歸，非常簡單，透明且易於理解。我們知道改變輸入將如何影響預測結果，我們可以證明每個預測的合理性。
不幸的是，同樣的複雜性為“黑匣子”模型提供了非凡的預測能力，例如深度神經網絡，隨機森林或梯度增強機器，這也使它們很難理解（和信任）。任何ML技術的運作本質上都是不透明的，甚至對計算機科學家也是如此。從本質上講，深度學習是一個特別黑暗的黑盒子。
用於訓練這些模型的大量數據使問題變得更加嚴重，使得很難確定哪些數據點對結果的影響比其他數據更多。ML算法隨著時間的推移而發展的事實也使事情變得困難，因為算法不斷學習新數據。
在一天結束時，它是準確性和可解釋性之間的權衡。問題是我們準備妥協多少。不幸的是，儘管我們正朝著這個方向前進，但我們還沒有達到高度準確和完全透明的模型。
它總是重要嗎？
當不清楚為什麼它是答案時，知道答案有什麼用呢？
對黑匣子模型越來越懷疑和不信任。因此，工程師和數據科學家正在努力解決可解釋性問題。監管機構也在研究這個問題。2018年，歐盟通用數據保護條例（GDPR）為個人提供了一些基本權利，使他們瞭解自動決策，反對這些決策的輸出，並獲得有關所涉邏輯的一些有意義的信息。然而，它沒有引入可解釋性的權利。最近，歐盟已經任命了一個專家小組來解決這一複雜問題。這項工作已經導致出版了值得信賴的人工智能的高級指導方針。
可解釋性絕對是最重要的，但它總是真的重要嗎？
在這篇精彩的文章中，伊麗莎白·A·霍爾姆（Elizabeth A. Holm）通過製作黑箱模型的案例採取了更加平衡的觀點，至少在三種情況下：
當錯誤答案的成本相對於正確答案的價值較低時（例如針對有針對性的廣告）
當它產生最佳結果時（從提供醫療診斷輔助到駕駛自動駕駛汽車）
當它激發並指導人類探究時（例如通過帶來以前沒有預料到的洞察力並提出新問題）
人工智能採用的必要條件
然而，在大多數其他情況下，可解釋性是確保採用AI應用程序的必要條件。
如果你不知道它是如何工作的，你怎麼能相信呢？
實現預測的高度準確性不足以證明ML算法缺乏可解釋性。
讓我們以醫療保健行業為例。
人工智能在醫療保健領域的潛在好處是巨大的。例如，計算機視覺可用於幫助醫生從掃描中識別腫瘤，從而提高診斷的準確性。在出現任何症狀之前，可以使用類似的技術來預測疾病。然而，如果他們無法向從業者和患者提供某種程度的解釋，那些系統註定要失敗。畢竟，只是在計算機預測的背後，誰會關心開始有創傷性副作用的侵入性手術或治療？
2015年，紐約西奈山醫院的一個研究小組將深度學習技術應用於醫院龐大的70萬患者記錄數據庫。數百個變量用於訓練一個名為Deep Patient的系統。事實證明，它可以非常有效地預測癌症或精神疾病等疾病。在沒有任何專家指導的情況下，Deep Patient發現隱藏在醫院數據中的模式似乎表明人們何時開發這些條件。挑戰在於該工具無法提供有關其如何達成結論的任何線索。沒有理由，系統做出的預測根本不可用。
許多人和組織正在忙於試驗AI和ML，從而突破了技術可以實現的範圍。但是，我預測只有能夠提供某種程度的可解釋性和透明度的系統才能生存下來。
打開黑匣子
幸運的是，有一些方法可以使黑盒更透明，並且算法技術可以提高ML的可解釋性。
最基本的方法是使用代理方法。通常難以解釋的ML模型被用作更可解釋的模型類型的基準。
更復雜的方法涉及應用後建模診斷技術，例如：
變量重要性（VI），用於理解頂部輸入變量。
部分依賴圖（PDP），用於測量特徵對ML模型的預測結果的邊際效應。
個人條件期望（ICE），類似於PDP，但適用於單個數據實例，並在本地級別提供更多粒度。
本地可解釋的模型不可知解釋（LIME），為特定預測提供解釋。這是一種模型不可知技術，用於通過更改輸入和查看預測的變化來理解模型。
Shapley Values（SHAP），一種用於博弈論的技術，用於確定協作遊戲中每個玩家對其成功的貢獻。在建模中，每個SHAP值測量對模型中每個特徵的預測的負面或正面貢獻。
讓我感到震驚的是，為了解決複雜性問題，我們最終增加了另一層複雜性。然而，這似乎是使黑匣子更加透明和值得信賴所需的價格，因此更有用。也許主要的挑戰不是技術，而是數據科學和工程團隊的文化和實踐。一切都取決於他們是否願意將可解釋性要求納入AI應用程序的設計，開發和部署。
透明度，超出可解釋性
在AI中創建透明度和信任超出了黑盒模型的可解釋性。這只是端到端分析生命週期的一個方面，從數據到發現，再到部署，再到決策。
整個分析生命週期中的可追溯性和沿襲
流程和工具需要能夠建立數據，模型和決策的可追溯性和譜系。這是建立人工智能信任的先決條件。它通常也是IT合規性或監管要求。
致力於值得信賴的AI的組織必須能夠回答許多問題。
關於數據
我們用什麼數據來訓練模型？
它來自哪裡？
我們可以相信嗎？
我們是否有處理這些數據的法律依據（特別是如果它包含個人或敏感數據）？
數據有多好？質量足夠好嗎？
它是否代表AI應用程序的目的？它可能包含多少偏見？我們是否發現了可能與歧視性變量相關的任何歧視性變量或變量（例如，郵政編碼有時可能與種族相關）？
關於分析模型
模型是否完整記錄並受版本控制？
在設計和開發這些模型時做出了哪些假設？
我們是否有受控環境和自動化流程來部署和測試模型？
模型在整個分析生命週期中是否具有完全可追溯性？
我們是否有正式的流程來衡量模型的準確性和性能？
關於AI驅動的決策
使用模型的輸出做出了哪些決定？
用什麼數據做出決定？我們能相信這些數據嗎？
這些決策對業務成果和客戶有何影響？
我們是否有從使用點（在現實世界中做出決策）到數據科學和工程團隊的反饋循環？
構建值得信賴的AI應用程序遠遠超出了模型可解釋性。它要求我們在所使用的技術以及組織和業務流程中採用透明原則。它必須是一種刻意的，積極主動的努力，以確保數據驅動的創新遵循有效的業務成果和人工智能技術的道德使用。
（本文轉譯數據科學）
