尽管AI前途广阔，但在发展过程中也遇到了一些发展痛点。除了笔者在之前文章中提及过的偏见问题，还有一个“黑匣子”问题：如果人们不知道AI是如何做出决策的，那么人们就不会信任AI。
事实上，缺乏信任是很多AI技术失败的关键，如IBM Watson，尤其是Watson for Oncology。
专家们很快就知道了问题所在。“IBM尝试向癌症医生推广他们的超级计算机程序，但是这是一个公关灾难，”谷歌UX研究人员兼 Avantgarde Analytics的创始人Vyacheslav Polonski（博士）说道：“Watson for Oncology的问题仅仅在于医生并不信任它。”
当Watson的结果和外科医生得出的结果一致时，它能够证实这一情况；当Watson的结果和医生的不一致时，医生只会认为它是错误的。
如果医生知道它是如何做出结论的，那么结果可能会大相径庭。“对于大多数人来说，AI的决策过程通常都是很难理解的，”Polonski说道：“和我们不理解的事物互动会导致人们产生焦虑，就好像我们失控了。”
DARPA解释了可解释性AI
可解释性的必要性
如果肿瘤学家了解Watson是如何得出结论的——该产业将其称为“可解释性”——那么他们对它的信任等级或许会更高。
除了医疗领域，可解释性在很多情境下都成了AI的关键要求。以Twitter为例。“我们需要更好地解释我们的算法是如何工作的。理想来说，将其公之于众，从而人们能够知道它们的工作方式。但是对于任何人来说，这并不容易，”Twitter的首席执行官Jack Dorsey说道：“事实上，AI的整个研究领域被称为‘可解释性’，即试图理解算法是如何解释它们能够做出决策的。”
在其它案例中，人们也号召使用AI来决策‘生与死’。在这种情况之下，可解释性是及其重要的。
因此，这也无疑美国国防部正在投资XAI（可解释性AI）。“如果未来学家能够理解、合理地信任、并有效地管理新兴一代的AI机器合作伙伴，那么XAI（尤其是可解释性机器学习）是很有必要的，”DARPA（美国国防部高级研究计划局）程序经理David Gunning说道：“新的机器学习系统能够解释它们的工作原理，描述它们的长处与不足，并传达他们对未来行为的理解。”
然而，医疗仍然是AI最有前途的领域之一。“可解释性AI在医疗领域的重要性不容小觑，尤其是在从理解可能发生的情况，到对身体健康产生什么样的影响，并且实际上也会为临床医生提供一些临床工具，并让他们了解如何使用这些工具，”联合健康集团Optulab应用数据科学中心的副总裁Sanji Fernando说道：“这就是为什么我们认为学术界、学术机构、大型公司以及联邦政府都有一些令人惊讶的工作要做，从而能够安全地批准这种决策。”
可解释性平衡
当DARPA（美国国防部高级研究计划局）等机构在积极投资可解释性AI的时候，也有一个公开问题，即这些努力是否能够减少中心优先性，从而能够让AI算法做得更好。
目前还有很多的疑虑：我们是否需要简化AI算法，从而让他们变得可解释？“算法越准确越难解译，尤其是在深度学习方面。”加利福尼亚大学欧文分校计算机科学助理教授Sameer Singh指出：“计算机对我们的生活变得愈加重要，并且随着时间的推移，自动化技术也会改进，所以知道为什么这些复杂的AI和机器学习系统能够做出决策变得越来越重要。”
一些在AI研究方面的努力或许会与其背道而驰。“系统越复杂，越无法解释，”奥塔哥大学博士后研究员以及可解释AI研究人员John Zerilli说道：“如果你想让系统变得可解释，那么你需要一个更加简单的系统，并不需要那么强大或者准确。”
DARPA对所谓的“第三浪潮AI系统”投资了20亿美元，这或许能够很好地解决平衡问题。Gunning补充道：“XAI是当前少数DARPA项目的计划之一，旨在实现‘第三浪潮AI系统’，其中机器能够理解它们所运行的情境和环境，并且随着时间的推移也会构建底层解释模型，从而能够让它们代表真实的世界。”
Skynet，解释你自己
解决当今的信任问题很重要，但未来也会有信任问题。如果我们将XAI的发展领域置于AI怀疑论者所设想的反乌托邦式未来中，那么我们或许会有方法来阻止这些噩梦。
不论是HAL 9000、Skynet（天网）或者是其它的好莱坞AI反面角色，邪恶计划的发展都有一个关键点，它们会摆脱人类创造者的控制，并且也会肆无忌惮。
但是如果这些创造者将可解释性构建在这种系统中，那么这些系统就不大可能会为所欲为，或者至少来说，看到这一情况的可能性会更小。
多亏了XAI，我们终于如释重负。
原文作者：Jason Bloomberg
编 译：信软网
声 明：本文系信软网编译文章，转载请注明出处、作者和本文链接。若违规转载使用，本网站将保留追究的权利。
閱讀更多 信軟網 的文章
