在我们通往可信赖的人工智能的道路上，我在我之前的博客中讨论过偏见问题，它如何从人类传播到机器，如何通过人工智能应用程序放大，对现实世界，个人和企业的影响以及重要性积极解决这个问题。今天，我将讨论所谓的“黑匣子”模型的可解释性和透明度问题。
在解释性和准确性之间进行选择？
要相信，必须明白。人类之间的关系也是如此。在采用能够增强人类能力以产生洞察力和做出决策的系统时，也是如此。这是人与机器之间的合作关系。与所有合作关系一样，信任是关键。
AI和机器学习（ML）算法的可解释性已经成为该领域中讨论最多和研究最多的主题之一，这也许就不足为奇了。
算法可以解释是什么意思？这意味着系统可以传达有关其内部工作的有用信息，它所学习的模式以及它提供的结果。可解释性是可解释性的更柔和，更轻的版本。如果我们能够看到正在发生的事情以及我们是否可以基于输入变量合理预测结果，即使我们不一定知道系统如何做出决策，系统也是可解释的。
一些模型类型，如决策树和线性回归，非常简单，透明且易于理解。我们知道改变输入将如何影响预测结果，我们可以证明每个预测的合理性。
不幸的是，同样的复杂性为“黑匣子”模型提供了非凡的预测能力，例如深度神经网络，随机森林或梯度增强机器，这也使它们很难理解（和信任）。任何ML技术的运作本质上都是不透明的，甚至对计算机科学家也是如此。从本质上讲，深度学习是一个特别黑暗的黑盒子。
用于训练这些模型的大量数据使问题变得更加严重，使得很难确定哪些数据点对结果的影响比其他数据更多。ML算法随着时间的推移而发展的事实也使事情变得困难，因为算法不断学习新数据。
在一天结束时，它是准确性和可解释性之间的权衡。问题是我们准备妥协多少。不幸的是，尽管我们正朝着这个方向前进，但我们还没有达到高度准确和完全透明的模型。
它总是重要吗？
当不清楚为什么它是答案时，知道答案有什么用呢？
对黑匣子模型越来越怀疑和不信任。因此，工程师和数据科学家正在努力解决可解释性问题。监管机构也在研究这个问题。2018年，欧盟通用数据保护条例（GDPR）为个人提供了一些基本权利，使他们了解自动决策，反对这些决策的输出，并获得有关所涉逻辑的一些有意义的信息。然而，它没有引入可解释性的权利。最近，欧盟已经任命了一个专家小组来解决这一复杂问题。这项工作已经导致出版了值得信赖的人工智能的高级指导方针。
可解释性绝对是最重要的，但它总是真的重要吗？
在这篇精彩的文章中，伊丽莎白·A·霍尔姆（Elizabeth A. Holm）通过制作黑箱模型的案例采取了更加平衡的观点，至少在三种情况下：
当错误答案的成本相对于正确答案的价值较低时（例如针对有针对性的广告）
当它产生最佳结果时（从提供医疗诊断辅助到驾驶自动驾驶汽车）
当它激发并指导人类探究时（例如通过带来以前没有预料到的洞察力并提出新问题）
人工智能采用的必要条件
然而，在大多数其他情况下，可解释性是确保采用AI应用程序的必要条件。
如果你不知道它是如何工作的，你怎么能相信呢？
实现预测的高度准确性不足以证明ML算法缺乏可解释性。
让我们以医疗保健行业为例。
人工智能在医疗保健领域的潜在好处是巨大的。例如，计算机视觉可用于帮助医生从扫描中识别肿瘤，从而提高诊断的准确性。在出现任何症状之前，可以使用类似的技术来预测疾病。然而，如果他们无法向从业者和患者提供某种程度的解释，那些系统注定要失败。毕竟，只是在计算机预测的背后，谁会关心开始有创伤性副作用的侵入性手术或治疗？
2015年，纽约西奈山医院的一个研究小组将深度学习技术应用于医院庞大的70万患者记录数据库。数百个变量用于训练一个名为Deep Patient的系统。事实证明，它可以非常有效地预测癌症或精神疾病等疾病。在没有任何专家指导的情况下，Deep Patient发现隐藏在医院数据中的模式似乎表明人们何时开发这些条件。挑战在于该工具无法提供有关其如何达成结论的任何线索。没有理由，系统做出的预测根本不可用。
许多人和组织正在忙于试验AI和ML，从而突破了技术可以实现的范围。但是，我预测只有能够提供某种程度的可解释性和透明度的系统才能生存下来。
打开黑匣子
幸运的是，有一些方法可以使黑盒更透明，并且算法技术可以提高ML的可解释性。
最基本的方法是使用代理方法。通常难以解释的ML模型被用作更可解释的模型类型的基准。
更复杂的方法涉及应用后建模诊断技术，例如：
变量重要性（VI），用于理解顶部输入变量。
部分依赖图（PDP），用于测量特征对ML模型的预测结果的边际效应。
个人条件期望（ICE），类似于PDP，但适用于单个数据实例，并在本地级别提供更多粒度。
本地可解释的模型不可知解释（LIME），为特定预测提供解释。这是一种模型不可知技术，用于通过更改输入和查看预测的变化来理解模型。
Shapley Values（SHAP），一种用于博弈论的技术，用于确定协作游戏中每个玩家对其成功的贡献。在建模中，每个SHAP值测量对模型中每个特征的预测的负面或正面贡献。
让我感到震惊的是，为了解决复杂性问题，我们最终增加了另一层复杂性。然而，这似乎是使黑匣子更加透明和值得信赖所需的价格，因此更有用。也许主要的挑战不是技术，而是数据科学和工程团队的文化和实践。一切都取决于他们是否愿意将可解释性要求纳入AI应用程序的设计，开发和部署。
透明度，超出可解释性
在AI中创建透明度和信任超出了黑盒模型的可解释性。这只是端到端分析生命周期的一个方面，从数据到发现，再到部署，再到决策。
整个分析生命周期中的可追溯性和沿袭
流程和工具需要能够建立数据，模型和决策的可追溯性和谱系。这是建立人工智能信任的先决条件。它通常也是IT合规性或监管要求。
致力于值得信赖的AI的组织必须能够回答许多问题。
关于数据
我们用什么数据来训练模型？
它来自哪里？
我们可以相信吗？
我们是否有处理这些数据的法律依据（特别是如果它包含个人或敏感数据）？
数据有多好？质量足够好吗？
它是否代表AI应用程序的目的？它可能包含多少偏见？我们是否发现了可能与歧视性变量相关的任何歧视性变量或变量（例如，邮政编码有时可能与种族相关）？
关于分析模型
模型是否完整记录并受版本控制？
在设计和开发这些模型时做出了哪些假设？
我们是否有受控环境和自动化流程来部署和测试模型？
模型在整个分析生命周期中是否具有完全可追溯性？
我们是否有正式的流程来衡量模型的准确性和性能？
关于AI驱动的决策
使用模型的输出做出了哪些决定？
用什么数据做出决定？我们能相信这些数据吗？
这些决策对业务成果和客户有何影响？
我们是否有从使用点（在现实世界中做出决策）到数据科学和工程团队的反馈循环？
构建值得信赖的AI应用程序远远超出了模型可解释性。它要求我们在所使用的技术以及组织和业务流程中采用透明原则。它必须是一种刻意的，积极主动的努力，以确保数据驱动的创新遵循有效的业务成果和人工智能技术的道德使用。
（本文转译数据科学）
