IBM研究人员通过探索缺乏的东西来解释机器学习模型

在《银火历险记》(The Adventure of The Silver Blaze)中,夏洛克·福尔摩斯解决的一个案例十分著名,他不是通过发现线索来解决,而是通过发现线索的缺失部分来解决问题。在例子中,有一只不吠叫的狗,而正是因为吠声的缺乏帮助找出了罪魁祸首。

人类能够从缺失的东西中进行推断和学习,但这个方法还没有广泛应用到机器学习当中。这是IBM想要改变的研究人员团队的一部分,在今年早些时候发表的一篇论文中,该团队概述了使用缺失结果来更好地理解机器学习模型是如何工作的方法。

IBM研究人员通过探索缺乏的东西来解释机器学习模型

“深度学习的一个缺陷是它或多或少是一个黑匣子,”该研究小组的成员之一Amit Dhurandhar解释表示,“所以很难确定为什么要做出这样一个决定。答案可能是准确的,但在许多对人类的关键应用中,比如对于药物来说,这是不够的。”

为了更好地理解机器学习算法如何达到他们的决定,IBM团队创建了一个“对比性解释”系统——寻找缺失的信息,以便更好地理解机器学习模型如何达到其结论。这在实践中意味着,如果机器学习模型正在识别狗的照片,则该方法不仅可以用于显示机器模型用于识别狗(如毛皮和眼睛)的内容,而且还可以模型识别一只狗时,知道它缺少什么东西(比如它没有翅膀)。

IBM研究人员通过探索缺乏的东西来解释机器学习模型

Carnegie Mellon大学机器学习系副教授Pradeep Ravikumarbiaohsi 表示,“这是一个很简单的想法,但这是一个非常重要的想法,我认为其他人已经错过了。”

在这篇文章中,IBM团队能够成功地使用这种方法以及三种不同类型的数据集:大脑的fMRI图像、手写数字和采购欺诈数据集。在所有这些数据集中,研究人员将能够更好地理解机器学习模型如何做出决策。

研究人员表示,“有趣的是,相关的消极因素在许多领域发挥着至关重要的作用,其中解释很重要。“因此,当不同类别的投入互相接近时,它们似乎是最有用的,例如,它们在区分流感或肺炎的诊断时更重要。”

IBM研究人员通过探索缺乏的东西来解释机器学习模型

Dhurandhar认为,使用这种方法的关键是通过更好地理解人工智能,人类能够与这些模型一起工作,以获得比人类或机器学习模型能够自行完成的更好结果。另外,了解计算机为什么会做出决定会让人们更倾向于使用该模型的建议。

“人们会想知道他们为什么被推荐某种东西,一旦他们知道了,就会提高他们的购买意愿。”


分享到:


相關文章: