点击上方，关注AI小白入门哟
跟着博主的脚步，每天进步一点点
论文标题：Interpretable Rationale Augmented Charge
Prediction System
论文链接：https://www.aclweb.org/anthology/C18-2032/
引言
任务定义
罪名预测（Charge prediction）是智能司法领域最热门的任务之一。其任务定义为：罪名预测任务旨在通过分析案件的事实描述（fact description）来确定案件的最终罪名，例如抢劫罪、盗窃罪或欺诈罪。
目前大多数工作通常将罪名预测视为基于事实描述文本的分类问题，并取得了一系列不错的进展。但是，在司法领域，每个决定都可能是生死攸关的问题，因此法官和律师很有必要了解机器判决的依据。倘若机器自动判决只给出最终结果而不提供任何解释，那么人们将无法信任机器的判决。
可解释性
可解释性意味着AI系统能够解释其预测的能力，并且已经引起越来越多的关注。Hendricks et al.[1] 将可解释性分为二大类：Introspection explanation和Justification explanation。
- Introspection explanation：解释模型如何确定其最终输出。例如：考虑罪名和法条的高度相关性，Luo et al. [2] 引入法条信息来提高罪名预测的准确性。与此同时，和该次预测相关的法条也可以被视为对罪名预测的一种可解释性。
- Justification explanation：该方法生成一些句子，这些句子作为支撑系统预测结果的相关依据。例如：Ye et al. [3] 考虑将法院观点（court view）作为罪名的解释。因此，他们使用charge conditioned Seq2Seq模型，根据案件的事实描述和给定的罪名标签来生成法院观点。
本文贡献
本文主要的创新点是提出了一种基于神经网络的系统来探索罪名预测任务中的可解释性问题。首先，作者使用深度强化学习方法来提取事实描述中的rationales（基本原理/解释/依据），这些rationales意味着从输入文本中提取简短且具有决定性的文字片段。然后将rationales信息融入到分类模型中，以提高预测的准确性。
自然而然，提取的rationales可以作为对模型预测结果的一种可解释性，从而提高了模型的透明度。这项工作中聚焦于Introspection explanation。实验结果表明，本文提出的方法能够与人工注释高度一致地提取rationales，并且在预测准确性方面可与经典的基于注意力模型相媲美。
难点：
- rationales的粒度难以掌握：句子级粒度太粗，不够具体，而单词级太细从而失去了可读性。
- 难以获得具有rationales注释的语料库。
- 在具有较高解释性的同时提高预测准确性的方法非常必要，但目前研究很少。
模型
Interpretable Rationale Augmented Charge Prediction System
如图所示，该系统将案件的事实描述作为输入，并输出预测的罪名以及rationales（依据）。Rationales在预测过程中起着重要作用，因此可以将其视为罪名预测的解释。该系统由两个主要组件组成：提取器（Extractor）和分类器（Classifier）。
本文首先采用深度强化方法学习方法训练Extractor，然后冻结Extractor的参数，使用Extractor获取每个词的重要性，并使用每个词的重要性对所有单词的RNN隐藏状态进行加权求和，用于进行罪名预测。
接下来使用数学语言来定义该任务。首先将输入的事实描述定义为单词序列，罪名标签为非负整数。给定，首先抽取基本原理（rationales），其中。然后基于和预测最终罪名。
Phrase-level Rationale Extraction
考虑到词片段作为rationales在语义上应该更完整，因此本文用短语（而不是单词）来表示事实描述。作者将事实描述分为最大长度为6的短语，此时短语级的事实描述可以表示为：
其中x_i^p代表事实描述中的第i个短语，而x_i^p的短语嵌入为该短语中包含的词对于的词嵌入求平均。
整个Phrase-level Rationale Extraction的过程如图所示，首先短语x_i^p通过Embedding Layer之后过一个Bi-RNN Layer，然后到Selection Layer，Selection Layer用于计算，其计算方式为：
其中f为Bi-RNN functions，h_t为隐藏层输出。
在Extractor中，根据概率p(z_t)采样得到，其中z_i 属于{0, 1}。抽取的Rationales是：
其中Rationales的抽取学习需要奖励功能来指导。因此，本文引入 一个2层的RNN模型作为Rewarder，用于对进行建模。的最终嵌入取最后的hidden层进行concatenation：
损失函数为：
为了控制Rationales的数量，作者在z上引入了一种新颖的惩罚，即：
以控制||z||不至于太小或太大。
Rewarder部分的反馈体现的梯度的更新，本文使用Lei et al. [4]更新梯度。
Rationale Augmented Charge Prediction
本部分将利用Extractor生成的基本信息来训练Classifier。经过之前的训练，Extractor已经具备推断rationales的能力。
为了更好地利用rationales信息并使罪名预测更加准确，本部分设计了一个基于rationales增强机制的RNN模型。给定事实描述词序列，第层在时间的隐藏状态定义如下：
其中是f单向RNN函数。事实描述在第l层的表示由l层中所有隐藏状态的加权总和得出。在此，p(z)被视为事实描述的重要性分布。从预训练的提取器中获取权重a_t，其由softmax层基于p(z_t|x)计算得到。更确切地说：
事实描述的最终表示为每个RNN层中表示串联得到：
然后通过激活函数：
损失函数为：
实验
实验结果
再来看看实验结果，本文选用了Bi-GRU，Bi-GRU_att，OURS-作为baseline。其中OURS-方法和OURS唯一的不同是：rationales 不是由phrase组成的。
Case Study
不同方法对比效果：
本文方法：
参考文献：
[1] Generating visualexplanations.
[2] Learning to predict charges for criminal cases with legal basis.
[3] Interpretable charge predictions for criminal cases: Learning to generate court views from fact descriptions.
[4] Rationalizing neural predictions.
[5] Interpretable Rationale Augmented Charge Prediction System.
The End
閱讀更多 AI小白入門 的文章
