如何解释AI做出的决策？一文梳理算法应用场景和可解释性机器之心分析师网络作者：J

机器之心分析师网络
作者：Jiying
编辑：H4O
本文结合《ExplanationdecisionsmadewithAI》指南，重点对算法的应用场景和可解释性分析进行了梳理总结。

文章图片
英国的InformationCommissioner’sOffice（ICO）和TheAlan-TuringInstitute联合发布了《ExplanationdecisionsmadewithAI》指南。该指南旨在为机构和组织提供实用建议，以帮助向受其影响的个人解释由AI提供或协助的程序、服务和决定，同时帮助机构和组织遵循欧盟GDPR等与个人信息保护相关的政策要求。该指南分为三个部分，第1部分：可解释AI的基础知识；第2部分：可解释AI的实践；第3部分：可解释AI对机构/组织的意义。指南最后给出了主流的AI算法/模型的适用场景，以及对这些算法/模型的可解释性分析，可作为实践任务中结合应用场景特点选择能够满足领域要求的可解释性的AI算法/模型的参考。
本文结合《ExplanationdecisionsmadewithAI》指南，重点对算法的应用场景和可解释性分析进行了梳理总结。此外，我们还解读了一篇医学领域可解释性方法的最新论文—《评估药物不良事件预测中基于注意和SHAP时间解释的临床有效性》，以了解关于可解释性方法的最新研究进展。
1、算法的应用场景和可解释性分析
《ExplanationdecisionsmadewithAI》指南给出了主流的AI算法/模型的适用场景，以及对这些算法/模型的可解释性分析，作者对主流模型的可解释性情况进行了梳理总结。
2、评估药物不良事件预测中基于注意力机制和SHAP时间解释的临床有效性

文章图片
【如何解释AI做出的决策？一文梳理算法应用场景和可解释性】可解释的机器学习是一个新兴的领域，它尝试以更人性化的方式帮助我们理解黑盒分类器模型的决策。特别是对于医疗领域，可解释性对于提供公开透明的分析和合法的决策结果至关重要。具备可解释性，一线医疗利益相关者就可以信任模型的决定并采取适当的行动。此外，全面的可解释性能够确保医疗实施的用户可能获取监管权利，例如根据欧盟通用数据保护条例（GDPR）："获得解释的权利" 。
在医疗领域，深度学习模型应用于电子健康记录（ElectronicHealthRecord ， EHR）数据获得了很好的效果。例如循环神经网络（RNN）能够有效捕捉EHR中时间相关的和异质的数据复杂性。然而， RNNs的一个主要缺点是缺乏内在的可解释性。在过去的研究过程中，已经产生了几种使RNNs更具解释性的方法，例如，通过引入注意力机制使模型本身更易解释，如用RETAIN；事后可解释性框架（如SHAP）可以应用于概述RNNs的时间解释等等。
RETAIN[2]：用于分析EHR数据以预测病人未来出现心力衰竭的风险。 RETAIN受注意力机制启发，通过使用一个两层的神经注意力模型，并对EHR数据进行逆序输入系统，模拟医生满足病人需求及分析病人记录时专注于病人过去诊疗记录中某些特殊临床信息、风险因素的过程，在保证预测结果准确性（Accuracy）的同时确保了结果的可解释性（interpretability）。
SHAP[3]：来自于博弈论原理， SHAP（SHapleyAdditiveexPlanations）为特征分配特定的预测重要性值，作为特征重要性的统一度量，能够解释现代机器学习中大多数的黑盒模型，为机器学习模型量化各个特征的贡献度。给定当前的一组特征值，特征值对实际预测值与平均预测值之差的贡献就是估计的Shapley值。