AI研究与应用不断取得突破性进展，然而高性能的复杂算法、模型及系统普遍缺乏决策逻辑的透明度和结果的可解释性，导致在涉及需要做出关键决策判断的国防、金融、医疗、法律、网安等领域中，或要求决策合规的应用中，AI技术及系统难以大范围应用。XAI技术主要研究如何使得AI系统的行为对人类更透明、更易懂、更可信。

本文为XAI系列文章的首篇，主要讨论了XAI的概念、技术必要性，并简要介绍基于XAI打造可信任安全智能、可解释智能威胁分析系统的思考。后续将带来XAI关键技术研究等相关内容。

一、AI为何需要可解释性

1. 什么是XAI

XAI (eXplainable Artificial Intelligence) 近年来逐渐成为研究热点。Gartner将XAI技术列为数据和分析技术领域的TOP 10重要趋势之一[1]。KDD、ICML、NIPS及IJCAI等等著名国际性会议都有覆盖XAI话题的Workshop。美国国防高级研究计划局（DARPA）2017年发起的XAI项目，该项目从可解释的机器学习系统与模型、人机交互技术以及可解释的心理学理论三个方面，全面开展可解释性AI系统的研究。工业界方面，包括微软、谷歌、Oracle等诸多科技巨头，都在开展XAI相关技术研发。

从概念上， XAI可定义为能够以人类可理解的方式解释其决策结果的人工智能算法及系统。XAI的核心是AI系统行为的可解释性，可以明确的是，可解释是一个与人的感受密切相关的心理学概念，从应用的角度来讲，可解释AI系统向使用者提供人可以理解的辅助性内容，来提升系统决策过程的透明度，增强人对系统输出的信任。从相关学术论文中统计的词云[2]可以看出，“可解释性”内涵对应的英文单词主要包括两个：“Explainable”和“Interpretable”，一般认为AI系统的Interpretable（强调模型的透明度）是Explainable（强调用户感受）的基础，在此，我们可以认为两个单词都表示中文语义的“可解释性”。

图1 XAI相关词词云

2. 性能与可解释的平衡

如前文所述，“可解释”可以认为是一个心理学概念，与人的感受密切相关。机器向某个人解释某一决定，需要用此人所能理解的方式，提供更丰富的说明性内容。而人容易理解的往往是压缩的、概念性的、低维度可视的内容。以机器学习模型为例，针对低维度数据的线性分类模型对人类最容易解释，而复杂的模型会降低可解释性；直线、平面、三维可视化是符合人类直觉的、易于理解的，而非线性、超平面是难以解释的；以图像、声音为载体的数据是易于理解的，而转化为机器可读的高维数组、矩阵之后，人类就难以有直观的感受了。下图概念性的展示了不同人工智能模型的性能和可解释性的相对位置。

当然，在不同的场景和数据条件下，不同模型的性能和可解释表现差异很大，但总体上我们可以得出以下趋势：模型越复杂（参数、结构等方面），模型容量越大，能够刻画的空间越不直观，可解释性越低。天下没有免费的午餐，我们很难苛求机器完全按照人类可理解的方式去工作并输出，同时保持远高于人类的效率。以目前的研究成果来看，AI系统的性能与可解释性之间存在着微妙的平衡制约。因此，我们也可以得出XAI技术的目标：在提供模型可解释性的基础上，保持模型及系统的性能（识别性能、处理性能等）。

图2 AI模型的预测性能与可解释性

3. 可信任是AI应用落地的关键

基于深度学习的AI在语音、图像、知识图谱等多个领域大放异彩。AI算法广泛应用的几个场景中，如语音交互、人脸识别、智能推荐等，我们很少看到可解释性技术的应用。这些智能体一方面还处于在机器智能的早期感知阶段，另一方面他们所处理的任务都不是“关键性”任务。医生不能仅根据模型的分类置信度进行诊断，金融机构不能仅凭借模型的输出轻易判断违约风险，军方不能仅依赖自动的图像识别执行打击任务，安全公司也不能仅通过模型检测结果完全自动化威胁响应。能够在关键决策领域落地应用的AI，应该是可信任的AI。可信任，一方面AI系统的性能要足够高，即能够弥补人类在数据处理上的低效性；此外，需要AI本身的鲁棒性，能够适应或优化后适应不同的使用环境；AI自身的安全性也是搭载系统是否值得信任的关键；最后，AI系统需要以足够透明、可解释的方式输出其判断和决策。不可信任的AI，不能够胜任任何政治、经济、安全攸关的关键性场景，这将大大降低其可用性和适用性。

图3 缺乏可解释性的机器学习系统[3]

4. 可解释是建立信任的基础

以基于机器学习的AI系统为例，传统的模型性能评估方法，如accuracy, precision, recall, F1-Score、ROC曲线、MAE等等，是建模中的关键环节，也是衡量不同模型之间有效性的关键度量。但这些传统指标难以回答AI系统落地实践过程中的一个核心问题“我们如何信任模型的预测？”而信任是任何关键性决策的基础，如果没有人类可理解的解释性说明，AI产出的决策不能够被信任，这将大幅降低这些领域内任务处理的自动化程度。下图是DARPA对XAI系统的一个示意[4]，当前阶段，多数高性能、复杂的AI系统都不具备可解释性。特别是基于深度神经网络的系统，端到端的学习给语音、图像识别等问题提供了绝佳的解决方案。例如，通过层级的卷积-激活-池化单元构成的CNN网络结构，测试集上的准确率可能达到了99.9%，并且以93%的概率预测图片为一只猫。然而该系统却无法解答使用者的关于系统推断过程的多个“为什么”。而这些问题，恰恰是系统获取人类信任的基础。XAI技术则通过增强系统的透明性、可解释性，让人类更容易理解机器的行为，以及机器做出任何判断背后的逻辑，实现机器以人类可理解的方式“讲故事”、完成沟通，获取用户的信任。

图4 XAI提供可解释性

举网络安全场景的例子来说，当前许多威胁检测引擎，如Webshell检测、SQL注入检测等，使用基于机器学习或者深度学习的方法，能够取得较高的准确性。这其中部分模型不具备提供可解释的能力，即黑盒模型。无论是用户，还是研究员，只能得到告警而不知道告警为何而来，特别是当模型产出大量告警（误报）时，黑盒机器学习引擎的鲁棒性、可用性大幅降低。这逼迫我们继续依赖安全研究员的规则引擎，耗费大量人力物力。与之相对的，通过可解释的模型和包含解释说明的人机交互接口，AI系统不仅仅告诉我们检测结果，还可以回答“why”类问题。XAI系统不仅告诉我们有威胁，还能提供威胁的“上下文”：比如提供恶意流量中，哪些载荷字节，或者流量的哪些统计特征导致模型触发恶意告警的判断。这些辅助的解释性说明，让用户感受到对系统的掌控，即通过提供系统决策的透明性，用户和系统之间才能够建立信任。

XAI提供的可解释性，能够从多个方面构建人与机器的信任：

  • 向使用者证明结果是稳定的、准确的、道德的、无偏见的、合规的，从而提供决策的支持以AI自身安全性的可视性

  • 向开发者提供模型改进、调试的基础信息

  • 向研究者提供机器洞见，展现被人忽视、难于发现的潜在规律

XAI技术不仅仅是技术需求、业务需求，也已经成为法律合规需求。例如，《通用数据保护条例》GDPR包含了关于数据自动化处理过程中，须提供决策解释的相关内容；同时，XAI是国家AI战略发展需求，2017年中国国务院印发的《新一代人工智能发展规划》指出“......高级机器学习理论重点突破自适应学习、自主学习等理论方法，实现具备高可解释性、强泛化能力的人工智能......”。

二、 XAI与可信任安全智能

AI在许多领域发挥了实现高度自动化、大规模解放人力的功能，但在军事、金融、网安、医疗、法律等多个需要高质量决策的场景下，还难以放心的大规模、深度应用AI自动化方案。如今，探讨如何将人工智能与人类智能有机的结合，形成优势互补的良性闭环，已成为各界的共识。传统高性能、黑盒智能系统，已经难以满足“人-机”融合的需求。当人们意识到不能完全依赖AI独立、自动化的制定决策、完成行动时，可信任的智能系统就成为合作共赢的关键。信任的建立，依赖于AI系统本身的安全性、AI系统提供的不可取代的产能以及AI系统的透明程度、可理解程度等多个方面，而XAI所提供的可解释性正是这些信任基础的核心支撑技术之一。

就安全场景而言，流量分析、用户实体行为分析、样本分析、威胁关联、自动化响应等等安全能力逐渐集成更高级的机器学习算法、图算法，但要实现高度智能化、自动化的安全系统的成熟，我们还有很长的路要走。为现有的和未来的AI技术增强可解释性，建立可信任安全智能，是实现安全智能大规模应用落得的必由之路。

图5 AI技术与安全能力的层次划分

构建可信任的安全智能，核心问题不是研究XAI技术本身，而是如何将XAI技术及架构，融合到安全场景中，形成机器效率与专家经验融合的闭环，以辅助提升AI在安全研究、安全运维、攻防实战中的可用性。如果我们将人工智能的能力划分为感知-认知-行动三个层次，那么对应到安全能力，则可粗略划分成检测/评估-关联/决策-响应/反馈三个层次和阶段。在检测/评估层面，安全设备及系统完成相对独立的威胁检测、风险评估；在关联/决策层面，多源异构数据，包括机器检测、威胁情报与专家经验的全面融合关联，进而形成可行动的决策输出；在响应/反馈层面，融合的决策被执行，威胁事件、情报信息被处置处理，并获取环境或人的反馈。以上安全能力的划分概念性的描述了安全能力自动化建设的基本生命周期。为保证以上动力齿轮的持续、高效运转，XAI技术需要嵌入每个关键环节，提供可解释性接口与界面，打造可信任安全智能的基础。下表列举了几个典型的AI-安全能力及对应可补充的XAI技术（核心解释能力实现方案将在后续系列文章介绍）。

以上列举的多种安全应用场景，走向高度智能化、自动化的道路还很漫长。XAI作为AI系统落地的必要条件之一，无论是构建安全的AI还是AI辅助的安全自动化的过程中，可解释性都应该成为透明的、可信任的机器智能安全的标配，融合到技术设计、实现的框架内。

三、总结

为AI系统提供可解释性，是建立人对机器智能信任的关键，也是构建人-机智能融合闭环的重要工作。在网络信息安全领域，我们也愈发需要可信任的安全智能，以实现高度自动化、智能化的系统，来延伸安全能力的触角。XAI技术尚在研究和应用的早期，针对可解释性的量化评估、高可解释性技术、高可用人机交互模式、针对特定场景的可解释性系统等角度的研究有待突破。但可解释性的强化将逐渐推动人工智能系统迈向通用智能，并促进关键决策领域的自动化技术突破。XAI+Security能够如何促进技术迭代、革新行业面貌，让我们拭目以待。

参考文献：

[1].https://www.gartner.com/en/newsroom/press-releases/2019-02-18-gartner-identifies-top-10-data-and-analytics-technolo

[2].Adadi A , Berrada M . Peeking inside theblack-box: A survey on Explainable Artificial Intelligence (XAI)[J]. IEEEAccess, 2018:1-1.

[3].https://towardsdatascience.com/human-interpretable-machine-learning-part-1-the-need-and-importance-of-model-interpretation-2ed758f5f476

[4].Gunning D. Explainable artificial intelligence(xai)[J]. Defense Advanced Research Projects Agency (DARPA), 2017.

声明：本文来自绿盟科技研究通讯，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。