文| 刘耀华 中国信通院互联网法律研究中心研究员
2021年2月22日，欧盟网络安全委员会ENISA发布《在自动驾驶中采用人工智能的安全挑战》报告，旨在就与自动驾驶汽车中采用AI技术的网络安全挑战提供见解。
一、背景
新一代汽车正在利用人工智能（AI）领域的先进技术提供半自动和自动驾驶功能，从而实现技术突破，这将极大地影响现有实践。虽然自动驾驶对社会的许多方面带来了不可否认的好处，但这项技术具有安全性问题。按照宗旨，该技术旨在在有限的人工监督下运行。监管机构在这些问题上的回答对社会采用自动驾驶汽车至关重要。考虑到机器学习（机器学习）技术是模仿人类认知能力开发的AI组件的核心，因此极易受到各种攻击，损害其正常功能，并严重威胁汽车内部和外部人员的安全。在这种情况下，了解用于自动驾驶的AI技术及其在网络安全威胁领域中的脆弱性，对于减少风险并确保收益不会被安全风险抵消至关重要。
自动驾驶汽车的网络安全一般是通过数字系统的安全性来解决。随着现代车辆完全由电子组件控制，利用电子网络安全漏洞容易受到物理和远程攻击，这更具有相关性。此报告旨在提高人们对AI组件潜在风险的认识，这些AI组件负责复制人类驾驶员以前完成的任务，如了解环境或对车辆的行为做出决定。从本质上讲，这些AI组件不遵循与传统软件相同的规则：机器学习技术确实依赖于隐式规则，其基于对大数据集合的统计分析。尽管这可以使自动化达到前所未有的认知能力，但同时也为恶意行为者提供了新的机会，恶意行为者可以利用人工智能系统的高度复杂性来发挥优势。要确保此类系统的安全，就必须在与数字系统相关的传统网络安全风险的基础上，结合其开发以及与其他汽车系统集成的完整供应链，来考虑这些特定于AI的问题。
二、自动驾驶场景下AI技术的网络安全
2.1自动驾驶中AI的脆弱性
越来越多的自动驾驶汽车和互联汽车的发展不可避免地要求更高的计算功能和连接性，从而导致攻击面以及物理和网络攻击的可能性提高。自动驾驶汽车的网络安全风险可能对乘客、行人、其他车辆和相关基础设施的安全产生直接影响。因此，调查使用AI引入的潜在漏洞至关重要。本节重点介绍AI特别是机器学习带来的自动驾驶中的一般漏洞和安全挑战。此外，还包括对自动驾驶汽车中与AI相关的特定漏洞的分析。
按照综合威胁建模实践，与人工智能相关的威胁可以分为两类：故意威胁和无意威胁。故意威胁包括恶意攻击，是通过人工智能和机器学习方法中存在的局限性和脆弱性进行的，旨在造成预期的犯罪和伤害。故意滥用AI会产生新的漏洞并提高潜在影响的上限，从而改变当前的网络安全格局。由于AI系统倾向于参与高风险的决策，因此针对AI的网络攻击可能会产生严重影响。AI还可以充当网络犯罪的推动者：网络犯罪分子可以使用AI自动化攻击各个方面，从而使他们能够更快、更大规模、更低成本、更高精度地发起攻击。
由于当前AI和机器学习方法的可信赖性、稳健性、局限性和安全性所固有的开放性问题，因此无意的威胁会成为恶意使用的副作用。无意威胁包括由AI和机器学习的缺点、不良的设计和/或内部特性引起的不可预测的故障或负面后果。实验研究和真实环境操作表明，这些方法可能会遇到几个问题，包括由于偏见从数据传播到模型和结果而导致的决策不公平；由于复杂的模型结构和数学运算而导致的决策过程不透明；无法进行简单易懂的解释；由于关键场景表示不当或外部导致的不安全性在开发阶段输入模型的训练数据；或具有挑战性的重现性和验证性，可能会传达机器学习方法的实际和预期结果之间的不匹配，并在重现和调查决策过程时引起问题。这些问题在实践中也会影响方法的可靠性。
本报告的重点是利用AI漏洞来破坏自动驾驶汽车的完整性和可用性，而自动驾驶汽车属于故意威胁。负面的机器学习是与AI网络安全相关的重要研究领域，并且是对自动驾驶汽车的直接威胁。
2.2自动驾驶中有关攻击AI的场景
大量的研究工作正在发现自动驾驶汽车的AI安全问题和漏洞，并提出潜在缓解方法，着重指出了车辆本身和相关基础设施受到损害的潜在影响，与不同的传感器、控件和连接机制相关的威胁已经被明确指出。除了上一节讨论的特定于机器学习系统的漏洞之外，与AI相关的安全问题还利用了数字系统中更为经典的硬件和软件漏洞，从而扩展了标准攻击向量。更准确地说，通常的一些安全问题和漏洞包括：
传感器卡塞、欺骗和致盲/饱和：传感器可能被蒙蔽或卡住。这样，攻击者可以操纵AI模型，向算法提供错误数据或有意提供稀缺数据，从而降低自动决策的效率。
DoS / DDoS攻击：中断自动驾驶汽车可用的通信渠道，使其本质上对外界盲目。它直接影响其可用性，并阻碍自动驾驶所需的操作，DDoS攻击的目的是破坏这种通信渠道。
操纵车辆通信：劫持和操纵通信通道会严重影响自动驾驶操作，从而使对手能够修改传输的传感器读数或错误地解释来自道路基础设施的消息。
信息公开：鉴于车辆为了自动驾驶而存储和利用的大量（个人和敏感）信息包括有关AI组件的关键数据，潜在的攻击可能会获取这种类型的信息，并导致数据泄露。
三、自动驾驶场景下AI技术的安全挑战及应对建议
3.1AI模型和数据的系统安全性验证
在机器学习模型学习核心过程中，数据在构建和验证AI系统时起着重要作用。自动驾驶汽车具有多个传感器，每秒可以根据各种模式收集数百万个描述环境的值。这些庞大的数据集为动态的复杂AI模型提供了支持。在这种情况下，系统数据验证至关重要，防止由于现实中车辆可能遇到的多种情况而导致意外行为，包括基于输入变化的攻击，例如中毒和逃逸。公司和研究小组不仅依赖于现实世界中的静态数据集，而且还利用仿真环境来获取大量现实而又简单的数据。在全球范围内，应实施与自动驾驶中数据的特殊性相适应的数据治理定义，以便厘清何者为数据占有者，何者可以访问或适当使用数据。
AI模型的特殊之处在于，它们可以随着时间的推移更改其行为，这意味着安全性和鲁棒性评估不仅要在开发过程中的给定时间点进行，而且应该在整个AI模型生命周期中系统地进行。考虑到来自第三方的预训练模型的扩散和使用， AI模型不断从新获取的数据集中学习十分重要。人工智能模型的系统验证对于自动驾驶汽车的网络安全而言是一个具有挑战性的问题，要确保自动驾驶汽车人工智能系统的安全性，确保模型更新不会增加漏洞。
在这种情况下，重要的是要确保系统地评估和测试模型更新的安全性和稳定性，确保其与数据依赖相关的质量和可靠性、模型的复杂性、可再现性、测试以及外部世界的变化。这也包括机器学习模型使用的数据，这些数据最终可能包含未预期的模式以及训练数据集中未出现的模式，无意（环境变化等）或有意地更改以进行网络攻击。
建议
为主动或被动AI模型建立监视和维护流程。
进行系统的风险评估，尤其要考虑整个生命周期中的AI组件。
采用防灾机制备案，并在发生事故时对事故做出反应。
建立测试车辆操作的反馈回路，可以进行连续监控并吸取经验教训。
建立审核流程支持事件发生后的法医分析，并解决未来的相关问题。
引入其他验证检查点，限制错误数据的影响。
3.2与AI网络安全相关的供应链挑战
软件和硬件供应链的安全性对于网络安全至关重要。供应链应足够牢固，可以捕获所有涉及的部分，确保软件的安全性。供应链管理是一个众所周知的挑战，大多数参与方和利益相关方都承认这一挑战。在AI组件的整个供应链中缺乏适当的安全策略，会导致缺乏弹性以及系统中存在潜在的安全漏洞。要确保对整个供应链的安全策略进行适当的治理，就需要让利益相关者参与进来，这些利益相关者包括开发商、制造商、供应商、卖方、售后市场支持运营商、最终用户或在线服务的第三方提供商。
最近，随着人工智能系统越来越多地加入到自动驾驶汽车中，情况变得更加复杂，并且对供应链及其复杂性产生了其他影响。AI生命周期所有阶段的安全性都导致汽车供应链有了新的安全性风险。此外，机器学习中独特的开源文化限制了此类资产的追踪，虽然在线提供了经过预训练的模型，并在机器学习系统中已广泛使用，但并不能保证其起源。
用于自动驾驶的AI供应链安全性的另一个特殊性与汽车行业针对汽车数字组件的特定方式有关。尽管有新的参与者（例如特斯拉）将自己的电子控制单元（ECU）集成在一起，但大多数制造商都依赖第三方的ECU，从而导致车辆具有来自多个制造商的数十个ECU。
因此，供应链的安全流程应捕获特定的AI功能，并在每次潜在变化中变得动态而灵活。高度可访问的组件以及缺乏稳健的AI模型取决于自动驾驶汽车的架构，这可能会引起对网络安全性的重大担忧。使用安全的嵌入式组件来执行最关键的AI功能，类似于使用硬件安全模块进行加密一样十分重要。未经授权访问不安全元素会导致整个汽车生态系统受到威胁。
网络安全是所有利益相关者（包括原始设备制造商、一级供应商、二级供应商实体）之间的共同责任，他们应解决安全问题，减轻各种风险并确保人们的安全。
建议：
在整个供应链（包括第三方提供商）中建立适当的AI安全策略。
确保整个供应链对AI安全策略进行治理。
识别和监控自动驾驶中与AI相关的潜在风险和威胁。
在所有利益相关者的参与下，在整个供应链中发展AI安全文化。
遵守整个供应链中汽车行业的法规。
3.3AI事件处理和漏洞发现及经验教训
在许多组织中，尽管网络安全团队知道AI中许多组件和系统所面临的主要威胁，但人们往往只有在遭受事件或发现漏洞时才真正意识到安全的重要性。尽管对安全漏洞进行了广泛宣传，但对安全的相关意识和承诺仍然很低，尤其是在AI系统的漏洞方面。
值得强调的是，在许多情况下，漏洞发现对安全性的影响可能比对潜在高风险存在的先验信息影响更大。乐观的想法是造成这种情况的主要原因，许多人认为他们不太可能经历负面事件，因为他们对实际风险没有足够的了解，或者低估了风险。在这种情况下，乐观的想法可能会对汽车中AI安全风险的感知产生巨大的负面影响。
缺乏AI安全意识以及AI安全培训不足，也加剧了这种想法并使之长期存在。在这种情况下，由于缺乏有关潜在违规预期结果的信息、案例研究以及对安全事件和其他安全缺陷的第一手说明，导致需要大量时间才能按照当前的做法得到适当解决。因此，必须进行实际培训以应对乐观想法对AI安全带来的负面影响。
考虑到车辆中数字组件的数量不断增加，尤其是基于AI的数字组件，应考虑制定一个明确的网络安全事件处理和响应计划。可以将AI事件视为事故，在该事故中，视听系统的计划模块指示的车辆行为容易造成伤害，可能是因为故意攻击，抑或是机器学习管道中元素失灵。这可能包括潜在的侵犯隐私和安全性的行为，例如外部攻击者试图操纵模型或窃取模型中编码的数据或者不正确的预测，这可能会导致发生交通事故。
为了减少事故成本以及对组织和自动驾驶汽车的最终用户的损害，必须有一个结构合理且针对特定领域的行动计划，该计划应在AI安全漏洞或故障发生后立即采取行动。还应该有一种方法来监督AI系统并检测错误预测（例如，通过将其与一些实际情况进行比较，例如来自外部来源的地图和/或V2X消息），将AI弱点（例如，红队）或渗透测试纳入考虑AI特定问题的框架也应被考虑。
新参与者在安全事件方面没有任何经验，这就需要建立一种网络安全文化，以便能够理解系统固有的潜在漏洞和潜在威胁，从而使其知道正确的安全防护步骤并在发生事件时确定操作的优先级。此外，汽车供应链中涉及的所有利益相关者应保持对AI威胁态势的不断了解，以便能够将风险和攻击映射到业务运营中。最后，在遇到AI安全事件时吸取教训的过程也可以刺激整个供应链中安全程序的创建。
建议：
调整考虑AI特殊性的事件响应计划。
建立AI安全事件学习文化。
促进知识共享。
促进对AI安全事件报告使用强制性标准。
组织高管理水平的灾难演习，加深了解漏洞的潜在影响。
模拟安全事件，提高安全认知。
声明：本文来自CAICT互联网法律研究中心，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
