编者语

本文是陈左宁院士在第十五届中国电子信息技术年会“网络空间智能安全”专题论坛上“新一代人工智能安全与自主可控总体研究”的报告。该报告从两个方面介绍了工程院正在开展的咨询项目。本文对陈院士的报告进行了整理，报告具体内容如下。

陈左宁院士从人工智能安全和人工智能自主可控两个方面进行介绍。

一、人工智能安全

全球人工智能技术的安全风险正逐步显现，主要体现在冲击法律与社会伦理、影响社会稳定、危及人类安全、影响社会治理、影响经济安全、危及国家安全等方面。

（一）人工智能安全类型

人工智能系统由于其具有学习能力、自主决策、自主行动这些智能行为而产生的安全性问题，将这些安全类型分为内生安全和衍生安全两大类。所谓内生安全是指人工智能系统本身由于设计、制造、使用环境或受到攻击所产生的安全问题。衍生安全是由于人工智能技术的应用而衍生出来的对其他系统的安全性的影响问题。

（二）人工智能系统安全问题4大典型表现

1. 基于人工智能的网络安全威胁。世界范围内的网络攻击日益呈现出大规模和智能化的鲜明特点，网络攻击者已将人工智能技术的优势与传统网络攻击工具与手段结合并加速迭代，促发新的网络安全威胁场景，将对国家造成重大安全威胁和损失。新型网络安全威胁的形式主要包括自主化、规模化拒绝服务攻击威胁；智能化、高仿真的社会工程学攻击威胁；智能化、精准化的恶意代码威胁。

2. 基于人工智能的系统安全防御。通过对海量攻击信息的持续性学习，将安全专家的分析能力前置到用户环境中，能够极大提升安全威胁的检测能力和系统警报、日志数据的处理能力，实现检测防护能力的自动演化提升，加快网络威胁检测响应速度，提升网络情报挖掘效率，有效解决网络防御人才不足问题。

3. 基于人工智能的内容安全。包括深度伪造与识别、对抗性机器学习、可解释人工智能等关键技术，以及网络舆情分析与监管、多媒体内容分析与审核等重要应用。

4. 多无人系统协同中的人工智能安全在公共安全、军事安全、伦理安全等方面的运用是把双刃剑。

二、人工智能技术自主可控

关键核心技术自主可控是我国人工智能技术发展中保障人工智能系统安全的必要条件和重要环节，同时又是我国建设科技强国、促进我国社会和经济发展的不可背离的基本路线。

采用自主可控的人工智能技术不等于一定实现了人工智能安全，但没有采用自主可控的人工智能技术则一定不能保证安全。

（一）人工智能自主可控的概念和内涵

实现人工智能自主可控的关键主要包括：1. 拥有充分的人工智能自主知识产权，使研究开发整体上不受制于人；2. 掌握人工智能核心技术，使关键环节不受制于人，技术全流程自主配套；3. 是发展相对独立完整的产业链，实现技术和产业相互促进的良性循环。

（二）我国人工智能应用技术自主水平分析

从关键技术点层面：通过人工智能框架自底向上，硬件芯片层、底层库、底层平台层、通用技术层、行业应用层到智能产品服务层的一些关键技术点，并且在这些关键技术点的基础上遴选了8大领域分析人工智能发展水平。基于互联网的智能人居、智能搜索、智能金融领域技术较为成熟，自主水平较高，智能医疗尚在起步阶段，发展较晚，自主水平相对较低，但发展速度很快。总的来说我国人工智能相关关键应用技术较为成熟，自主水平较高，但底层工具链并不完整。人工智能芯片设计、制造等方面均未达到世界先进水平，自主水平较低。

从系统层面：从理论创新、技术研究和产业发展三方面收集分析了2019年有关数据，得出以下结论：1.知识产权方面，国内的专利申请数量激增，经统计但是PCT申请的数量相对较少，仍然没有形成较大规模性的技术输出。2.技术能力方面，虽然中国在AI领域相关的会议和论文数量位居全球第一，但是在高被引论文方面数量较低，这也说明要高端或领先的技术研究或应用方面，中国与发达国家还存在一定的差距。3.产业发展方面，中国多集中在应用层，排名前三的为：计算机视觉与图像、自然语言处理和自动驾驶/辅助驾驶。

从挑战方面：在算力方面，我国AI基础设施已发展到一定规模，但核心硬件仍依赖国外厂商。数据方面，虽有优势但缺少规范和统一布局，少有能形成主导的基准数据。核心算法和框架的专利布局方面比较少，有可能在国际市场受到国外厂商的知识产权狙击。开源方面，已在起步但核心贡献有限。科研模式方面，缺少多元化的包容于容错力，合作欠缺。尖端人才方面，基础重大问题研究动力不足。我国缺乏AI安全的原创性理论和技术。这对于我国AI安全技术的创新应用、产业发展、安全和自主可控均形成重要的掣肘作用。

（三）人工智能产业生态与自主可控的关系

实现人工智能技术自主可控是产业生态健康发展的基石，同时，人工智能技术自主可控也需要强大的产业生态加以保障。所以，建设自主可控的人工智能产业生态系统主要有两方面内涵：一方面，从科学到技术到市场的全创新周期来看，要实现创新过程自主可控；另一方面，从产业链、价值链来看，要实现关键环节自主可控。

自主可控和开放合作缺一不可、掌握基础性和关键技术才能打造自主可控产业、推动开放合作的产业生态文化建设，把握人工智能产业生态与自主可控要注意以上3点开放合作和自主可控的关系。目前流行的开源框架主要由国外研发，国内研发起步较晚，力量薄弱，近几年，中国企业加紧布局，纷纷发布自己的开源框架，开源框架的赛道风起云涌，形成了群雄逐鹿的局面。

三、对策建议

1. 建议明确国家层面主管关于人工智能安全与伦理审查的部门，建立国家人工智能的技术与产品应用的检测、评估平台或机构。

2. 建议加快我国AI的法律法规制定及安全伦理标准，确保AI确保健康稳定发展。

3. 建议将AI安全与自主可控关键技术纳入现有研究专项，壮大人才队伍。

4. 建议积极推动人工智能安全领域的国际合作，共筑人类人工智能安全共同体。

5. 建议优化人工智能产业生态发展模式，实现AI应用产业链要素自主可控。

声明：本文来自网络空间安全科学与技术，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。