人工智能代表先进生产力方向，是打造新质生产力的核心技术。人工智能在促进生产力发展、提升全新生活体验的同时，也有可能带来一些风险。比如最近利用AI针对个人或企业的换脸诈骗，等等。

人工智能会被如何恶意使用？

人工智能降低了虚假信息生成的技术门槛，增加了公众识别信息真伪的难度。当前AI技术发展迅速，通过深度学习进行特征分析提取，AI已经可以做到对各种内容（尤其是视频、短视频）进行修改、变更和替换，达到非常逼真的程度，以假乱真，同时这些技术正逐步大众化，普通人使用手机就可以操作制作新的内容。降低了虚假信息生成的门槛，导致公众识别信息真伪的难度大幅提高。

一方面，人工智能可以应用于视觉、语音、文本伪造领域，或为虚假信息传播提供素材。不法分子或将利用恶意人工智能聊天机器人、AI换脸、AI拟声、虚拟场景构建等工具，生成大量具有高迷惑性的内容。例如，部分不法商家在未经明星同意、未取得明星授权的前提下擅自利用AI换“明星脸”直播带货，通过迷惑消费者从而实现盈利。

另一方面，恶意团体和不法分子或将借助人工智能技术实现对公众心理的精准操纵。人工智能可能会被恶意应用于热点内容篡改、叙事操纵等领域，可能通过误导性内容，阻碍多元化观点的交流。此外，有研究显示，自然语言生成模型在叙事重述、操纵、引导等方面都有良好的表现。不法分子往往会结合社会热点和舆论焦点，利用人工智能技术制造并传播含有真实与虚假元素混合的信息，使恶意言论最大程度地影响受众，造成“情绪传染”，将极大地挑战公众的判断力，达到操纵舆论、甚至危害国家安全的目的。

此外，AI技术使得不法分子的伪造成本下降，助长了深度伪造信息的产生，进一步提高了虚假信息泛滥的风险。例如，克隆声音的成本从2021年底的10000美元下降到如今的几美元（2023年的数据）。此外，有数据显示，2022年，深度伪造的视频数量是2021年的3倍，语音伪造的数量是2021年的8倍。

如何应对人工智能被恶意利用？

应对大模型面临的幻觉、舆情真伪和多轮逻辑推理等方面的挑战，国内外普遍从数据溯源、优化模型、技术侦测等三方面进行探索和实践。

首先，在数据溯源方面，把好数据溯源关，保证原始信息的真实准确。通过关键信息注意力增强技术、知识图谱强化、多轮知识记忆和强化技术、知识溯源能力等四项关键技术降低幻觉。从根本上，保证真实信息的生成。

其次，优化模型，增加模型参数量，将模型参数增加到千亿级别，实现对内容更好地理解。从传播上，减少信息的理解偏差。

第三，在技术侦测上，分析文本、声音和图像特征，明确幻觉相关的特征或模式。从甄别纠错上，降低信息的错误传播。比如：多维分析信息的频率、响度、颜色、形状、元数据与内容的一致性，包括拍摄日期、时间、地点、摄影设备信息等，通过设置语音实时自定义敏感词检测、反向图像搜索、视频来源验证等模式算法识别手段甄别信息的来源渠道和可靠性。

企业实践：中国电信联合北京大学，使得引证准确率提升到近80%。

由电信研发人员联合北大团队驻场开发，覆盖新闻、应急预案生成、公安审讯笔录生成三大场景，新闻大模型解决重大会议报道的需求，实现低幻觉引证准确的高可信新闻文稿；应急生成大模型支持省市县三级总体预案生成；公安笔录生成大模型实现口语笔录格式化、信息抽取等功能。基于中国电信研究院的“妙生大模型”幻觉消除核心技术能力，重点攻关文本内容结构化、引证主题生成、引证关联等核心技术，引证准确率由69%提升到79%。

人工智能如何能规范化发展？

人工智能的规范化发展需要从技术创新、治理体系、安全防护三方面着手，营造创新生态，实现健康有序发展。

一是加强人工智能技术自主创新。夯实算法、数据、算力等人工智能技术底座，突破人工智能在基础算法、开发工具、芯片等领域的瓶颈，建立涵盖理论方法和软硬件技术的体系化自主研发能力。

二是完善人工智能治理体系。在法律法规层面，目前国家针对AI，包括人脸识别、语音识别技术已经有一些规范，但同时应与时俱进、不断完善。去年12月欧盟的《人工智能法案》为我们提供了一些借鉴意义。通过分级监管，在推动技术创新和发展之间找到平衡。从标准方面看，应系统制定和完善与人工智能发展相关的国家和行业标准，引导人工智能健康发展和规范应用。在监管方式上，进一步完善安全评估、算法备案、标识等科学监管方式，制定相应的分类分级监管规则或者指引，坚决打击威胁人工智能安全和滥用人工智能技术等违法行为。

三是构建人工智能安全防护体系。我国企业要加快构建涵盖数据层、算法层、设施层和应用层的人工智能安全纵深防护体系，提升应对深度伪造、算法安全、数据隐私和技术滥用等能力，为应对风险提供全方位安全保障能力。

本文作者

马战凯

战略发展研究所

一级分析师

就职于中国电信研究院，长期从事通信行业研究、商业模式、高端智库研究，近年来专注数字产业研究、工业互联网、AI、物联网等领域。

常佳琦

战略发展研究所

一级分析师

硕士，就职于中国电信研究院，目前从事企业数字化转型、数字经济、数字信息产业等领域研究。

姜家驷

战略发展研究所

二级分析师

硕士，主要从事网信安全行业及技术战略研究，通信行业商业模式研究。

声明：本文来自天翼智库，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。