随着人工智能技术发展进入爆发期，美国开放人工智能研究中心（OpenAI）于2024年2月15日（美国当地时间）正式对外发布人工智能文生视频大模型（Sora），该大模型可以根据用户的文本提示创建最长60秒的逼真视频，可以深度模拟真实物理世界，生成具有多个角色、包含特定运动的复杂场景。这种生成式AI视频技术的出现被认为将颠覆视频内容生成方式，使得生成内容更快、更容易、更逼真，标志着“类真实视频”时代的到来，与此同时生成式AI视频技术普及带来的安全风险担忧情绪也随之衍生。我们认为，应用生成式AI视频技术的工具所提供的服务，对当前在线认证模式、内容审核/鉴定等方面产生影响，建议打造新技术影响预警机制，加强审核能力提升，推进内容鉴定等新技术研发，构建良好生态体系，促进创新发展。
主要安全问题
（一）冲击在线身份认证模式，身份盗用问题更加突出
当下，基于人脸识别的互联网在线识别和认证模式，覆盖了各个行业和领域，属于主流的个人身份认证与鉴权模式。而生成式AI视频技术通过文本创建视频的功能，是能够实现如金融系统人脸+指令+行为的视频识别/认证流程，也能覆盖大部分的人脸识别模式，在某种程度上可能会突破基于人脸识别开展的身份认证的安全逻辑。一旦这种技术在视频时长、画面真实度方面有所进展后，对于人脸识别逻辑的认证体系的风险是极大的，身份盗用等问题可能性更大。而在大模型时代，生成式AI的技术及应用进步是飞速的、爆发式的。
（二）内容审核数量更大，难度更高
现在互联网上主要的内容安全风险是色情淫秽、血腥暴力、涉政涉毒等违规内容，由此，内容审核面临的挑战首先是内容审核量巨大。同时，至今仍有相当的涉嫌违规内容通过各种隐晦与混淆的方式，规避了审核，出现在互联网平台和应用上。
生成式AI视频这类应用，因其未来面向服务的用户数量庞大，使用相当简单，生成效率高，在极短的时间内就能生成大量内容。一方面为审核工作带来很大压力，视频类内容的审核成本和难度又是最高的。另一方面生成式AI视频内容的生成成本低、速度快的优势，增强了其挑战审核规则的能力，使其通过自动化纠错试探审核规则边界、规避审核成为了可能，大大提升了审核的难度。
（三）生成式虚假或错误信息更多，对国家、社会危害更大
在Sora类产品诞生前，制作高仿真、高清晰的视频，需要专业的团队与专门的“工场”系统，存在制作周期长、成本高的局限性，对专业性要求极高。生成式AI视频类应用的成长与普及将打破了这一边界，大大降低制作虚假视频的成本和周期。而内容安全另一主要风险就是伪造的虚假信息。
今年2月5日，根据香港文汇报等媒体报道，香港发生了一起涉及到2亿港元的AI“深度伪造(DeepFakes)”诈骗案，这起“AI变脸”案例涉及金额巨大，且也是首次涉及AI“多人变脸”的诈骗案。应用生成式AI视频等产品后，这类案件的技术门槛会越来越低。电信诈骗如果用了由生成式AI视频制作的高仿真的视频，那么诈骗成功率会更高，诈骗性价比也更高，对社会正常运行的影响越来越大，治理的难度也越来越大。
年前网红“徐老太”剪辑了徐闻港事件的视频，若非有第三方视频揭露事实，网络的舆论几乎被她们引导了。如果用生成式AI视频，出于破坏性目的制作并发布一系列可相互印证真实性的虚假视频伪造事实，那么在一段时间内会直接引导舆论，严重情况下会导致人民产生对社会公信力的质疑，直至危害国家与社会安全。这类工具若被系统性地武器化应用，其威力和破坏性会更大。
虽然生成式内容都被要求标识了是否为生成式内容的标志，可以大大降低生成式虚假内容造成的不良影响。但是对于恶意生成的内容，制作者一般不会主动加载标识，需要鉴定工具对其识别后标识。而生成式AI视频产品作为新兴产品，对于其生成内容的鉴定技术已经落后，而这类产品天然的高专业度特性，更增加了鉴定技术研发的难度。
相关对策建议
（一）推动生成式AI视频技术的政策法规，加强生成式AI视频技术相关的的法律及道德约束
结合《生成式人工智能服务管理暂行办法》、《互联网信息服务深度合成管理规定》等 AI 安全相关规定，不断细化健全包含道德伦理、人身安全、个人隐私保护、算法、知识产权等多方面的生成式AI视频技术、应用及服务的安全规范、规定及细则。要求生成式AI视频类技术、应用及服务提供商制定内容安全自律机制和安全防护体系，确保生成式AI视频技术、应用及服务的使用符合法律规定和道德标准，防止其被用于非法和不当目的。
（二）加强生成式AI视频内容的治理机制建设和能力建设
加强生成式AI视频内容审核和动态监测机制，积极研究先进的生成式AI视频内容管理与内容鉴别系统及生成式AI的标记、识别技术，创新研究利用AI技术赋能视频内容识别和过滤系统，确保通过AI生成的视频内容符合法律法规和社会道德标准，防止虚假信息和有害内容的传播，提高自动化内容审核的准确度和速度，提供相应的鉴定能力并向全社会推广，确保网络环境的健康和安全。同时持续进行新技术跟踪，梳理生成式AI视频技术的安全风险与防护技术，建设生成式AI视频等新技术的预警机制，规避可能的安全风险，促进创新引领发展的良性社会发展形态。
（三）加强公众在生成式AI视频技术方面的风险防范意识和风险识别水平，保障其自身权益
一方面通过教育和培训提高公众对生成式AI视频技术潜在风险的认识，增强用户的风险防范意识，强调识别生成式内容、安全使用生成式服务的重要性和必要性。另一方面积极建设生成式AI视频技术信息共享平台和机制，共享关于生成式AI视频技术的风险信息和最佳实践，为公众安全决策提供帮助。
本文作者
任华
安全应用技术研发部
高级工程师
就职于中国电信研究院，专注数据安全、信息安全及AI安全等领域研究。
王铮
安全应用技术研发部
高级工程师
就职于中国电信研究院，专注于网络安全、信息安全、数据安全及AI安全等领域。
杨迪
安全应用技术研发部
高级工程师
就职于中国电信研究院，长期从事网络体系、大数据应用等领域研究工作，近年来专注于网络安全、信息安全等领域。
媒体运营
编审：研发云数字体验设计与研发团队
制图：李银鑫
编辑：王凯雯
审校：董智明 刘馨
声明：本文来自天翼智库，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
