摘要
新兴信息技术发展与网络内容发展相辅相成，信息技术促进了网络内容产业迭代演进，网络内容产业也成为新兴信息技术应用的重要方向。人工智能时代网络内容产业在内容生产、传播、消费、载体、质量等五方面的发展呈现新趋势，但也面临内容爆炸、算法弊端、内容造假、信息茧房、隐私泄露、数字鸿沟风险挑战。面对上述形势，报告提出需要认识到人工智能时代下网络内容机遇与挑战长期并存的现实，综合统筹加强社会治理形成网络内容治理良好环境，探索形成“人—机”良好协同的新路径，积极构建网络内容国际协同治理机制。
0 引言
人工智能（Artificial Intelligence，AI） 概念自提出以来，经历了长期而又波折的算法演进和应用检验。直至 5G、大数据、云计算、物联网等新一代信息技术的飞速发展，人工智能得到了超强算力、优质算法、海量数据和广泛连接的支持，逐渐演化为融合信息技术、机械、生物等一系列现代科学技术的集成体系，成为推动经济社会发展的新引擎。近年来，美国、中国、欧盟、日本、新加坡、印度等主要国家和地区不断加强战略布局，大力推动人工智能技术在各行业的普及应用。一个集聚庞大的数据流、信息流、技术流和基于万物互联、跨界融合、人机共生的人工智能时代已经到来。
1 网络内容产业
1.1 网络内容产业概念
本文所探讨的网络内容产业，是指依托各类数字化信息技术、数字基础设施和数字化网络平台，向用户提供数字化图像、字符、影像、语音等形式载体的内容信息、产品与服务，并由此形成的新兴产业集群。其核心特点表现为文化内容创意与网络信息技术高度融合，产品/ 服务以多种内容载体形式呈现，基于各类网络平台广泛传播，并不断延伸到其他垂直行业。概念所指既涉及数字出版、数字广播、数字电视、数字电影、数字音乐、数字动漫、数字游戏等多个细分行业，也关联到网络内容产品与服务的生产（UGC、PGC 等）、研发、经营、传输、技术支持等产业综合体的多项复杂环节。
1.2 技术持续演进推动网络内容产业业态变革
新兴网络信息技术的创新和发展，AI、5G、大数据、云计算、物联网等各类新技术交织融合，新应用突破发展，以全程媒体、全息媒体、全员媒体、全效媒体为代表的全媒体将崛起发展。未来，万物互联、万物皆媒，万物成为网络内容的载体和出口，网络内容产业正在产生巨大变化。
尤其随着人工智能时代（2016 年以来）的到来，终端不断升级，能提供更加便利的移动网络接入，任何智能设备都有可能成为信源或信息终端，即将迎来“万物皆媒”的新传播景象。信息的及时性、创新性和多态性在新技术的加持下得到增强，写作机器人、虚拟主播出现在日常新闻内容中，以AR、VR为代表的虚拟现实、增强现实技术成为新兴的内容业态而且新技术应用门槛和成本的降低将极大助推用户生成内容（UGC）的激增，加之云技术泛化和 5G 商用普及的步伐加快，网络内容的生成和传播触手可及，无处不在，这些又将刺激人们对网络内容精准化和个性化服务的消费热情，最终回归到对人工智能创造崭新精神文明的期许上。
1.3 人工智能时代网络内容产业发展五大新趋势
人工智能时代，网络内容产业整体发展趋势体现为纵向延伸、垂直整合、跨界布局、生态融合，行业边界逐渐消弭，网络内容产业不戏、社交、影音、教育行业大放异彩。
内容载体上，万物皆媒环境中网络内容嵌入各行业场景。新技术普及应用将带来巨大的数据量和广泛的连接终端，人工智能保证了海量异构数据的高效和有效转化。万物互联、万物皆媒的未来，金融、家居、汽车、教育、医疗等各类场景均正在或将成为网络内容新的载体、传播渠道和信息终端，网络内容产业正在发展成与其他各类产业深度融合的横向结合体，未来的数字世界里，“只要有屏，就有网络内容产业”。
内容质量上，“内容为王”成为网络内容产业核心竞争力。用户面对爆炸式增长的海量信息难免无从甄别，各类软文广告、虚假新闻和不良信息不断侵害用户的时间线；网络内容的生产者与用户间的界限日渐模糊为治理带来更多复杂性和不确定性；基于人工智能的智能生产和精准匹配仍存很大提高空间，多种因素导致当下网络内容质量良莠不齐。在此背景下，人们的消费网络内容的核心需求将升级为对优质内容的深度体验，更具创意的成熟内容以及更为合理的商业模式，成为未来网络内容产业的核心竞争力。全球范围内以知乎、Quora为代表的知识性平台正迅猛发展，知识消费也在不断增长。
2 网络内容治理面临的挑战
新兴信息技术助推网络内容产业颠覆性发展，难免伴随着现有治理模式及监管体系与新业态的不匹配：既存在现行治理手段滞后带来的治理失效和力不从心，也体现为网络内容治理问题与其他社会问题及风险的交织泛化，具体包括内容爆炸、算法风险、内容造假、信息茧房、隐私泄露、数字鸿沟等各类技术问题、信息问题和社会问题。
2.1 网络内容极大丰富，内容审核能力不足矛盾凸显
面对庞大的网络内容洪流和各国日趋严格的内容审核政策，试图依靠传统审核模式实现内容含义的准确判断并及时应对信息爆炸引发的各类问题，越发捉襟见肘。内容审核能力不足的问题将会更加凸显，集中表现为人工审核难以应对海量负面信息和算法审核机制尚不完善。尽管机器审核能够有效缓解人工审核压力，却可能存在因算法审核机制不完善而导致的结果歧视。
因此，如何建立良好、协调、及时和高效的审核机制，尚需时间探索。其中具体包括人工审核与机器审核的关系、跨国公司审核标准和业务统一规范，内容审核从业者工作环境优化，公司审核成本与从业者工资矛盾等问题。
2.2 “算法偏见”与“算法黑箱”影响网络内容公正性，技术攻关存难度
算法偏见（Algorithm of Prejudice）是指因为训练数据不完全、算法本身设计不健全、技术开发或是与人类交互过程中存在偏见观念等问题因素，误导或投射到算法输出结果中，使之带有歧视性，算法推荐的歧视结果导致用户接收不公正、片面加强或偏差的信息。“算法黑箱”（Algorithm Black-Box）或算法不透明的产生既有商业机密保护的原因，也有因技术门槛高导致普通用户难以理解算法的情况 , 还存在由于算法模型依赖的组件、模块和数据库过于复杂，而导致开发人员也很难说清楚每个决策的影响因子和判定依据。算法在网络内容产业各环节的普遍应用，不可避免地会遭遇算法黑箱风险：一方面表现为公众难以或无法理解内容生产、推送和传播背后的流程逻辑，无从对推荐内容做出反馈和干预，甚至对推荐内容产生反感、质疑情绪；另一方面，受决策不可解释的局限，政府部门针对算法输出的错误结果归因问责困难，从而采取更加严苛的网络内容监管措施。
2.3 内容造假滋生灰色产业，深度伪造威胁国家社会稳定
政治或经济利益驱动下恶意利用人工智能技术炮制虚假新闻（Fake News），同时大范围地广泛传播或是针对特定人群的精准推送，将恶化网络内容质量，威胁新闻真实性和中立性，破坏信息传播秩序，误导用户判断，甚至催生或煽动社会极化情绪 , 诱发各种社会问题。
深度伪造（Deep fake）是内容造假在人工智能时代的升级版，这种基于生成对抗网络（GAN）的深度伪造技术应用在视频制作中，能够“换脸”“换声”和模仿行为举止，未来甚至能虚构环境场景，其与虚假新闻的最大区别在于，人们基本无法从内容本身做出真伪判断。
2.4 “信息茧房”循环强化，或引发网络社群“部落化”“极群化”
算法主导下的内容分发模式，会放大和加强被标签了的信息输出和推送，由此引发“自我封 闭”的危险。“ 信 息 茧 房（Information Cocoons）”并非人工智能时代的产物，但在算法的助推下，传播中“回音室效应”将被放大，人们极易过滤和忽视那些自己不熟悉、不喜欢、不认同的信息，只会看到和听到自己希望看到和听到的内容，在不知不觉地长期重复和自我证实中塑造出桎梏自身观念的“茧房”。一旦身处其中，就再难接受异质化的信息和不同的观点，甚至在不同群体、代际间竖起阻碍沟通的高墙。相同观念的人们在各类议题热点下逐渐聚集，对所处社群观念不断强化认知，加速网络社群的“部落化”，甚至最终走向不同社群间观念极化对立和舆论失衡的极端。
2.5 无序数据挖掘泄露个人隐私，跃升网络内容治理突出问题
在万物互联、万物皆媒的智能时代，任何智能终端都有可能成为内容的信源和接收的窗口，存储着大量可供挖掘的数据，个人隐私泄露问题跃升为网络内容治理的突出风险。相较于传统互联网应用主要采集用户上网习惯、消费记录等信息，智能应用可采集的信息更加丰富多样，包括用户人脸、指纹、声纹、虹膜、心跳、基因等具有强个人属性的生物特征信息。这些信息具有私密性、唯一性和不变性，一旦被泄露或滥用将对公民权益造成严重影响。国内外媒体不乏曝光人工智能应用泄露个人隐私数据的案例，所涉用户高达几百万，恶意收集并泄露的隐私数据量以百万计，其中不乏个人身份信息、人脸识别图像和GPS位置记录等。此外，若利用人工智能技术对公开合法手段所收集的非敏感信息进行综合关联分析，同样存在推测出敏感个人信息的风险，而各种匿名化技术使得对数据泄露的溯源追踪更加困难，增加了个人信息保护和维权的门槛。
2.6 信息资源竞争催生新数字鸿沟，将成网络内容治理新难题
网络信息时代，包括国家、地区、行业、企业、社区在内的信息活动主体，由于对信息、技术的拥有程度、应用程度及创新能力存在差别，或将造成扩大的信息落差，导致贫富进一步分化。信息社会的竞争目前已逐渐演变为对信息资源的争夺，谁拥有信息资源，谁才能有效地使用信息资源。新兴技术的价值分配会使一部分群体受益，那些拥有信息及强大数据处理能力的企业或个体通过人工智能技术获得更多信息占比，从而获取更多优势，或可能产生新的数字鸿沟和机会差距。
在个人层面，一些占有或获得信息较多的人，逐渐从他们原来从事的职业领域中分化出来，从事崭新的职业或更高层次的职业，进而获得更高的收入。而那些被自动化所取代的就业者不得不寻求新的就业机会，即便找到新的工作，也往往是低附加值的，且工作报酬更低，这就有可能进一步加剧个人间的财富分配差距。在国家层面上，发达经济体掌握成熟的智能技术，持续更新升级产业形态，将直接冲击发展中国家人力资源等比较优势，使许多发展中国家再次被锁定在资源供应国的位置上。同时，人工智能技术较高的迭代速度下，极易形成“马太效应”，使具有先发优势的国家强者更强，后发国家越来越难以追赶，造成国际社会的阶层固化。
另外，人工智能时代各国网络内容产业发展的背后，是本国几乎全部文化信息的“数字化曝光”，传统时代难以获取的社会情报将在人工智能时代公开化，网络内容强国的“战略传播”将更为便利。上述新产生的信息分化和数字鸿沟，对人类社会的潜在冲击是十分深远和不容小觑的。
3 总结和展望
未来很长时间，人们将面临网络内容固有顽疾更加复杂的现实，还将应对由人工智能本体安全性和误用滥用产生的新问题，但是，人工智能技术本身的不断成熟优化以及在各个治理场景中的应用潜能，又将会给网络内容治理提供更高效的技术支持和创新思路。因此，人工智能技术集合对于网络内容的赋能作用呈螺旋式发展，机遇与挑战将长期并存。
3.1 综合统筹社会协同，形成网络内容治理良好环境
人工智能时代的网络内容治理靠传统治理模式或单一治理手段绝对行不通，应当强化综合统筹治理、协同参与的思路。国家需从战略规划层面高度重视，健全完善垂直领域网络内容政策法规体系、明确各方主体责任；充分调动社会各界力量在产业规划、标准制定、行业自律中发挥作用；促进人工智能与其他学科、行业的跨界沟通和交流，加强科普和舆论引导，推动全民网络内容技能和网络内容素养提升；引领相关企业和科研人员秉持向善之心，践行科技向善理念，追求至善，不仅仅局限于把技术和产品开发出来，而是更多地思考技术和产品开发可能产生的影响，提高风险研判水平，肩负起对科技、对社会的责任，确保未来的正
确方向。
3.2 探索创新应用落地，形成“人—机”良好协同路径
企业本身将在产业应用和治理实践中直面人工智能技术的不足，同时也必然承担起网络内容产业发展中对应的社会责任和法律义务。这些将对作为网络内容治理实践者的企业提出更高要求，要大胆探索，稳妥推进。
第一，不断积极探索：企业要积极探索布局在各种领域人工智能技术的治理应用。在未来，内容治理合规将成为各国普遍要求，利用人工智能技术提高内容合规的质量和效率，能够在市场竞争中占据主动；
第二，寻求技术突破：人工智能企业要主动寻求技术突破，提供高质量的自动化工具和针对性的解决方案。网络内容治理将是人工智能产业未来重大应用领域，主动布局能够形成人工智能产业的先发优势；
第三，形成良好的“人—机”协作：目前来看，人工智能技术短期内无法完全替代人类在关键时机进行决策，人工与机器智能将长期并存，良好协调的“人机合作”模式能够最大限度地发挥人类决策和机器智能的相对优势，企业要针对人工智能技术本身的局限，寻求良好协调的“人机合作”模式。
3.3 大力推动国际合作，构建网络内容治理国际机制
人工智能的技术创新具有改变人类基本规则的可能性，对于全球都有着深刻影响，在其赋能下的网络内容发展问题更是全球性的治理议题，这要求在进行人工智能时代网络内容治理时，必须要大力推进国际合作，构建国际协同治理机制。
目前，部分发达国家处于人工智能和网络内容发展的引领地位，其他国家则被技术发展的趋势所裹挟，各国在网络内容发展中的获益情况具有较大差异。通过加强国际合作，才能够应对数字鸿沟带来的国际不公平现象。第一，多边参与：要基于多边参与的立场构建网络内容的国际治理机制。第二，明确原则：国际社会要在网络内容治理议题中确定基本的价值原则和规范，明确发达国家和发展中国家不同的责任义务。第三，平衡发展：平衡网络内容全球化发展和各国传统文化传承两条主线，尊重每个文明、每个国家的网络内容发展权利。
作者简介
上海赛博网络安全产业创新研究院 , 国内专业从事网络空间政策和产业研究的重要智库， 为各级党政部门和各类企事业单位提供高质量的研究咨询与综合服务，打造网络空间政、产、学、研、用、投的协同创新平台，推动我国数字经济发展和网络强国建设。
选自《信息安全与通信保密》2020年第二期（为便于排版，已省去原文参考文献）
声明：本文来自信息安全与通信保密杂志社，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
