联合国发言生成器了解一下?
最近,有研究人员真就搞出了一个。手握这个生成器,你就可以无限生成逼真的联合国演讲风格的内容。
快速传递假新闻、随口就能生成仇恨言论、冒充知名人物进行演讲……这个模型让人细思极恐,令人深感不安。
做这样一个系统时间和金钱成本很高吧?
这么想就大错特错了。研究人员表示的,整个模型只需要13个小时的训练,总共花费不超过7.8美元,也就是人民币54元。
也就是说,半天时间,一顿晚饭钱的成本,你也能让AI伪造一系列联合国发言。推特网友评论道,现在终于理解为什么有些模型不应该开源了。
可怕。
真假难辨的效果
研究人员用三类任务展示了这个模型的效果,在每种任务上,模型都能Hold住相关场景,生产出假新闻、假言论。
一是一般性的主题,比如气候变化、核裁军等。
气候变化仍然是所有国家关注的主要问题,世界各国领导人和马里政府重申了这一承诺,呼吁联合国通过一系列解决众多人面临的严重局势的紧急措施,面对气候变化。作为一个穆斯林国家,穆斯林国家坚信促进和平、安全与发展的国际合作的重要性。
在这一段假新闻里,无论是口吻、用词还是行文逻辑,AI模型生成的文本都显得逼真。
第二种任务是模仿联合国秘书长的口吻对事件进行公开评论。
相比于第一种任务,这个任务需要的观点输出更明确,难度也进一步提升。
AI模型的表现如何?看看生成效果:
联合国秘书长强烈谴责这种发生在摩加迪沙的恐怖致命袭击事件。……(此处有省略)我们希望国际社会也将响应对“非洲之角”和平与安全的呼吁,并希望苏丹将继续执行自己的安全理事会决议制度。
如果是呼吁和平的言论还好,最可怕的是,这个模型还能产生恶意煽动性言论。
研究人员展示的第三种效果就是生成充满恶意和煽动性言论,到底能到哪种程度。
在这个任务中,AI分别就“难民是恐怖分子”和“移民是艾滋病传播的罪魁祸首”两个命题生成假言论,内容更是让人看了脊背发凉。
这样一个模型,到底是怎样在半天时间+54块钱成本的情况下做出来的?
开源模型
研究人员表示,从头开始训练语言模型是一项复杂的任务,需要大量的数据和计算力来进行,借助别人已经开源的项目进行研究,也不失为一种性价比高的选择。
在这个项目中,训练数据是由Baturo等此前研究汇集的1970-2016年联合国7507次发言的文本。
在这么多次演讲中,已经讨论过很多话题。研究人员表示,在使用这个数据集前,这些演讲被分成了283593个段落,并清理文本中的噪声,使用spaCy进行标记。
论文What Drives the International Development Agenda? An NLP Analysis of the United Nations General Debate 1970-2016地址:
https://arxiv.org/abs/1708.05873
数据集搞定后,模型训练又成了大问题。在这个阶段,研究人员采用了开源模型:AWD-LSTM模型进行预训练。
这是2017年由Salesforce研究院的Stephen Merity等人提出的模型,论文中提出了一系列基于词的语言模型正则化和优化策略,这些策略可在不改变现LSTM模型的基础上应用。
论文Regularizing and Optimizing LSTM Language Models地址:
https://arxiv.org/abs/1708.02182
研究人员用Wikitext-103数据集进行预训练,借助fast.ai库,最终,AWD-LSTM模型在NVIDIA K80 GPU上训练不到13个小时,就完成了模型的训练,成本仅用了7.80美元(54元)。
多重身份的一作
这篇论文出自Joseph Bullock和Miguel Luengo-Oroz之手。
一作Joseph Bullock有3重身份:一是United Nations Global Pulse小组成员,二是英国杜伦大学(Durham University)数据科学研究所的一员,三是杜伦大学粒子物理现象学研究所的成员。
Miguel Luengo-Oroz是United Nations Global Pulse的数据科学家。
这篇论文也将出现在长滩上举办的Conference on Machine Learning AI for Social Good Workshop上。
传送门
论文Automated Speech Generation from UN General Assembly Statements: Mapping Risks in AI Generated Texts地址:
https://arxiv.org/abs/1906.01946
原报道地址:
https://www.technologyreview.com/f/613645/ai-fake-news-deepfakes-misinformation-united-nations/
声明:本文来自量子位,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。