摘 要
随着技术的进步，人工智能和机器学习已经成为推动金融服务创新的关键驱动力。大语言模型在金融领域应用中的安全问题越发受到关注。本文首先对大语言模型进行了介绍，其次重点进行了金融领域大语言模型的应用安全分析，最后提出了大语言模型的风险防控措施。此外，为解决大语言模型在金融领域应用发展带来的问题，本文提出相应建议。
关键词
人工智能 大语言模型 安全分析 风险防控
引言
随着技术的进步，人工智能（Artificial Intelligence, AI）和机器学习（Machine Learning, ML）已经成为推动金融服务创新的关键驱动力。金融领域有高度规范的数据积累、扎实领先的数字化基础，并且拥有丰富的理解、感知、认知、决策需求场景。大语言模型（以下简称“大模型”）的代表GPT（Generative Pre-trained Transformer），因强大的数据处理能力和对复杂语言的理解能力，有效提升现有金融业务效率，助力现有金融业务数字化转型。
然而，随着这些技术的广泛部署，安全与隐私问题也日益突出。金融机构在采用大模型以提高效率和服务质量的同时，也必须面对数据泄露、系统滥用及不透明的AI决策等风险。金融业务的专业性、严谨性及合规性要求对大模型的落地实践也提出了更加严格的风险防控要求。
本文旨在探讨金融领域大模型的应用现状，分析其面临的主要安全和隐私挑战，并探索可能的解决方案。对金融领域应用进行安全分析，探讨其风险防控模型与技术，有助于促进大模型在金融领域的应用与进一步发展。
大模型简介
大模型泛指能够理解、生成自然语言的大规模语言模型，借助深度学习技术，通过对大规模的文本乃至多模态数据进行预训练与微调，获得语言的理解与生成能力。GPT是目前最广为人知的大模型之一，能够处理以前难以解决的复杂语言任务，美国开放人工智能研究中心（OpenAI）于2022年推出了ChatGPT（Chat Generative Pre-trained Transformer），其一经发布就很快受到广大用户追捧，且被称为近20年来用户增长速度最快的消费者应用程序。
从最初的GPT模型到当前最新推出的GPT-4o，参数数量从数百万增加到数千亿，反映出该模型在语言理解和生成能力方面的显著提升;在金融领域，彭博社也凭借自身的金融数据优势推出了针对金融领域的大模型—BloombergGPT，其具有金融知识问答、数据检索等功能。在大模型推动AI技术发展的同时，也引发了人们在技术伦理、使用安全、数据隐私等方面的思考与担忧。对于大模型的安全与隐私问题，即为本文重点讨论的对象。
大模型主要包括以下功能：
一是自然语言理解和生成：能够理解并生成自然语言文本，与用户进行对话，回答问题，提供建议。
二是文本总结和翻译：从长篇文章中提取关键信息，生成摘要，并支持多语言之间的翻译，帮助用户进行跨语言交流。
三是文本分类和信息检索：根据文本内容进行分类，并从大量数据中检索相关信息，提供准确的回答和建议。
四是多模态处理：结合文本、图像、音频等多种模态的数据，进行综合分析和生成，提供更丰富的交互方式。
在技术特点方面，大模型通常具有以下特性：
一是深度学习架构：采用多层神经网络架构，具备强大的特征提取和表示能力，能够处理复杂的语言任务。
二是大规模预训练：在大规模文本数据上进行预训练，获取广泛的语言知识和上下文理解能力，从而在各种任务中表现出色。
三是自适应能力：通过微调适应特定领域和任务的需求，提供定制化解决方案，提高应用的精准性和实用性。
大模型在金融领域应用的安全分析
在金融领域中使用大模型既带来了众多创新，也引入了一系列的安全风险。这些风险不仅威胁到金融机构的数据安全，也可能影响其运营的稳定性，甚至得到错误的输出信息。在安全和隐私两个方面可能的攻击方式如下：
（一）安全方面
1.提示词攻击
提示词攻击是指攻击者通过设计特定的提示、误导性的信息或结构，以影响大模型的预测或生成过程的技术手段。这种攻击利用模型对输入提示的高度依赖，通过嵌入隐蔽的指令或敏感词汇，引导模型在处理特定任务时产生错误或偏向的结果。
大模型在金融领域常用于市场预测、风险评估和交易策略生成方面。攻击者通过设计特定的提示，可以引导模型在回答这些关键问题时给出错误或偏向的结果，误导决策系统。这可能导致投资者作出错误的投资决策，蒙受重大经济损失。此外，攻击者还可以利用提示词攻击进行提权1，进一步扩大其对金融系统的控制和影响。
2.模型操纵攻击
模型操纵是通过注入刻意设计的输入，来影响大模型输出的技术手段。攻击者可以利用这一方法，改变训练数据、输入数据或模型本身的参数，使模型产生错误或偏向的结果，从而实现特定的目的。
在市场分析和投资决策中，操纵模型可以误导交易系统，对市场走势作出错误的预测，造成不公平或错误的决策，导致投资者蒙受重大损失。
3.模型窃取攻击
模型窃取攻击是通过查询合成和参数推断等方法，逐步重建目标模型或复制其核心能力的技术手段。一种方法是通过查询合成进行模型窃取攻击，攻击者可以通过大量查询与反馈，获取模型的输入输出关系，进而借助逆向工程得出模型的结构和参数。另一种方法是通过推断模型的参数，复制模型的核心能力，使攻击者能够在自己的系统中重现目标模型的功能。这种攻击不仅会导致模型拥有者的知识产权和商业秘密被窃取，还可能对使用这些模型的系统和用户产生严重影响。
金融机构使用的大模型通常包含了复杂的算法和独特的市场分析能力，这些模型的开发和训练成本高昂。如果攻击者通过模型窃取攻击成功复制了这些模型，不仅会导致金融机构的经济损失，还会破坏市场的公平竞争。攻击者可以利用窃取的模型进行不公平交易，扰乱市场秩序。此外，模型窃取攻击还可能导致敏感金融数据的泄露，进一步增加金融市场的不稳定性和风险。
4.幻觉问题
幻觉问题是指大模型在生成文本时，产生了与现实不符或完全虚假的信息。这些信息可能看起来合理连贯，但实际上没有真实的数据支持。幻觉问题的存在源于模型在处理和生成自然语言时，会根据训练数据中的模式和结构，创造出貌似真实但实际上错误的内容。
金融决策高度依赖数据的准确性和可靠性，如果大模型在提供市场预测、风险评估或投资建议时，生成了不真实或错误的信息，投资者和金融机构就可能基于这些错误信息作出错误决策。
（二）隐私方面
1.请求数据泄露
请求数据泄露是指在与大模型进行交互的过程中，用户的敏感数据通过请求或响应泄露出去。这种泄露可能发生在模型的训练、推理或与外部系统交互的过程中。
当用户与金融大模型进行交互时，可能会无意中提交包含财务信息、交易数据和个人身份信息的请求。如果这些请求或响应未得到妥善保护，这些敏感数据可能会被泄露，从而导致用户隐私的暴露和财务安全的风险。泄露的信息可能被不法分子利用进行身份盗窃、金融诈骗或其他恶意活动，进一步增加金融机构和用户的风险。
2.数据窃取攻击
数据窃取攻击是通过精心设计的提示与大模型进行交互，以从模型的响应中提取、重建出模型训练期间所使用的敏感数据的技术手段。攻击者可以利用这一方法，通过不断地输入特定的提示，试图诱导模型暴露其训练数据中的敏感信息。
由于大模型通常是采用包含大量敏感信息（如个人金融数据、商业秘密等）的大型数据集进行训练的，因此这种方法可能会导致敏感信息的泄露，从而对数据隐私和安全性构成严重威胁。
为应对这些安全风险，金融机构需要采取一系列安全措施，如加强数据保护、实施严格的访问限制、对模型输入和输出进行监控，以及采用先进的安全技术手段来保护模型和数据。此外，金融机构还应与监管机构紧密合作，确保所有技术应用都符合当前的法律和行业标准。通过这些措施，金融机构可以在享受大模型带来的好处的同时，最大限度地降低潜在的安全风险。
大模型应用的风险防控
在面对金融领域大模型的安全与隐私挑战时，金融机构可以采取一系列先进的技术和策略来应对这些问题，本文提出了全流程的风险防范措施，包括以下环节。
（一）训练数据安全
在模型的训练阶段，风险主要来源于数据安全方面，需要确保数据的来源、收集与使用方法符合相关法律规定，防范数据投毒和后门植入等攻击策略。在数据采集、存储、处理、流通等方面，潜在的非法数据及未授权的隐私数据收集行为，加之不当的数据清洗与处理方法，容易影响数据安全并造成隐私泄露。
针对数据投毒攻击，应进行严格的数据清洗，可选择机器学习方法和数据清洗技术，改变正常训练数据的分布。在对抗训练（Adversarial Training）过程中故意引入噪声和对抗样本，模拟潜在的攻击，以增强模型的鲁棒性2，使模型可以在应对实际攻击时表现出更高的稳定性与安全性。此外，最新研究显示，在大模型训练时已可以引入联邦学习（Federated Learning）方法，确保数据不离开本地设备，仅在共享模型中更新信息，从而有效保护数据隐私。
（二）安全评估基准与模型测评
1.模拟攻击测试
在模型上线前，模拟可能发起的提示词攻击很有必要，依据不同的攻击种类生成题库，对拟上线的大模型服务进行测评。可以采用世界数字技术院发布的“大模型安全测试方法”中的多种模拟攻击手段，包括随机攻击、盲盒攻击等。其中，随机攻击采用随机方式生成不同的样本，从不同的角度提出标准问题；盲盒攻击利用对抗攻击知识，模拟指令劫持、越狱攻击、内容扭曲、提示屏蔽、干扰谈话等。此外，还可以借助模型之间的博弈，即由模型来发现问题并解决问题，训练有效的攻击模型，例如黑盒攻击、白盒攻击模型等，来进行数据生成，通过迭代提高模型的安全能力。
2.科技伦理与合规审查
针对大模型潜在的幻觉问题，需进行全面的科技伦理与合规审查，确保模型的应用符合道德规范和法律要求。伦理与合规审查包括对模型可能产生的偏见、歧视等不当表达进行评估，确保模型在实际应用中不会造成不公正的影响。此外，还需确保模型的开发和应用符合相关法律法规，确保金融科技的创新不偏离正确方向，推动金融科技有序稳定发展，避免因法律风险导致的潜在损失。
（三）用户输入防御
大模型推理的过程需要根据用户输入的提示词进行响应与生成。根据前文描述，恶意用户可以通过提示词攻击等多种方式进行攻击。因此，有必要对用户的输入进行前置过滤。本文提出的防御架构如图2所示。
对于用户的输入提示词，先进入到输入检测模块，根据用户输入的不同类型，采用多模态的输入检测模块进行识别，包括文本检测、图片检测、音频检测、视频检测等。在风险判别环节，本文提出了4种不同级别的风险分类，并以此采用不同的防御手段：最低级R0为无风险情况，由大模型直接回答；R1为发现问题中出现部分敏感词、疑似攻击情况，需进行风险过滤，将问题改写后再由大模型回答；R2为出现敏感风险情况，需转由专业知识库代答；R3为识别出严重的安全风险或攻击意图的情况，需进行安全阻断，拒绝回答。
（四）模型输出风险管控
大模型的输出很难保证绝对正确，容易基于有限的知识和语言表达能力，生成逻辑上似乎合理但实际不符合已知尝试的描述，其原因可能由错误数据、训练过程失误、推理错误等触发。
本文提出的针对模型输出管控流程如图3所示：一方面，需要对用户的输出进行关键词匹配过滤，过滤部分风险；另一方面，需要专门训练风险识别模型，对于实时输出的内容进行识别，当风险识别模型判断出内容风险后，要对已有输出进行召回，并对后续行为进行决策，进行重新生成或拒绝回答。
总结与建议
将大模型整合到金融应用中会带来充满想象力的优势，但认识并解决这种创新方案带来的安全与隐私挑战也同样至关重要。本文建议仍需要进一步提升以下能力，以解决伴随大模型在金融领域应用发展带来的挑战。
一是提高技术创新与优化水平。未来的大模型将持续在算法效率和处理能力上进行创新。通过采用更先进的模型架构和学习算法，新一代大模型将提供更快的处理速度和更高的精确度，特别是在处理复杂的金融数据和决策过程中。
二是强化安全性与隐私保护。面对数据泄露和隐私侵犯的风险，未来的大模型将整合更为强大和先进的安全技术。例如，采用区块链技术实现数据的透明性和可追溯性，同时使用加强版的端到端加密来保障数据传输过程中的安全。此外，随着法规的更新和公众意识的提高，大模型将更加注重内置的隐私保护功能。
三是加强监管适应性与合作。随着大模型在金融服务中扮演着越来越重要的角色，相应的监管框架也需要不断发展以适应新技术带来的挑战。监管机构通过制定更具体的指导原则和标准来管理，确保大模型的应用既符合行业标准，又不损害消费者权益。同时，金融机构应与监管机构保持更紧密的合作，以确保新技术的安全应用。
四是做好从实验到实际应用的过渡。尽管大模型已在金融领域的多个方面展示出潜力，但将这些技术从实验室环境转移到实际业务操作的过程中仍面临诸多挑战。未来，我们预计将看到更多针对特定金融服务场景的定制化模型开发，这些模型将更加精确地满足特定需求，如复杂的投资分析、风险评估和客户服务等。
五是强化科技伦理与责任。随着AI技术的发展，大模型在决策过程中扮演越来越核心的角色，其科技伦理和责任问题也愈发突出。金融机构将需要采取开发决策过程更透明的AI技术、在必要时为人工审查提供途径等一系列措施，确保技术的使用符合道德标准，并对其结果负责。
注：
1.提权，也称提权攻击，是指攻击者通过各种手段提升自己在系统中的权限，从而获得对系统的更高控制权。
2.鲁棒性是计算机科学与工程领域的专业术语，指在异常或危险情况下，系统或算法能够保持稳定和可靠的能力。
参考文献
[1]范猛 张嘉明. AIGC在商业银行中的应用现状及债券业务落地领域分析[J]. 债券，2024（1）. DOI:10.3969/j.issn.2095-3585.2023.12.009.
[2]高兰兰，贾晨，马文嘉，等. 金融行业AIGC落地方法论的探索和研究[J].债券，2023（10）. DOI:10.3969/j.issn.2095-3585.2023.10.015.
[3]李紫菡，周双双. ChatGPT概述及应用研究[J]. 债券，2023（6）. DOI:10.3969/j.issn.2095-3585.2023.06.015.
◇ 本文原载《债券》2024年8月刊
◇ 作者：中央结算公司博士后科研工作站 吕文哲
中债金科信息技术有限公司区块链实验室 贾晨
中债金科信息技术有限公司区块链实验室 唐华云
声明：本文来自债券杂志，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
