一、前言

（一）研究背景

云计算和大数据的发展为人工智能（Artificial intelligence，简称AI）提供了强大算力和海量数据。移动互联网、物联网的发展为AI落地提供了丰富应用场景。在算力、算法、数据和应用场景的共同作用，AI技术与产业发展呈现加速态势。

与此同时，因AI系统脆弱性及其信息泄露引发的违法犯罪事件也屡见不鲜。2018年7月，浙江公安破获一起利用支付宝的人脸识别认证漏洞非法牟利案件，攻击者收集用户照片，再通过软件制作生成公民的3D头像，成功欺骗支付宝人脸识别认证，并使用公民个人信息注册支付宝账户骗取注册奖励。今年6月，OpenAI被起诉称从互联网上窃取了约3000亿字的内容，包括未经同意的个人隐私。这一数据窃取行为的受害人预计有数百万，潜在损失达30亿美元。

作为新一轮科技革命和产业变革的重要驱动力量，AI正在对经济发展、社会进步等方面产生重大而深远的影响。2023年7月24日，中共中央政治局召开会议指出，要推动数字经济与先进制造业、现代服务业深度融合，促进AI安全发展。

（二）产业现状

随着AI技术发展，多个国家、标准组织以及学界与业界都在积极推动AI健康有序和安全可控发展。

1、安全战略与政策法规：联合国教科文组织于2021年11月发布《人工智能伦理问题建议书》，旨在为和平使用AI系统、防范AI危害提供建议。我国于2021年12月和2022年11月先后发布《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》，推进了算法推荐和深度合成技术的依法合理有效利用。

2、安全标准：国际标准组织ISO于2017年10月成立人工智能分技术委员会。2022年，我国信息安全标准化技术委员会TC260启动编制《信息安全技术人工智能计算平台安全框架》国家标准，指导人工智能计算平台设计与实现。

3、伦理道德：为了保障人工智能健康发展，需建立伦理道德框架。“阿西洛马人工智能原则”和IEEE组织所倡议的标准是国际上影响最广的人工智能伦理研究成果。

4、学术研究：我国科学家何积丰院士于2017年11月香山科学会议第S36次学术研讨会首次在国内提出了可信人工智能的概念。从学术研究角度，可信人工智能研究范畴包含了安全性、可解释、公平性、隐私保护等多方面内容。

5、企业实践：国外的IBM、微软，国内的通信类企业（如华为）、IT类企业（如百度、蚂蚁、腾讯）、安全类企业（如深信服、360）、人工智能类企业（如依图、猎户星空）等均在开展相关人工智能安全实践工作。

（三）研究意义

本文通过梳理学界与业界的AI安全观点，分析AI系统的安全风险，为建设金融行业AI安全体系框架提供助力，从而为金融机构奠定了AI安全研究的基础，进而有助于：

1、保护金融系统与网络的安全性。如果AI系统存在漏洞或模型受到攻击，可能导致金融系统与网络的安全性受到威胁。例如，在人脸身份认证场景，如果伪造的头像欺骗了人脸识别模型，那么就会存在身份仿冒的安全风险。通过本文研究，可加强其模型安全与系统安全的防御机制，确保金融系统与网络的安全性和可靠性。

2、保护客户隐私和数据安全。金融机构处理大量的个人隐私数据，如果这些数据受到未经授权的访问或泄露，可能会导致客户隐私泄露和身份盗窃。通过本文研究，为制定AI系统的用户隐私保护策略提供指引，防止数据安全问题对客户和企业造成损害。

综上所述，研究AI安全风险可助力保护金融系统与网络的安全性，保护客户隐私和数据安全。通过持续的研究和关注，可更好地应对和解决AI安全挑战，保障金融行业的可持续发展。

二、安全风险

根据学界与业界的研究与实践，结合AI应用场景，我们将AI安全风险与防范分为五个阶段：数据收集、数据处理、模型训练、模型推理和系统集成，每个阶段的典型安全风险如图1所示。其中，由于某些攻击存在于AI生命周期多个阶段，因此仅在其影响范围最大的阶段展开分析。

图1 AI生命周期各阶段的安全风险与防范技术

（一）数据收集阶段

在数据收集阶段，安全风险分为软件层面和硬件层面。

基于软件的典型风险是虚假数据和数据泄露。虚假数据是指非正常业务的数据集，例如营销活动的黄牛交易数据、套现交易数据等。无监督的异常检测技术是针对虚假数据的主要防范技术与手段，通过数据质量监控，检测伪造的虚假数据。数据溯源、身份验证以及规范化管理等技术与方法能有效防范数据泄露风险。

基于硬件的典型风险是传感器欺骗攻击，攻击者可以利用传感器的物理特性构建恶意样本，例如阻塞磁场、电磁干扰、注入特定噪声产生共振等方式，欺骗传感器干扰数据收集。主要的防范技术与手段包括传感器增强和基带偏移方法，例如在语音识别场景中，放大麦克风幅度并添加低通滤波器，可疑过滤人类无法察觉的语音命令。

（二）数据处理阶段

在数据处理阶段，典型的安全风险是图像缩放攻击。与基于模型的对抗性示例攻击原理不同，图像缩放攻击是指在数据处理步骤，攻击者利用L_p范数控制目标图像与攻击图像之间的距离，以提高攻击成功率。例如，在图片识别场景，攻击者会调整像素级信息来篡改图像，利用人与机器之间的视觉认知差异，伪造图片，甚至可绕过人工的审查复核。

图像重建类技术是主要的防范手段，例如，采用选择性中值滤波器和随机滤波器，用于识别在缩放过程中已经被修改的像素点。然后通过中值或均值，重建修改后的图像。除此之外，其他技术还包括数据随机化、质量监控等。

（三）模型训练阶段

在模型训练阶段，典型的安全风险是数据投毒，攻击者通过将有毒数据注入模型以篡改已训练模型的方式影响训练数据和训练过程。数据投毒主要分为可用性攻击和完整性攻击两类。可用性攻击的污染点通常是基于模型的梯度信息，或者使用辅助网络自动生成污染数据。可用性攻击会降低模型的整体性能，适用于任何输入。完整性攻击不会影响正常输入的分类，而只会影响攻击者选择的输入。数据后门攻击和干净标签污染攻击是代表性的完整性攻击。

鲁棒性训练技术是最主要的防范手段，例如，通过改进鲁棒的低秩矩阵逼近和鲁棒主成分回归可实现了较好的防御性能；或通过使用修剪损失函数在每次迭代中计算线性回归模型的鲁棒训练的不同子集的残差。除此之外，其他技术还包括训练数据净化和数据认证防御等。

（四）模型推理阶段

在模型推理与预测阶段，典型的安全风险是对抗攻击（又称“闪避攻击”或“逃避攻击”）和隐私攻击。

对抗攻击是通过对输入样本进行微小且语义一致的改变，从而降低或干扰模型的预测性能。对抗样本本身不会改变目标模型，主要通过优化搜索或基于梯度的信息来实现。防御性蒸馏技术是针对对抗攻击的主要防范手段。将大规模训练模型中的细粒度知识迁移到小规模模型，小规模模型能更准确更高效地执行学习任务，以解决缺失信息的问题，同时不损害准确性。除此之外，其他技术还包括输入检测器、网络验证以及基于数据的对抗训练等。

隐私攻击是通过模型输入输出结果的测试，窃取数据隐私和模型隐私。根据数据对象类型不同，数据隐私攻击可分为数据提取攻击和成员推断攻击，数据提取攻击是获取训练数据中的特定特征或训练数据的某些统计性质，成员推理攻击是分析单条数据是否属于训练集或是否能匹配到个人。模型隐私主要包括模型所使用的算法与模型参数，典型攻击方法为模型提取攻击，旨在复制模型，其输出为一个与原函数大致相同的函数。差分隐私是针对隐私攻击的主要防范手段，通过对数据的下采样、顺序置换、添加噪声等方式，使得模型对输入的微小噪声不敏感。除此之外，其他技术还包括同态加密、模糊操作以及需多方协同的联邦学习等。

（五）系统集成阶段

在AI系统集成阶段，风险非常复杂。在实际应用场景中，AI应用的系统集成不仅涉及AI本身的安全风险，还涉及系统、网络、软硬件带来的问题。这些典型的安全风险包括代码或开源组件漏洞、修复困难等。

确保上述安全性需要各领域研究人员与管理人员的共同努力，相应的防范技术与方案包括代码漏洞保护、集成与后期的可解释性增强等。

（六）大模型特殊性分析

AI除了通用模型安全之外，随着GPT算法的兴起，大模型安全在生命周期各阶段也需要紧密关注。比如，在数据收集阶段，与ChatGPT互动时，隐私信息会被直接收集，导致个人数据的广度上存在违规风险；在数据处理阶段，AIGC下游的机器学习任务、深度挖掘与推断行为都可能超出用户隐私协议范围，造成使用范围合规问题。或为提升数据质量，将外部与本地用户数据合并，导致数据反脱敏问题；在模型训练阶段，由于数据标注，部分人员可接触原始数据集，存在盗取数据、数据未授权访问等风险；在模型推理阶段，即使设置了敏感词过滤，构建不同提示词模板依旧有可能会导致安全和隐私问题；在系统集成阶段，模型生成的信息可能会违反伦理道德甚至法律，例如泄露企业机密，侵犯他人知识产权等。上述安全风险对应的安全技术在业界并未形成标准化、规范化的统一方案，各方均在积极探索。

三、小结

在人工智能技术的快速发展和广泛应用中，安全问题日益受到关注。国家政府、标准组织、学界、业界都在从不同维度跟进人工智能安全的相关进展。

本文聚焦于人工智能技术本身的安全风险，根据AI系统的生命周期，从数据收集、数据处理、模型训练、模型推理、系统集成五大阶段开展关于安全风险的调研，包括传感器攻击、图片缩放攻击、数据投毒攻击、模型对抗攻击、代码与组件漏洞等一系列安全风险威胁，并提出主要的防范技术与解决方案。同时，针对大模型特有的攻击方法与潜在威胁做了初步梳理与分析。

本文不仅有助于保护金融系统与网络的安全性，还有助于保护客户隐私和数据安全，奠定金融行业在人工智能应用领域可持续发展的坚实基础。

四、展望

（一）在技术层面需全面做好前瞻性布局

人工智能安全一体化研究将是未来重要趋势。当前针对人工智能的研究，是从安全、隐私、公平等单一维度展开。安全性、公平性、可解释性等不同要求之间存在相互协同或相互制约的关系，若仅考虑某一个方面的要求则可能会造成其他要求的冲突。因此，需要针对人工智能构建安全一体化研究框架，以保持不同特征要素之间的最优动态平衡。

面向安全通用人工智能的研究需要提前布局。目前无论是人工智能的安全治理还是技术钻研，均需要前瞻性的布局，如通过发展大规模模型、量子机器学习等前沿技术探寻安全通用人工智能的发展路径。

（二）安全实践需根据业务实现敏捷迭代

拓展人工智能技术应用过程中应注重人工智能安全的敏捷迭代。随着人工智能技术与不同行业的广泛融合，其应用深度与日俱增，安全、可靠、可控、可信特质要求将不断扩充，对企业的实践能力提出了更高的要求。一方面应研发人工智能安全检测和监测工具，以匹配业务发展需要，并针对金融行业应用的独特性进行升级和迭代。另一方面应积极与监管部门对接，主动配合参与试点应用、标准合规等监管措施，构建内外部相协调的敏捷安全的迭代机制。

（三）促进建立AI产品安全评测管理制度

一方面，对于基于AI模型与产品的业务场景，应形成定性的AI安全风险评估或自查方法，对于风险整改的责任方提供指导性的帮助手册，以及如果发生模型或数据风险后的应对响应方案与应急措施。另一方面，对于AI的各类业务，在设计、研发、测试阶段就将AI安全性考虑其中，建立长期高效的AI安全性评估机制，形成标准化AI安全研发或应用管理制度。

（四）加快形成金融行业的AI安全标准

面向当前人工智能安全发展的痛点、堵点问题，聚焦以安全促发展，随着《互联网信息服务算法推荐管理规定》《生成式人工智能服务管理办法》等法律法规出台，《信息安全技术生成式人工智能预训练和优化训练数据安全规范》《信息安全技术生成式人工智能人工标注安全规范》等标准的编制发布，金融行业亟待制定本领域的人工智能安全发展标准，完善人工智能安全标准体系，统筹规划人工智能安全的基础共性、技术系统、管理服务、测试评估、产品应用等方面标准研制工作。