freeBuf
主站

分类

漏洞 工具 极客 Web安全 系统安全 网络安全 无线安全 设备/客户端安全 数据安全 安全管理 企业安全 工控安全

特色

头条 人物志 活动 视频 观点 招聘 报告 资讯 区块链安全 标准与合规 容器安全 公开课

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户,每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序

FreeBuf+小程序

LLM attack中的API调用安全问题及靶场实践
2024-11-16 20:21:06
所属地 四川省

概述

Web LLM attacks

近年来,各个公司都在急于集成大型语言模型 (LLM),以改善其在线客户体验。这使他们面临 Web LLM attacks,这些攻击利用模型对攻击者无法直接访问的数据、API 或用户信息的访问权限。例如,攻击可能:

  1. 获取LLM有权访问的数据:这些数据常见的资源包括有LLM的提示词、模型的训练集和提供给模型的API接口

  2. 通过APIs进行有害的操作:例如攻击者能够使用一个大语言模型在一个它能够访问的API基础上进行SQL注入攻击

  3. 进行对查询LLM的其他用户和系统的攻击

纵观来看,攻击 LLM 的方式通常类似于利用服务器端请求伪造 (SSRF) 漏洞。在这两种情况下,攻击者都在利用服务器端系统对无法直接访问的单独组件发起攻击。

image-20241112223956050.png

什么是LLM?

LLM = large language model

大型语言模型 (LLM) 是一种人工智能算法,可以处理用户输入并通过预测单词序列来创建合理的响应。他们在巨大的半公开数据集进行训练,使用机器学习来分析语言的各个组成部分是如何组合在一起。

LLMs使用了一个聊天接口来接受用户输入,也就是我们熟知的提示词,允许的输入部分由输入验证规则控制

LLMs同时也存在有广泛的运用,例如:

  • 客户服务,例如一个虚拟客服

  • 翻译任务

  • 搜索引擎优化改进

  • 分析用户生成的内容,例如跟踪页面评论的语气

大语言模型攻击和提示词注入

许多的web端的大语言模型攻击都依赖于我们熟知提示词注入。也即是一个攻击者能够利用我们定制的提示词控制LLM的输出。

同时,提示词注入也能导致AI进行它预期之外的操作,例如不正确的调用敏感API接口或者返回与提示内容不相关的内容

检测LLM漏洞

  1. 鉴别LLM的输入,这个过程包括有两个角度,也即是直接的和间接的输入,具体的来讲,前者包括有输入的提示词,后者包括有LLM的训练数据

  2. 弄清楚LLM能够访问哪些数据和API接口

  3. 检测这个新的攻击面是否还存在漏洞

利用LLM的API接口、函数和插件

LLM通常是由专门的地方放提供商托管的。一个网站能够通过描述供给LLM使用的本地API的方式来让第三方的LLM访问它特定的功能。

例如,一个用于用户支持的LLM可能有权限访问管理用户、订单和库存的API接口

LLM的API如何工作

具体的来讲,将LLM和API集成的工作流程取决于API本身的结构。当需要调用外部API接口时,一些LLM可能要求客户端调用单独的函数,以便于可以发送给这些API发送有效的请求。大致的工作流如下:

  1. 客户端根据用户提示调用LLM

  2. LLM检测需要被调用的函数,并且返回一个包含有遵循外部API方案的参数的JSON对象

  3. 客户端根据提供的函数参数调用函数

  4. 客户端处理函数的响应

  5. 客户端再次调用LLM,附加上函数的响应作为一个新消息

  6. LLM根据函数的响应内容调用外部API接口

  7. LLM总结该API接口回调的结果给用户

此工作流程可能会产生安全隐患,因为 LLM 有效地代表用户调用外部 API,但用户可能不知道这些 API 正在被调用。理想情况下,在 LLM 调用外部 API 之前,应向用户提供确认步骤。

发现LLM API接口攻击面

术语“过度代理”是指LLM有权访问可访问敏感信息的 API接口,并可能被说服不安全地使用这些 API 的情况。这使得攻击者能够将 LLM 超出其预期范围并通过其 API 发起攻击

使用 LLM 攻击 API 和插件的第一阶段是确定 LLM 可以访问哪些 API 和插件。一种方法是简单地询问 LLM 可以访问哪些 API。然后,您可以询问有关任何感兴趣的 API 的更多详细信息

如果LLM不合作,请尝试提供误导性背景并重新提出问题。例如,您可以声称您是LLM的开发人员,因此应该拥有更高级别的权限

利用过度代理的LLM APIs-靶场

靶场地址:https://portswigger.net/web-securit

# 网络安全 # web安全 # 网络安全技术
本文为 独立观点,未经允许不得转载,授权请联系FreeBuf客服小蜜蜂,微信:freebee2022
被以下专辑收录,发现更多精彩内容
+ 收入我的专辑
+ 加入我的收藏
相关推荐
  • 0 文章数
  • 0 关注者
文章目录