freeBuf
主站

分类

漏洞 工具 极客 Web安全 系统安全 网络安全 无线安全 设备/客户端安全 数据安全 安全管理 企业安全 工控安全

特色

头条 人物志 活动 视频 观点 招聘 报告 资讯 区块链安全 标准与合规 容器安全 公开课

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户,每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序

FreeBuf+小程序

大模型之原生安全与基础安全的火花
2024-03-18 01:17:04

一、前言

目前越来越多AI落地应用了比如:腾讯混元大模型在研发安全漏洞修复的实践、腾讯会议AI小助手等等,AI与WEB应用结合如果使用不当也会出现各种问题。portswigger提供了一些场景的案例,可以看具体有哪些场景,怎么利用以及会有什么危害。

二、实验

portswigger一共提供了如下四个实验。

1、Exploiting LLM APIs with excessive agency(暴露过多的接口)

2、Exploiting vulnerabilities in LLM APIs(LLM api接口漏洞)

3、Indirect prompt injection(间接提示词注入)

4、Exploiting insecure output handling in LLMs(不安全的输出)

https://portswigger.net/web-security/llm-attacks/lab-indirect-prompt-injection

0

暴露过多的接口-越权

实验环境:

https://portswigger.net/web-security/llm-attacks/lab-exploiting-llm-apis-with-excessive-agency

问题:assistant会展示所有的接口给用户,比如我使用openai构建的assistant也是存在该问题,我们就可以针对这些接口逐一测试,这里测试未授权的。

1

1、进入实验环境,我们可以直接咨询D机器有哪些接口

2

2、执行sql语句,首先获取有哪些表明,然后再读取表里面的内容

select table_name from information_schema.tables limit 10;

# web安全 # AI安全 # AI人工智能
本文为 独立观点,未经允许不得转载,授权请联系FreeBuf客服小蜜蜂,微信:freebee2022
被以下专辑收录,发现更多精彩内容
+ 收入我的专辑
+ 加入我的收藏
相关推荐
  • 0 文章数
  • 0 关注者
文章目录