freeBuf
主站

分类

漏洞 工具 极客 Web安全 系统安全 网络安全 无线安全 设备/客户端安全 数据安全 安全管理 企业安全 工控安全

特色

头条 人物志 活动 视频 观点 招聘 报告 资讯 区块链安全 标准与合规 容器安全 公开课

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户,每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序

FreeBuf+小程序

GPT在企业安全运营&事件响应中的应用场景思考
2023-05-30 16:34:49
所属地 北京

探索一下最近红得发紫的AIGC类应用ChatGPT能在安全运营、事件响应场景下如何应用。

本文重点思考在企业安全攻防、安全运营、事件响应领域如何与GPT进行结合,提升效率。

未来已来,AI可期。

文本整体大约5900字,阅读时间建议15分钟。

一、名词解释

  1. AGI:Artificial general intelligence的简写 ,计算机科学与技术专业用语,专指通用人工智能。 这一领域主要专注于研制像人一样思考、像人一样从事多种用途的机器。

  2. AIGC:全名“AI generated content”,又称生成式AI,意为人工智能生成内容。 例如AI文本续写,文字转图像的AI图、AI主持人等,都属于AIGC的应用。

  3. GPT:Generative Pre-trained Transformer,由OpenAI提出的非常强大的预训练语言模型,这一系列的模型可以在非常复杂的NLP任务中取得非常惊艳的效果,例如文章生成,代码生成,机器翻译,Q&A等,而完成这些任务并不需要有监督学习进行模型微调。

  4. LLM:Large Language Model即大型语言模型,是一种基于深度学习的自然语言处理模型,它能够学习到自然语言的语法和语义,从而可以生成人类可读的文本。 所谓"语言模型",就是只用来处理语言文字(或者符号体系)的AI 模型,发现其中的规律,可以根据提示(prompt),自动生成符合这些规律的内容。

  5. RLHF:Reinforcement Learning from Human Feedback即以强化学习方式依据人类反馈优化语言模型

  6. SFT:Supervised FineTune,生成模型GPT的有监督精调,主要是大量的Prompt数据

  1. RMReward Model,奖励模型微调,对生成的文本进行打分排序,让模型生成的结果更加符合人类的日常理解习惯,更加符合人们想要的答案。

二、GPT是什么?

ChatGPT 是一个由 OpenAI 开发的聊天机器人模型,使用了神经网络和自然语言处理技术,可以生成流畅、连贯、富有逻辑的对话,GPT是“Generative Pre-trained Transformer”的缩写,是一种自然语言处理模型,被训练出来可以在文本数据中预测下一个可能的单词或字符。

ChatGPT所基于的InstructGPT模型仍属于自然语言处理(NLP)领域的单模态模型,擅长理解和生成文本,但不支持从文本生成图片、音频、视频等功能

ChatGPT的基础是GPT模型,是一种基于Transformer架构的预训练语言模型,通过训练大量的无标注文本数据来学习语言的结构和规律。

GPT训练过程主要包括以下几个步骤:

  1. 分词:讲原始文本分割成单词或字符,形成序列

  2. 嵌入:将序列中的每个单词或字符转换为向量表示,称为嵌入,向量长度是固定的,每个单词或字符都用相同长度的响亮表示

  3. Transformer:讲输入嵌入序列作为输入,通过多层Transformer编码器来学习序列中每个单词或字符之间的依赖关系和语言结构

  4. 预测下一个单词或字符:训练过程中,GPT模型的目标是根据输入序列的前缀预测序列的下一个单词或字符。

GPT系列模型自2018年发布以来,就以提供通用的NLP能力为核心。该系列模型通过改进模型结构、增加可训练参数、增加训练样本等方式持续演进,提供更加准确与稳定的NLP能力,GPT-1模型、GPT-2模型、GPT-3模型的演进如下:

2.1 GPT技术演进时间线

2017年6月,Google发布论文《Attention is all you need》,首次提出Transformer模型,成为GPT发展的基础。 论文地址: https://arxiv.org/abs/1706.03762

2018年6月,OpenAI 发布论文《Improving Language Understanding by Generative Pre-Training》(通过生成式预训练提升语言理解能力),首次提出GPT模型(Generative Pre-Training)。论文地址: https://paperswithcode.com/method/gpt 。

2019年2月,OpenAI 发布论文《Language Models are Unsupervised Multitask Learners》(语言模型应该是一个无监督多任务学习者),提出GPT-2模型。论文地址: https://paperswithcode.com/method/gpt-2

2020年5月,OpenAI 发布论文《Language Models are Few-Shot Learners》(语言模型应该是一个少量样本(few-shot)学习者,提出GPT-3模型。论文地址: https://paperswithcode.com/method/gpt-3

2022年2月底,OpenAI 发布论文《Training language models to follow instructions with human feedback》(使用人类反馈指令流来训练语言模型),公布Instruction GPT模型。论文地址: https://arxiv.org/abs/2203.02155

2022年11月30日,OpenAI推出ChatGPT模型,并提供试用,全网火爆。

2.2 GPT的优劣势?

优点

高灵活性

可以根据不同的数据集进行微调和训练,以适应不同的应用场景

高扩展性

chatGPT模型结构可以通过增加层数、节点、参数等方式进行扩展,提高模型的性能和表现力

流畅的体验

生成的自然语言响应能够提供流畅、自然的对话体验,提高了用户的参与度和体验,增强的上下文关联,更增强的信息的准确性

局限性

计算资源需求高

chatGPT是大型深度学习模型,需要大量的训练数据和计算资源进行训练,部署和应用成本高

模型可解释性较差

chatGPT是黑盒模型,导致自然语言响应的结果存在一些不可预见的结果或偏差

模型的安全性和隐私保护问题

黑产在钓鱼邮件、恶意代码生成、网络欺诈、虚假新闻方面进行应用对互联网整体安全造成一定影响,降低了攻击的门槛。

2.3 利用GPT能做什么?

智能客服、聊天机器人、语音助手、文档总结、方案输出等等,目前在互联网各大平台上的应用场景来看,只有想不到没有做不到的,只是效果大部分还处于初级阶段,但是以目前GPT的发展速度和ChatGPT支持联网插件集成的功能完善来看,发展趋势会远超人们的想象。

  • 智能客服:ChatGPT可以用于模拟人类客服的对话,为用户提供个性化的客户服务。

  • 聊天机器人:ChatGPT可以与用户进行自然流畅的对话,提供各种服务和帮助。

  • 语音助手:ChatGPT可以用于语音助手的对话生成和处理。

  • 智能问答系统:ChatGPT可以用于自动回答问题,提供快速和准确的答案。

  • 机器翻译:ChatGPT可以用于自动翻译不同语言之间的文本和对话。

  • 摘要生成:ChatGPT可以根据文章的主题和内容生成简洁的摘要。

  • 文本生成:ChatGPT可以用于生成各种文本,包括新闻、小说、诗歌等。

  • 文档自动生成:ChatGPT可以自动为用户生成各种文档,如报告、论文、合同等。

  • 垃圾邮件过滤:ChatGPT可以识别和过滤垃圾邮件,提高邮件的质量。

  • 电子商务推荐:ChatGPT可以根据用户的购买历史和兴趣推荐相应的产品。

  • 金融风险评估:ChatGPT可以根据财经数据和市场趋势预测金融风险。

  • 医疗辅助诊断:ChatGPT可以根据患者的病症和病史提供诊断建议。

  • 舆情分析:ChatGPT可以根据社交媒体和新闻等来源分析公众舆情。

  • 知识图谱构建:ChatGPT可以通过自然语言理解和知识图谱技术构建大规模的知识库。

  • 智能家居控制:ChatGPT可以通过语音识别和对话生成技术控制智能家居设备。

  • 游戏AI:ChatGPT可以用于游戏AI的对话生成和决策。

  • 媒体内容生成:ChatGPT可以生成各种媒体内容,如图片、音频和视频等。

  • 职业培训:ChatGPT可以用于职业培训的自动问答和知识点解析。

  • 情感分析:ChatGPT可以根据对话和文本内容进行情感分析。

  1. 智能广告推荐:ChatGPT可以根据用户的兴趣生成广告内容。

企业信息安全领域的应用场景思考

大家对GPT的基础和使用场景都有了一定的了解,我们现在聚焦到企业安全事件响应、安全运营、内部红蓝对抗/攻防演练这些场景下来分析看ChatGPT等AIGC能不能对我们的工作有效率和价值的提升。

安全事件响应

ChatGPT+SOAR+CTI+CMDB在事件响应分析时会大大提升分析人员的效率

  1. 告警日志解析

正常事件响应分析人员获取告警后,需要先进行基本的信息研判,包括如何判断是不是真实攻击,行为特征有哪些,需要关注哪些信息,对应IP是不是异常的等等,如果是真实攻击那如何止损处理,如何指导业务进行修复,都可以来让chatGPT辅助安全人员进行,以下是一个示例:

我提供给GPT3.5一条防火墙告警日志,先让它帮提取出关键信息,然后针对IP信息进行查询,在了解漏洞的基本原理,日志排查时需要注意哪些特征,最后是如何进行修复

从整体上来看GPT在基础信息方面表现还是不错的,但是还是因为是通用人工智能模型的原因,类似日志中的具体攻击特征信息是无法给出来的,只能给一个大概的描述,但是基本够用了。


止损、修复建议这些不够专业,但是比较全面,可以做一个参考,避免人为出现遗漏,如果前期通过训练学习应急响应预案、特定类型事件应急手册等专业知识库信息的话,我相信这块表现会更好一些。

  1. 告警研判

这个是在深信服XDR+GPT的演示中看到的,是GPT进行任务拆解后调用SOAR去XDR平台全量日志中进行检索后在汇总展示出来的,这个在攻击研判时很有用,从多个安全设备或数据源中都检测到攻击行为的话,真实攻击性会更大。

  1. 事件影响范围评估

GPT+SOAR联动后就可以去调用SOAR去SIEM/SOC/XDR等安全平台中去查询相关信息了,来综合评估事件的影响范围,避免出现死角问题。

  1. 安全知识库

chatGPT是通用人工智能模型,对于基础的安全知识可以比较好的回答出来。和自己去看书、看教学视频、技术文章上的没有差别。

但是GPT3.5问推荐视频和文章时,直接“有(hu)理(shuo)有(ba)据(dao)”的给出答案,我差点就信了。


  1. 安全能力联动

联动内部系统进行恶意hash、ip、domain封禁

GPT能给SOAR联动后,这些人员需要封禁的动作,都可以直接在聊天对话中让GPT去直接执行封禁、终端隔离等之前需要人工操作的动作了。

  1. 预测下一步攻击目标

这个预测我觉得对于事件响应、安全运营人员会有比较大的帮助,让我们可以快速了解监控、检测的重点在哪里。避免事态的扩大,经过不同问题的提问,发现问的越具体之后的回答会更有针对性和参考价值。


安全运营

  1. 钓鱼网站识别

现在chatGPT可以通过plugin插件实现联网了,在联网状态下,可以通过plugins插件去调用威胁情报数据查询,不能说这个价值有多大,和人工正常去威胁情报平台查询的步骤和流程是一样的,主要是chatGPT获取插件返回的查询结果后,是否可以分析总结给出精准的结论,这个是考验chatGPT模型的关键。

  1. 可疑文件检测

这个和钓鱼网站查询类似,都是去互联网查询已知特征信息、行为来辅助人员进行分析

在chatGPT插件联网后这个可以实现,本次暂未测试。

  1. 安全漏洞预警

漏洞预警文案编写,联动资产平台,BOT方式给业务发送修复通知


  1. 安全分析辅助

协助安全分析、安全运营人员快速进行信息检索和分析,类似使用场景如下:

  • 给一段加密代码进行解密

  • 给一个URL进行全网检索判断是否恶意

  • 清除某木马后门的步骤和流程

  • 疑难问题如何处理寻求解答

  • 资产信息查询

可以帮忙将告警中的加密信息进行解密,并且GPT会自动去分析判断代码是否恶意的。

  1. 安全运营周报&趋势预测

周期性的安全运营指标统计和趋势预测,深信服的XDR+GPT中有一个场景就是通过GPT来自动生成安全运营周报/月报等内容


  1. 安全宣传

安全宣传培训的文案、图片、视频制作,结合虚拟数字主持人可以举办线上安全讲座或培训

现在网络直播、视频制作都使用上这些组合方法了,那内部安全培训、宣讲,甚至是线上安全技术交流等都可以通过此实现。

先用chatGPT生成文案,在用Midjourney生成对应图片,再将chatGPT生成的文案用mindshow等自动创建成PPT格式,1个人就可以轻松搞定文案、图片等工作了。

  1. 安全小助手

客服类的问题解答、找人服务,可以通过在企业内部部署类chatGPT的模型对本地知识库、内部规范文档、流程等资料进行训练后生成本地知识库,接入IT安全小助手对用户的问题进行自动解答,提升小助手自动应答效率和回复的精准度,更符合企业员工的日常问题解答。

并且可以保证文档内容更新一次性解决固定类问题解答的术语问题。langchain+chatGLM构建本地知识库问答机器人去了解一下。

红蓝对抗&攻防演练

信息收集

渗透测试中最重要的就是前期做信息收集,信息收集的越全面,后续渗透成功的机率越高。我们以子域名枚举探测作为示例,让chatGPT来帮我们生成一个可以用于子域名枚举的bash脚本。

很神奇吧,chatGPT还会考虑到如果没有安装sublist3r需要如何安装。

漏洞检测

资产信息收集完以后,就需要对资产进行全面的漏洞检测,一般会去检测最新的安全漏洞、典型的高危安全漏洞,这时候我使用chatGPT让写一份检测SMB漏洞的扫描脚本。

攻击方案&计划制定

渗透是希望在不触发任何告警的情况下,悄悄的拿下目标,那就需要针对目标制定一份详细的攻击路径技术方案,方案会根据不同的网络情况、目标系统的属性等信息来评估。

将基础信息和需求输入给chatGPT,让他给出一个详细的攻击技术方案,但是这个方案还是比较通用。


权限维持

突破了网络边界进入到内网后,首先做的是权限的维持,保证这个入口能长期使用,一般会用CS、MSF等来进行权限的维持和控制,对于不了解MSF的人,可以直接让chatGPT来给生成一下使用方法


CS马免杀都可以给出指导和对应代码,有兴趣的可以按照方法生成加密马去VT、微步等平台查杀试一下。




痕迹清除

我模拟的场景是centos7服务器,admin账号,tomcat中间件,渗透完成后需要完整清除痕迹,chatGPT给出的建议中会包含超出预期的内存信息、ssh密钥信息等


畅想

chatGPT核心是知识问答,在不联网情况下是基于已知知识进行的学习和推理,给出看似合理的解答,未来chatGPT接入互联网可以实时从互联网获取到最新的信息的话,那在信息安全行业的应用场景会更加丰富,威力会呈指数级上升。包括和威胁情报、病毒库、行为沙箱等已知行为特征平台结合进行分析研判,并且可以通过获取互联网最新的知识来训练完善自我模型,实现自我成长和知识丰富、纠正,最后产生自我意识和思维。。。。。。

以下是看到的GPT安全社区、圈子内应用场景的讨论,很多细分领域已经开始进行尝试和使用。多关注黑产的动态会打开思路和格局。

  • chatGPT+邮件沙箱

chatGPT可以帮攻击者生成钓鱼邮件内容,包括附件文档和宏,同时chatGPT也可以协助安全分析人员进行恶意附件的识别和检测,作为邮件沙箱的增强能力。钓鱼网站识别,检测域名、URL、IP、文件hash等内容来识别攻击者

  • chatGPT+舆情监控、反制(微博、twitter、脉脉)

这是一个很有意思的使用场景,在联网状态下自动去关注企业、个人微博、twitter的评论回复信息,并根据知识库自动去回复,影响对外舆论风评,避免出现水军大规模引导恶意评论的情况。

  • chatGPT+欺诈检测

主要应用在交易风控场景中,识别虚假交易、洗钱、身份盗用等情况

  • chatGPT+代码检测(自主检测漏洞,代码优化建议)

现在很多IDE编辑器都集成了chatGPT插件,在代码编写时进行自动检测错误

  • chatGPT+电信诈骗

最近的一个新闻特别火,AI换脸视频诈骗,黑产永远走在技术应用的最前线,但是破解骗局也是很容易的。

  • chatGPT+攻防演练

结合EASM、网络空间探测等对互联网资产脆弱性进行分析,给出有针对性的攻击方案

  • chatGPT+安全顾问

企业、个人的信息安全知识问答是第一步,结合个人的互联网浏览记录、使用习惯,在有风险的环境下给出指导建议,预防网络钓鱼、水坑攻击等

  • chatGPT+漏洞挖掘

给出反序列化漏洞的原理、全部漏洞分析,给最新版本的weblogic等应用进行自动漏洞挖掘

  • chatGPT+恶意域名生成

恶意域名生成,利用LSTM 算法和 GAN 构建模型,生成的域名与正常网站域名非常相似

  • chatGPT+密码预测

GPT+社工库 给出一个账号\邮箱预测用户可能的密码组合


附录

参考通用技术文章

参考安全行业技术文章

参考论文

安全专用数据集

  • 威胁情报库

  • FireHOL

  • sans.edu

  • 入侵检测数据集

  • KddCUP99[11]

  • AWID[12]

  • SQL注入数据集

  • libinjection

  • PHP漏洞数据集

  • WALDEN[17]

开源项目和代码

  • https://github.com/THUDM/ChatGLM-6B

  • https://github.com/GreyDGL/PentestGPT

  • https://github.com/nomic-ai/gpt4all

  • https://github.com/ggerganov/llama.cpp

  • https://github.com/Akegarasu/ChatGLM-webui

  • https://github.com/hwchase17/langchain

  • https://github.com/opendilab/awesome-RLHF

  • https://github.com/EwingYangs/awesome-open-gpt

# 渗透测试 # 企业安全 # 网络安全技术
本文为 独立观点,未经允许不得转载,授权请联系FreeBuf客服小蜜蜂,微信:freebee2022
被以下专辑收录,发现更多精彩内容
+ 收入我的专辑
+ 加入我的收藏
相关推荐
  • 0 文章数
  • 0 关注者
文章目录