关于i-am-a-bot

i-am-a-bot是一款基于多个大语言模型的验证码安全评估工具，该工具提供了一个使用了多模态大语言模型（LLM）的自动化解决方案，可以帮助广大研究人员测试各种类型验证码机制的安全性。

从底层上看，i-am-a-bot这个项目利用了Google的Vertex AI和一系列自定义代理功能来解决验证码挑战，并以此来评估和审计验证码系统的潜在安全问题。

功能介绍

1、识别目标图片是否是一个验证码；

2、判断目标验证码类型（文本、数学计算等式、图片翻转、智力谜语、图片选择等）；

3、解决文本和数学验证码；

4、集成了Google的Vertex AI用于模型推理（使用gemini-vision-pro）；

工具执行流

+-----------------------------------+

| 工具执行                           |

+-----------------------------------+

          |

          v

+-----------------------------------+

| 加载代理                           |

+-----------------------------------+

          |

          v

+-----------------------------------+

| 生成图片检测提示                     |

+-----------------------------------+

          |

          v

+-----------------------------------+

| 检测图片看起来是否类似验证码           |

+-----------------------------------+

          |

          +--------------------------+ 否

          |                          |

          是                         v

          |                  +-------------------+

          v                  | 提示值错误          |

+-----------------------------------+            |

| 生成验证码类型提示                   |            |

+-----------------------------------+            |

          |                                      |

          v                                      |

+-----------------------------------+            |

| 确定验证码类型                      |            |

+-----------------------------------+            |

          |                                      |

          +----------+------------+              |

          |          |            |              |

          v          v            |              |

+---------+--+   +---+---------+  |              |

| 文本验证码    |  | 数学验证码    |  |              |

+---------+--+   +---+---------+  |              |

          |          |            |              |

          v          v            |              |

+---------+--+   +---+---------+  |              |

| 解决文本    |   | 解决数学      |  |              |

| 验证码      |   | 验证码       |  |              |

+---------+--+   +---+---------+  |              |

          |          |            |              |

          v          v            |              |

+---------+--+   +---+---------+  |              |

| 返回文本    |  | 返回数学       |  |              |

| 验证码      |  | 验证码        |  |              |

| 解决方案    |  | 解决方案       |  |              |

+---------+--+   +---+---------+  |              |

          |          |            |              |

          +----------+------------+              |

                     |                           |

                     +---------------------------+

                     |

+--------------------v-----------------------------+

| 如果验证码类型不支持则提示值错误                      |

+--------------------------------------------------+

                    |

                    v

+-----------------------------------+

|            执行完毕                |

+-----------------------------------+

项目结构

agents.ty：包含代理的定义参数，用于识别和解决验证码问题；

gemini_core.py：处理工具与Google Vertex AI的交互，以处理验证码图片；

solve.py：验证码解决工具的主入口点，使用定义的代理构建验证码解析流程；

sample.py：用于演示工具使用的样例脚本；

代理

项目定义了四个代理，每一个都在验证码解析流程中扮演了特定的角色：

1、CheckIfImageLooksLikeCaptchaAgent：判断目标图片是否是验证码；

2、DecideCaptchaTypeAgent：识别验证码类型；

3、TextSolveAgent：解决需要文本识别的验证码挑战；

4、MathSolveAgent：解决需要解决数学计算等式的验证码挑战；

工具安装

由于该工具基于Python 3开发，因此我们首先需要在本地设备上安装并配置好Python 3环境。

接下来，广大研究人员可以直接使用下列命令将该项目源码克隆至本地：

git clone https://github.com/AashiqRamachandran/i-am-a-bot.git

然后切换到项目目录中，使用下列命令安装该工具所需的其他依赖组件：

cd i-am-a-bot

pip install --upgrade google-cloud-aiplatform

工具配置

在使用该工具之前，必须提供你的Google Cloud项目ID和服务账号JSON文件路径，工具会使用这两个参数完成Vertex AI服务的身份认证。

工具使用样例

from iamabot import solve

# Initialize the solver with your Google Cloud project ID and service account credentials

solver = solve.Solve(

project_id=1077607249524,

credential_file_path="google-service-account-credential-file.json"

)

# Run the solver on a CAPTCHA image

solved_response = solver.run("sample_captchas/text_moderate.png")

# Print the solution

print(solved_response)

支持的验证码

工具运行截图

许可证协议

本项目的开发与发布遵循MIT开源许可证协议。

项目地址

i-am-a-bot：【GitHub传送门】