freeBuf
主站

分类

漏洞 工具 极客 Web安全 系统安全 网络安全 无线安全 设备/客户端安全 数据安全 安全管理 企业安全 工控安全

特色

头条 人物志 活动 视频 观点 招聘 报告 资讯 区块链安全 标准与合规 容器安全 公开课

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户,每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序

FreeBuf+小程序

GitMonitor:一款针对GitHub的敏感信息扫描系统
2020-07-02 21:49:42

1591586979_5eddb0a3ba7ec.png!small

GitMonitor

GitMonitor是一款针对GitHub的扫描系统,在它的帮助下,研究人员可以轻松扫描出目标GitHub库中存在的敏感信息。

该工具基于规则实现其功能,GitMonitor使用了两套不同的规则集来寻找目标信息。搜索规则将会搜索目标代码库,并寻找跟组织或内部项目相关的信息,而敏感过滤规则将会判断目标代码库是否存在敏感信息。最后,工具还将通过Slack向用户发送扫描报告。你还可以将GitMonitor配合Cronjob一起使用,来监控目标兄台那个并追踪相关的泄露在GitHub中的敏感信息,最后通过Slack接收扫描结果。

功能介绍

1、基于规则(搜索规则)搜索目标代码库,你也可以编写自定义规则来搜索跟自己组织或企业相关的代码库,匹配规则的代码库将会直接被克隆至本地。

2、使用正则表达式(敏感过滤规则)将搜索已克隆至本地的代码库中的敏感信息,并进行分类。

3、通过Slack发送扫描报告。

4、规则和正则表达式单独定义。

5、用户可以轻松自定义规则和正则表达式。

工具运行机制

diagram.png

工具要求

Python3

Python3-pip

目前该工具已在Ubuntu 18.04系统上测试。

工具安装

首先,使用下列命令将项目源码克隆至本地:

git clone https://github.com/Talkaboutcybersecurity/GitMonitor.git

安装依赖组件:

Python3 -m pip install -r requirements.txt

确保你的设备上已经安装了Pyyaml v5x或更高版本。

接下来,在配置文件config.ini中填写所需的信息:

[git]

 user = <username_git>

 pass = <password_git>

 url_code = https://api.github.com/search/code?q={}+in:file&sort=indexed&order=desc

 url_repos = https://api.github.com/search/repositories?q={}+size:>0+is:public&sort=indexed&order=desc

 url_commit = https://api.github.com/search/commits?q={}+is:public&sort=indexed&order=desc

 rpp = 50

 

 [slack]

 webhooks = <full_link_webhooks>

 

 

 [path]

 rule = <path to rule folder>

 source = <path to folder to clone repository>

 log = <filename of log>

 

 [msg]

 start = ====================**********====================

 

         *Start scanning at {}*

         _Clone completed successfully:_

 end = ====================**********====================

 

       *Scanning Done at {}*

       _Detected possible repository:_

 all = ====================**********====================

编写自定义搜索规则,并将规则放入规则字典中:

 id: Project_X_Matching

 key: X

 language:

   - java

 #filename:

 #  - LICENSE

 #extension:

 #  - py

 #  - md

 ignore:

 #  language:

 #    - php

   filename:

     - LICENSE

   extension:

     - html

     - txt

接下来,在敏感过滤规则文件libs/regex.py中定义正则表达式,并运行下列命令:

Python3 gitmonitor.py

你还可以使用Cronjob来自动化运行GitMonitor(计划任务)。

项目地址

GitMonitor:【GitHub传送门

参考来源

Talkaboutcybersecurity

本文作者:, 转载请注明来自FreeBuf.COM

# github # GitMonitor # 信息扫描
被以下专辑收录,发现更多精彩内容
+ 收入我的专辑
评论 按时间排序

登录/注册后在FreeBuf发布内容哦

相关推荐
  • 0 文章数
  • 0 评论数
  • 0 关注者
登录 / 注册后在FreeBuf发布内容哦
收入专辑