关于sigurlfind3r

sigurlfind3r是一款功能强大的被动网络侦察工具，该工具主要针对的是已知的URL搜索，并且可以使用各种在线源并以被动方式收集URL列表。

功能介绍

收集已知URL：可从AlienVault's OTX、Common Crawl、URLScan、Github和Wayback Machine获取数据，可以从txt获取禁用路径；

降低噪声：通过正则表达式过滤URL，移除URL中的重复页面；

输出至stdout或存储至文件；

工具安装

预构建源码下载

我们可以直接访问该项目的【Releases页面】下载针对自己平台的预构建源码。下载完成之后，提取源码文件，并将其移动指$PATH路径下即可直接使用。

源码获取

sigurlfind3r要求本地主机安装并配置好Go v1.14+环境，配置好后就可以直接使用下列命令下载并安装sigurlfind3r了：

GO111MODULE=on go get -u -v github.com/signedsecurity/sigurlfind3r/cmd/sigurlfind3r

从GitHub安装

git clone https://github.com/signedsecurity/sigurlfind3r.git && \
cd sigurlfind3r/cmd/sigurlfind3r/ && \
go build; mv sigurlfind3r /usr/local/bin/ && \
sigurlfind3r -h

工具配置

sigurlfind3r在安装完成之后，还需要进行适当的配置。这里你将需要获取API密钥，这个API密钥存储在$HOME/.config/sigurlfind3r/conf.yaml之中。参考样例如下：

version: 1.5.0
sources:
    - commoncrawl
    - github
    - otx
    - urlscan
    - wayback
    - waybackrobots
keys:
    github:
        - d23a554bbc1aabb208c9acfbd2dd41ce7fc9db39
        - asdsd54bbc1aabb208c9acfbd2dd41ce7fc9db39

工具使用

提示：从GitHub爬取URL的话可能速度会比较慢。

sigurlfind3r -h

上述命令将会显示如下信息：

_                  _  __ _           _ _____

 ___(_) __ _ _   _ _ __| |/ _(_)_ __   __| |___ / _ __

/ __| |/ _` | | | | '__| | |_| | '_ \ / _` | |_ \| '__|

\__ \ | (_| | |_| | |  | |  _| | | | | (_| |___) | |

|___/_|\__, |\__,_|_|  |_|_| |_|_| |_|\__,_|____/|_| 1.5.0

       |___/
USAGE:
  sigurlfind3r [OPTIONS]
OPTIONS:
   -d, --domain            domain to fetch urls for
  -eS, --exclude-sources   comma(,) separated list of sources to exclude
   -f, --filter            URL filtering regex
  -iS, --include-subs      include subdomains' urls
  -lS, --list-sources      list all the available sources
  -nC, --no-color          no color mode
   -s  --silent            silent mode: output urls only
  -uS, --use-sources       comma(,) separated list of sources to use
   -o, --output            output file

使用样例

基础使用

sigurlfind3r -d tesla.com

正则表达式过滤URL

sigurlfind3r -d tesla.com -f ".(jpg|jpeg|gif|png|ico|css|eot|tif|tiff|ttf|woff|woff2)"

包含子域名URL

sigurlfind3r -d tesla.com -iS

项目地址

sigurlfind3r：【GitHub传送门】