freeBuf
主站

分类

漏洞 工具 极客 Web安全 系统安全 网络安全 无线安全 设备/客户端安全 数据安全 安全管理 企业安全 工控安全

特色

头条 人物志 活动 视频 观点 招聘 报告 资讯 区块链安全 标准与合规 容器安全 公开课

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户,每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序

FreeBuf+小程序

如何使用PyMeta搜索和提取目标域名相关的元数据
2023-07-06 00:15:52
所属地 广西


关于PyMeta

PyMeta是一款针对目标域名元数据的信息收集工具,该工具基于Python 3开发,是PowerMeta(基于PowerShell开发)的Python 3重构版本,在该工具的帮助下,广大研究人员可以将目标域名相关的网页元数据(文件等)提取到本地,这种技术可以有助于我们识别目标域名、用户名、软件/版本和命名约定等。

该工具使用了专门设计的搜索查询方式,并使用了Google和Bing实现数据爬取,并能从给定的域中识别和下载以下文件类型:pdf、xls、xlsx、csv、doc、docx、ppt、pptx。

下载完成后,该工具将使用exiftool从这些文件中提取元数据,并将其添加到.csv报告中。或者,Pymeta可以指向一个目录,并使用-dir命令行参数手动从下载的文件中提取元数据。

工具要求

该工具的正常运行需要使用到exiftool,安装命令如下:

Ubuntu/Kali:

apt-get install exiftool -y

macOS:

brew install exiftool

工具安装

由于该工具基于Python 3开发,因此我们首先需要在本地设备上安装并配置好Python 3环境。接下来,广大研究人员可以直接使用Pypi来安装PyMeta:

pip3 install pymetasec

除此之外,我们也可以使用下列命令将该项目源码克隆至本地,并使用安装脚本进行安装:

git clone https://github.com/m8sec/pymeta

cd pymeta

python3 setup.py install

工具参数选项

options:

  -h, --help              显示工具帮助信息和退出

  -T MAX_THREADS       文件下载的最大线程数量,默认为5 

  -t TIMEOUT             每次搜索任务的最大超时时间,默认为8s

  -j JITTER                每次请求抖动间隔,默认为1s

 

Search Options:

  -s ENGINE, --search ENGINE    搜索引擎,默认为'google,bing'

  --file-type FILE_TYPE  搜索的文件类型,默认为pdf,xls,xlsx,csv,doc,docx,ppt,pptx

  -m MAX_RESULTS                每次搜索的最大结果数量

 

Proxy Options:

  --proxy PROXY         代理请求 (IP:Port)

  --proxy-file PROXY      从文件加载代理

 

Output Options:

  -o DWNLD_DIR          创建下载目录路径,默认为./

  -f REPORT_FILE         自定义报告名称 ("pymeta_report.csv")

 

Target Options:

  -d DOMAIN             设置目标域名

  -dir FILE_DIR             设置结果文件目录

工具使用

使用Google和Bing搜索example.com域名中的所有文件,并提取元数据,然后将结果存储至csv报告中:

pymeta -d example.com

提取给定目录中所有文件的元数据,并生成csv报告:

pymeta -dir Downloads/

许可证协议

本项目的开发与发布遵循GPL-3.0开源许可证协议。

项目地址

PyMeta:【GitHub传送门

参考资料

https://github.com/dafthack/PowerMeta

https://sno.phy.queensu.ca/~phil/exiftool/

本文作者:, 转载请注明来自FreeBuf.COM

# 服务器安全 # 数据提取 # 元数据 # 域名安全
被以下专辑收录,发现更多精彩内容
+ 收入我的专辑
+ 加入我的收藏
相关推荐
  • 0 文章数
  • 0 关注者
文章目录