freeBuf
主站

分类

漏洞 工具 极客 Web安全 系统安全 网络安全 无线安全 设备/客户端安全 数据安全 安全管理 企业安全 工控安全

特色

头条 人物志 活动 视频 观点 招聘 报告 资讯 区块链安全 标准与合规 容器安全 公开课

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户,每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序

FreeBuf+小程序

如何使用socid_extractor从多个网站提取用户账号信息
2022-04-11 19:58:12
所属地 广西

关于socid_extractor

socid_extractor是一款功能强大的OSINT公开资源情报收集工具,在该工具的帮助下,广大研究人员可以轻松从多个不同网站的用户个人页面收集账号信息。值得一提的是,socid_extractor能够通过账号Web页面或API响应来收集用户的相关信息,并将其存储为机器可读的格式。

使用的组件

Maigret:强大的名称检查工具,支持从目标账号生成所有可用的信息;

TheScrapper:支持从网站爬取电子邮件、手机号码和社交媒体账号;

YaSeeker:可通过邮件和登录信息收集Yandex账号所有可用的信息;

Marple:针对给定用户名爬取搜索引擎结果;

工具下载

该工具基于Python开发,因此我们首先需要在本地设备上安装并配置好Python环境。

广大研究人员可以使用下列命令将该项目源码克隆至本地:

git clone https://github.com/soxoj/socid-extractor.git

除此之外,我们还可以使用pip3命令来安装socid_extractor:

$ pip3 install socid-extractor

如果你需要安装该工具的最新开发版本,可以使用下列命令直接从该项目的GitHub库获取:

$ pip3 install -U git+https://github.com/soxoj/socid_extractor.git

工具测试

python3 -m pytest tests/test_e2e.py -n 10  -k 'not cookies' -m 'not github_failed and not rate_limited'

工具使用

以命令行工具的形式使用:

$ socid_extractor --url https://www.deviantart.com/muse1908

country: France

created_at: 2005-06-16 18:17:41

gender: female

username: Muse1908

website: www.patreon.com/musemercier

links: ['https://www.facebook.com/musemercier', 'https://www.instagram.com/muse.mercier/', 'https://www.patreon.com/musemercier']

tagline: Nothing worth having is easy...

如果没有执行工具的安装脚本,没关系,我们还可以直接使用下列命令来直接运行socid_extractor:

$ ./run.py --url https://www.deviantart.com/muse1908

除此之外,我们还可以将该工具以Python库的形式来使用:

>>> import socid_extractor, requests

>>> r = requests.get('https://www.patreon.com/annetlovart')

>>> socid_extractor.extract(r.text)

{'patreon_id': '33913189', 'patreon_username': 'annetlovart', 'fullname': 'Annet Lovart', 'links': "['https://www.facebook.com/322598031832479', 'https://www.instagram.com/annet_lovart', 'https://twitter.com/annet_lovart', 'https://you*tube.com/channel/UClDg4ntlOW_1j73zqSJxHHQ']"}

支持的网站和方法

该工具针对多种不同的站点和平台提供了超过100种数据收集技术方法,其中包括但不限于:

Google(所有的文档页面和地图点贡献信息),需要Cookie;

Yandex(磁盘、相册、znatoki、音乐、集合等),需要Cookie来防止验证码屏蔽;

Mail.ru(my.mail.ru用户主页、照片、视频、游戏、圈子)

Facebook(用户 & 组页面)

VK.com(用户页面)

OK.ru(用户页面)

Instagram

Reddit

Medium

Flickr

Tumblr

TikTok

GitHub

...

我们还可以查看该项目提供的【测试文件】来获取数据样例,或查看【scheme文件】来了解该工具支持的所有数据收集技术方法。

项目地址

socid_extractor:GitHub传送门

参考资料

https://github.com/soxoj/maigret

https://github.com/champmq/TheScrapper

https://github.com/HowToFind-bot/YaSeeker

https://github.com/soxoj/marple

https://medium.com/week-in-osint/getting-a-grasp-on-googleids-77a8ab707e43

https://osintcurio.us/2019/10/01/searching-instagram-part-2/

https://www.aware-online.com/en/importance-of-user-ids-in-social-media-investigations/

https://www.eff.org/wp/behind-the-one-way-mirror

https://www.nytimes.com/interactive/2019/12/19/opinion/location-tracking-cell-phone.html

# 数据安全 # 信息收集 # OSINT # 数据收集
本文为 独立观点,未经允许不得转载,授权请联系FreeBuf客服小蜜蜂,微信:freebee2022
被以下专辑收录,发现更多精彩内容
+ 收入我的专辑
+ 加入我的收藏
相关推荐
  • 0 文章数
  • 0 关注者
文章目录