freeBuf
主站

分类

漏洞 工具 极客 Web安全 系统安全 网络安全 无线安全 设备/客户端安全 数据安全 安全管理 企业安全 工控安全

特色

头条 人物志 活动 视频 观点 招聘 报告 资讯 区块链安全 标准与合规 容器安全 公开课

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户,每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序

FreeBuf+小程序

防封ip解决方案之ip代理池
2020-07-22 14:35:30

本项目其实就是个简单的代理服务器,经过我小小的修改。加了个代理池进来。 渗透、爬虫的时候很容易就会把自己ip给ban了所以就需要ip代理池了。 

使用

1、启动ip代理池 先把这个项目跑起来 https://github.com/jhao104/proxy_pool

2、启动代理服务器

默认监听8080
java -jar proxyServer.jar

自定义监听端口
java -jar proxyServer.jar 9090

3、设置代理
设置好代理后你就发现每次请求的ip都不一样。

配置

简单说一下proxy_pool需要做的一些配置:
1、如果有更好的代理网站,或者是你买了代理ip。可以在根目录的/fetcher/proxyFetcher.py里面自己写个方法去爬,该方法需要以生成器(yield)形式返回host:ip,然后在根目录 的setting.py文件里面,把自己写的方法名添加进去。
2、redis默认装好是没密码的,需要修改setting.py,改为DB_CONN='redis://@127.0.0.1:6379/0'一般全部默认即可。

3、修改超时,把setting.py中的VERIFY_TIMEOUT改小点(2)。默认10秒,不然这种ip基本用不成。

4、已发布版的代理服务器,用的是proxy_pool默认端口。而且代理池需要和代理服务器跑在一起。

项目地址

大佬们给个star
项目地址:https://github.com/safe6Sec/proxyServer

感谢开源项目

https://github.com/casparhuan/proxyServer
https://github.com/jhao104/proxy_pool

本文作者:, 转载请注明来自FreeBuf.COM

# IP # 爬虫 # 代理服务器 # 代理IP # ip代理池
被以下专辑收录,发现更多精彩内容
+ 收入我的专辑
评论 按时间排序

登录/注册后在FreeBuf发布内容哦

相关推荐
  • 0 文章数
  • 0 评论数
  • 0 关注者
登录 / 注册后在FreeBuf发布内容哦
收入专辑