05
2024
08
16:24:03

自动爬取免费代理网站构建免费代理IP池 FreeProxyPool

多线程爬取多个免费代理IP网站,获取并验证可用代理IP,构建免费代理池,内含多种爬取规则,支持定时爬取,目前已经支持了 10+ 个免费代理源,返回 JSON 格式,方便用于对接其他程序。
单次运行能够获取 1W+ 代理IP,通过访问链接获取返回码进行可用性验证,实际可用IP大概为 50-300 个左右。

项目地址

https://github.com/Fog-Forest/free-proxy-pool

目前支持的免费代理源

如果有新的质量不错的免费代理网站,欢迎反馈或者根据规则尝试自行适配!

代理名称状态地址
66免费代理http://www.66ip.cn
快代理https://www.kuaidaili.com
云代理http://www.ip3366.net
89免费代理http://www.89ip.cn
泥马代理http://www.nimadaili.com
西拉代理http://www.xiladaili.com
站大爷https://www.zdaye.com
开心代理http://www.kxdaili.com
高可用全球免费代理库https://ip.jiangxianli.com
小舒代理http://www.xsdaili.cn
太阳HTTPhttp://http.taiyangruanjian.com
小幻HTTP代理https://ip.ihuan.me
齐云代理https://www.7yip.cn

使用说明

  1. 安装需要的支持库 pip install -r requirements.txt

  2. 运行 get-proxy.py,根据提示输入即可

运行结果

注意事项

本项目仅仅是一个简单的脚本,请勿用作非法用途,通常免费代理质量都较差,不建议用于爬虫,本项目依然不够完善,后续随缘更新,如果发现 bug 或有新的功能添加,欢迎在 Issues 中反馈,同时也可以在此篇文章中留言。




推荐本站淘宝优惠价购买喜欢的宝贝:

image.png

本文链接:https://www.hqyman.cn/post/7415.html 非本站原创文章欢迎转载,原创文章需保留本站地址!

分享到:
打赏





休息一下~~


« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

请先 登录 再评论,若不是会员请先 注册

您的IP地址是: