多线程爬取多个免费代理IP网站,获取并验证可用代理IP,构建免费代理池,内含多种爬取规则,支持定时爬取,目前已经支持了 10+ 个免费代理源,返回 JSON 格式,方便用于对接其他程序。
单次运行能够获取 1W+ 代理IP,通过访问链接获取返回码进行可用性验证,实际可用IP大概为 50-300 个左右。
项目地址
https://github.com/Fog-Forest/free-proxy-pool
目前支持的免费代理源
如果有新的质量不错的免费代理网站,欢迎反馈或者根据规则尝试自行适配!
代理名称 | 状态 | 地址 |
---|---|---|
66免费代理 | √ | http://www.66ip.cn |
快代理 | √ | https://www.kuaidaili.com |
云代理 | √ | http://www.ip3366.net |
89免费代理 | √ | http://www.89ip.cn |
泥马代理 | √ | http://www.nimadaili.com |
西拉代理 | √ | http://www.xiladaili.com |
站大爷 | √ | https://www.zdaye.com |
开心代理 | √ | http://www.kxdaili.com |
高可用全球免费代理库 | √ | https://ip.jiangxianli.com |
小舒代理 | √ | http://www.xsdaili.cn |
太阳HTTP | √ | http://http.taiyangruanjian.com |
小幻HTTP代理 | √ | https://ip.ihuan.me |
齐云代理 | √ | https://www.7yip.cn |
使用说明
安装需要的支持库
pip install -r requirements.txt
运行
get-proxy.py
,根据提示输入即可
运行结果
注意事项
本项目仅仅是一个简单的脚本,请勿用作非法用途,通常免费代理质量都较差,不建议用于爬虫,本项目依然不够完善,后续随缘更新,如果发现 bug 或有新的功能添加,欢迎在 Issues 中反馈,同时也可以在此篇文章中留言。
推荐本站淘宝优惠价购买喜欢的宝贝:
本文链接:https://www.hqyman.cn/post/7415.html 非本站原创文章欢迎转载,原创文章需保留本站地址!
休息一下~~