本文介绍了解决HTTP连接过多未关闭及访问频率过高导致的禁止访问问题的方法。通过设置requests库参数来增加重连次数和关闭多余连接,同时介绍了如何使用代理服务器绕过访问限制,包括设置代理及headers,提供了获取代理的资源链接。
1.http连接太多没有关闭导致的,解决方法:
- import requests
- requests.adapters.DEFAULT_RETRIES = 5 # 增加重连次数
- s = requests.session()
- s.keep_alive = False # 关闭多余连接
- s.get(url) # 你需要的网址
2.访问次数频繁,被禁止访问,解决方法:使用代理
- import requests
- s = requests.session()
- url = "https://mail.126.com/"
- s.proxies = {"https": "57.10.114.47:8000", "http": "32.218.1.7:9999", }
- s.headers = header
- s.get(url)
爬取代理可参考:https://www.cdsy.xyz/computer/programme/Python/241209/cd64894.html