您当前的位置:首页 > 计算机 > 编程开发 > Python

Python 基于 urllib 使用 Handler 处理器(代理)

时间:02-28来源:作者:点击数:

一、简介

  • 为啥要使用 Handler?
    1、urllib.request.urlopen(url) 不能定制请求头。
    2、urllib.request.Request(url, data, headers) 可以定制请求头。
    3、Handler 定制更高级的请求头(随着业务逻辑的复杂,请求对象的定制已经满足不了需求,比如:动态 cookie和代理不能使用请求对象的定制)。
  • 要爬取的各种各样的网页,有一部填写需要验证码,有的需要 cookie,还有更多许多高级的功能,会阻碍你爬,而对于 openurl 单纯点理解就是打开网页。openurl 打开一个网址,它可以是一个字符串或者是一个 request 对象。而 build_opener 就是多了 handler,处理问题更专,更个性化。
  • 简单使用,通过 Handler 去完成 urlopen 打开网页的操作。
    # 使用 urllib
    import urllib.request
    
    # 定义 header
    headers = {
      # UA 最基本的防爬识别
      'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
    }
    
    # 1、定义一个 https 的 url
    url = 'https://www.baidu.com'
    
    # 2、定义一个 Request 对象,urlopen 方法并不能直接带 header。
    # 细节:为什么这里需要写 url=url 而有的地方不需要?因为 Request 构造方法传参顺序问题 Request(url, data=None, headers={} ...)
    request = urllib.request.Request(url=url, headers=headers)
    
    # 3、获取 Handler 对象
    handler = urllib.request.HTTPHandler()
    
    # 4、获取 opener 对象
    opener = urllib.request.build_opener(handler)
    
    # 5、调用 open 方法
    response = opener.open(request)
    
    # 6、获取内容字符串
    content = response.read().decode('utf-8')
    
    # 7 输出
    print(content)
    

二、IP代理

  • 使用同一个 IP 去不断地访问爬取数据,容易被对方服务器封 IP,这个时候就需要使用代理,简单点说,就是使用 N 个别人的 IP 去访问爬取数据。
  • 代理配置步骤:(参考上面 简单使用 案例步骤)
    1、创建 Request 对象
    2、创建 ProxyHandler 对象
    3、用 handler 对象创建 opener 对象
    4、使用 opener.open 函数发送请求
  • 使用案例
    # 使用 urllib
    import urllib.request
    # 使用 random
    import random
    
    # 定义 header
    headers = {
      # UA 最基本的防爬识别
      'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
    }
    
    # 方式一:字典形式的IP代理(https://www.kuaidaili.com/free/)
    # proxies = { 'http': '112.14.47.6:52024' }
    
    # 方式二:定义一个代理池,然后随机从代理池中获取一个代理
    proxies_pool = [
      { 'http':'112.14.47.6:52024' },
      { 'http':'61.164.39.68:53281' }
    ]
    proxies = random.choice(proxies_pool)
    
    # 输出当前代理
    print(proxies)
    
    # 1、定义一个 https 的 url
    url = 'https://www.baidu.com/s?wd=ip'
    
    # 2、定义一个 Request 对象,urlopen 方法并不能直接带 header。
    # 细节:为什么这里需要写 url=url 而有的地方不需要?因为 Request 构造方法传参顺序问题 Request(url, data=None, headers={} ...)
    request = urllib.request.Request(url=url, headers=headers)
    
    # 3、获取 Handler 对象
    handler = urllib.request.ProxyHandler(proxies=proxies)
    
    # 4、获取 opener 对象
    opener = urllib.request.build_opener(handler)
    
    # 5、调用 open 方法
    response = opener.open(request)
    
    # 6、获取内容字符串
    content = response.read().decode('utf-8')
    
    # 7 保存,可以方便校验IP是否代理成狗
    with open('ip.html', 'w', encoding='utf-8') as f:
      f.write(content)
    
方便获取更多学习、工作、生活信息请关注本站微信公众号城东书院 微信服务号城东书院 微信订阅号
推荐内容
相关内容
栏目更新
栏目热门