Python ‘utf-8‘ codec can‘t decode byte 0x8b in position 1: invalid start byte

案例一：

# 使用 urllib
import urllib.request
# 使用 json
import json

# 定义 header
headers = {
  # 'Accept': '*/*',

  # 因为有 `Accept-Encoding` 这行会报错：'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte
  # 'Accept-Encoding': 'gzip, deflate, br', # 在写爬虫的时候这一句话一定要注释掉，因为接受编码格式没有 `utf-8`

  # 'Accept-Language': 'zh-CN,zh;q=0.9',
  # 'Acs-Token': '1668323009647_1668329342293_ts2LNTmAMNu8bz6UcQlmajMjkFeD7EM7TNicuMqP14qLPx6R8FOs/pHR9jGpORyVc3jkLtMD7dh7/9XDK7+b5SqO0f2bzrYB1DzNkaXGMwkcPyDo9cygYroE1pFoncx4VbCQu/ieJyUK+TbYU4atAB/XCth4Lc8zNYRCQuOtbLb2zJ9RX1Jj7krqZIfNr14muZP1N5+rq7cjPbnBgvf5V6m03XLliDp4ueln/xS/qSQVL3XiWSOpemYY9gD9UHaUVPGIi4Q6uIT/05yCxxhd4kJCfeRys/AiOLQ+nbNaXUGoyTBZg90HLn6A9NTb5HAF',
  # 'Connection': 'keep-alive',
  # 'Content-Length': '135',
  # 'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',

  # 防爬方式的一种，验证 `Cookie`
  'Cookie': '换成自己百度账号的 Cookie',
  
  # 'Host': 'fanyi.baidu.com',
  # 'Origin': 'https://fanyi.baidu.com',
  # 'Referer': 'https://fanyi.baidu.com/',
  # 'sec-ch-ua': '"Google Chrome";v="107", "Chromium";v="107", "Not=A?Brand";v="24"',
  # 'sec-ch-ua-mobile': '?0',
  # 'sec-ch-ua-platform': '"macOS"',
  # 'Sec-Fetch-Dest': 'empty',
  # 'Sec-Fetch-Mode': 'cors',
  # 'Sec-Fetch-Site': 'same-origin',
  # 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
  # 'X-Requested-With': 'XMLHttpRequest'
}

# 请求地址
url = 'https://fanyi.baidu.com/v2transapi?from=zh&to=en'


# 参数
params = {
  'from': 'zh',
  'to': 'en',
  'query': '名称',
  'transtype': 'realtime',
  'simple_means_flag': '3',
  'sign': '386125.67452',
  'token': '换成自己百度账号的 token',
  'domain': 'common'
}

# 上面直接使用参数字符串会报错，是因为 post 请求参数必须要要进行编码
data = urllib.parse.urlencode(params).encode('utf-8')

# 模拟浏览器向服务器发送请求
request = urllib.request.Request(url=url, data=data, headers=headers)

# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)

# 获取内容字符串
content = response.read().decode('utf-8')

# 将字符串转成 json
obj = json.loads(content)

# 输出 json
print(obj)

案例二：

# 测试 https://weibo.cn/pub/，抓取个人详细资料：https://weibo.cn/xxxx/info
# 重点：
# 直接访问个人资料页，页面编码格式是 UTF-8 但是还是报编码格式错误，
# 是因为没有进入到个人信息页面，而是跳转到了登录页面，登录页面不是 UTF-8 所以报错，也就是校验信息没带全，算没登录

# 引用 urllib
import urllib.request

# 请求头
headers = {
  # 校验 ua ，防爬方式的一种
  'user-agent': '',
  # 主要就是少了这一行，cookie 携带着登录信息，如果有登录之后的 cookie，那么就能通过携带 cookie 进入任何页面，防爬方式的一种
  'cookie': '',
  # 用于判断当前路径是不是由上一个路径进来的，如果不是也会报错，一般情况是做图片的防盗链，防爬方式的一种，这种方式属于可选防爬方式不是每个网站都校验这个
  'referer': 'https://weibo.cn/'
}

# 请求地址
url = 'https://weibo.cn/xxx/info'

# 请求对象
request = urllib.request.Request(url=url, headers=headers)

# 模拟浏览器向服务器发起请求
response = urllib.request.urlopen(request)

# 如果报错编码格式错误，可以通过输出 read() 内容查看网页编码，但是只适用个别网页
# print(response.read()) # <meta charset="gb2312">

# 获取响应数据
content = response.read().decode('utf-8')
# print(content)

# 将页面数据保存，方便确认当前在哪（打开保存的文件会发现是 登录页面）
with open('weibo.html', 'w', encoding='utf-8') as f:
  f.write(content)