scrapy 爬取图片

scrapy 爬取图片

1.scrapy 有下载图片的自带接口,不用我们在去实现

setting.py设置

# 保存log信息的文件名
LOG_LEVEL = "INFO"
# LOG_STDOUT = True
# LOG_ENCODING = 'utf-8'
# # 路径  os.path.dirname(os.path.dirname(os.path.dirname(__file__)))
# LOG_FILE = "info.log"

# 下载延迟
import random
DOWNLOAD_DELAY = random.random() + random.random()
RANDOMIZE_DOWNLOAD_DELAY = True

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36'

# 图片下载路径
import os
BASE_DIR = os.path.dirname((os.path.abspath(__file__)))
MEDIA_ALLOW_REDIRECTS = True
IMAGES_STORE = os.path.join(BASE_DIR, "images")

# 在配置文件settings.py中设置IMAGES_THUMBS，它是一个字典，每一项的值是缩略图的尺寸。 开启这个功能后，下载一张图片时，本地会出现3张图片，1张原图片，2张缩略图。
IMAGES_THUMBS = {
    'small': (50, 50),
    'big': (270, 270),
}

＃ 设置图文件过期时间   30天
IMAGES_EXPIRES = 30
# 在配置文件settings.py中设置IMAGES_MIN_HEIGHT和IMAGES_MIN_WIDTH，它们分别指定需要过滤掉的最小尺寸图片的宽和高。
IMAGES_MIN_WIDTH = 110  # 最小宽度
IMAGES_MIN_HEIGHT = 110  # 最小高度

ITEM_PIPELINES = {
   'steam_image.pipelines.SteamImagePipeline': 300,
   'steam_image.pipelines.SteamDownLoadPipeline': 100,   # 开启下载下载中间件
}

2.spider

# -*- coding: utf-8 -*-
import scrapy, pymysql, copy


class ImagesSpider(scrapy.Spider):
    name = 'images'
    allowed_domains = ['.com']
    start_urls = ['https://www.baidu.com/']

    def parse(self, response):
        db = pymysql.connect(host='localhost', port=3306, database='game', user='root', password='root',
                             charset='utf8', autocommit=True)
        cursor = db.cursor()
        cursor.execute(
            'SELECT id, appid, steam_image, steam_image_600_338 from steam_game_image WHERE id<5')  #  获取图片url
        for appid in cursor.fetchall():
            for i in range(2, 4):
                item = {}
                item['id'] = appid[0]
                item['appid'] = appid[1]
                item['image_url'] = appid[i]   # 下载图片的url    前面要自己获取到 图片的url   可以自己爬
                item['img_name'] = str(item['appid']) + '_' + appid[i].split('/')[-1].split('?')[0]   # 后面图片要命名的名称
                yield item

3.pipelines.py

# -*- coding: utf-8 -*-
from scrapy.pipelines.images import ImagesPipeline  # 导入图片类
import scrapy, os
from steam_image.settings import IMAGES_STORE as IMGS  # 导入图片保存路径


class SteamImagePipeline(object):
    def process_item(self, item, spider):
        return item


# 下载图片管道
class SteamDownLoadPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        yield scrapy.Request(item['image_url'])  # 下载图片

    def item_completed(self, results, item, info):
        print('******the results is********:', results)
        # results = [(True, {'url': 'http://img.ivsky.com/img/bizhi/pre/201101/10/harry_potter5-015.jpg', 'path': 'full/539c5914730497b094e5c98bfdfe19b65f5.jpg', 'checksum': '37d23ffb0ab983ac2da9a9d'})]
        # 真实结构为一个list [(DownLoad_success_or_failure)，dict]，字典中含有三个键：1、'url'：图片路径 2、'path'：图片下载后的保存路径 3、'checksum'：校验码
        if results[0][0]:  # 可以判断图片下载是否成功   成功显示 Trur  失败显示False
            try:
                os.rename(IMGS + '\\' + results[0][1]['path'],
                          IMGS + '\\' + item['img_name'])  # 默认图片命名是嘻哈值  这里我们要改成自己的需要的图片名称  item['img_name] 是spider我们自己定义传过的
            except Exception as e:
                print('错误类型:{}'.format(e))  # 如果这个文件名称 我们前面的重命名回报错,这里我们要捕捉一下

    def close_spider(self, spider):
        # 完成后删除full目录  默认图片下载在你下载目录下回生成一个full文件,  你下载的图片默认回放在这个文件中
        os.removedirs(IMGS + '\\' + 'full')