您当前的位置：首页 > 计算机 > 编程开发 > Python

从零开始写Python爬虫 --- 1.5 爬虫实践：笔趣阁小说批量下载

时间：11-12来源：作者：点击数：

目标网站

首先来看看我们排行榜的地址：

http://www.qu.la/paihangbang/

我们的目的很明确：找到各类排行旁的的每一部小说的名字和在该网站的链接。

网站分析

首先观察一下网页的结构：

我们很容易就能发现，每一个分类都是包裹在如下标签里

<div class="row row-rank">

这种调理清晰的网站，大大方便了我们爬虫的编写.

接着，我们在刚才那个div里寻找下小说的标题和链接

发现所有的小说都是在一个个列表里，并且里面清晰的定义了：

标题：title = div.a.text
链接：link = 'http://www.qu.la/' + div.a['href']

这样一来，我们只需要在当前页面找到所有小说的连接，并保存在列表就行了。

列表去重的小技巧：

细心的同学会发现，就算是不同类别的小说，也是会重复出现在排行榜的。

这样无形之间就会浪费我们很多资源，尤其是在面对爬大量网页的时候。

那么我们如何从抓取的url列表里去重呢？

刚学Python的小伙伴可能会去实现一个循环算法，来去重，

但是Python的强大之处就在于他可以通过及其优美的方式来解决很多问题，这里其实只要一行代码就能解决：

url_list = list(set(url_list))

这里我们调用了一个list的构造函数set：这样就能保证列表里没有重复的元素了。

单个小说所有章节链接：

首先我们从前面获取到的小说url连接选取一个做实验：

比如乾坤剑神：

https://www.qu.la/book/9118/

看下每个章节的网页结构,首先有翻页功能，可以点击【上一页】和【下一页】进行章节选择。

那么我们如何确定有多少章节，并且爬取每个章节的链接呢？

首先来看下每章节的链接，发现从第一章开始，往后每个章节链接中网页的数字依次递增，这样就不需要进行翻页(由于还没有讲到selenium，暂不考虑)，只需要判断受首章节的链接和末尾章节的链接。

末尾章节的链接在哪里找到呢？其实在第一页上已经给出了，这样我们能只需遍历这之间的页数即可，找到全部章节的链接。

我们可以很容易的找到对应章节的连接：

link='http://www.qu.la/' + url.a['href']

好的，这样我们就能把一篇小说的所有章节的链接爬下来了。

剩下最后一步：爬取文章内容：

文章内容的爬取：

首先我们打开一章，并查看他的源代码：

我们能发现所有的正文内容，都保存在：

<div id='content'>

所有的章节名就更简单了：

<h1 class="title"> 第一章 我改主意了</h1>

那我们通过bs4库的各种标签的查找方法，就能很简单的找到啦

好了，让我们看看具体代码的实现：

代码的实现

模块化，函数式编程是一个非常好的习惯，我们坚持把每一个独立的功能都写成函数，这样会使你的代码简单又可复用。

网页抓取头：

def get_html(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status
        # 我手动测试了编码。并设置好，这样有助于效率的提升
        r.encoding = ('utr-8')
        return r.text
    except:
        return "Someting Wrong！"

获取排行榜小说及其链接：

def get_content(url):
    '''
    爬取每一类型小说排行榜，
    按顺序写入文件，
    文件内容为 小说名字+小说链接
    将内容保存到列表
    并且返回一个装满url链接的列表
    '''
    url_list = []
    html = get_html(url)
    soup = bs4.BeautifulSoup(html, 'lxml')
    # 由于小说排版的原因，历史类和完本类小说不在一个div里

    category_list = soup.find_all('div', class_='index_toplist mright mbottom')

    history_finished_list = soup.find_all(
        'div', class_='index_toplist mbottom')

    for cate in category_list:
        name = cate.find('div', class_='toptab').span.string
        with open('novel_list.csv', 'a+') as f:
            f.write("\n小说种类：{} \n".format(name))

        # 我们直接通过style属性来定位总排行榜
        general_list = cate.find(style='display: block;')
        # 找到全部的小说名字，发现他们全部都包含在li标签之中
        book_list = general_list.find_all('li')
        # 循环遍历出每一个小说的的名字，以及链接
        for book in book_list:
            link = 'http://www.qu.la/' + book.a['href']
            title = book.a['title']
            # 我们将所有文章的url地址保存在一个列表变量里
            url_list.append(link)
            # 这里使用a模式，防止清空文件
            with open('novel_list.csv', 'a') as f:
                f.write("小说名：{:<} \t 小说地址：{:<} \n".format(title, link))

    for cate in history_finished_list:
        name = cate.find('div', class_='toptab').span.string
        with open('novel_list.csv', 'a') as f:
            f.write("\n小说种类：{} \n".format(name))

        general_list = cate.find(style='display: block;')
        book_list = general_list.find_all('li')
        for book in book_list:
            link = 'http://www.qu.la/' + book.a['href']
            title = book.a['title']
            url_list.append(link)
            with open('novel_list.csv', 'a') as f:
                f.write("小说名：{:<} \t 小说地址：{:<} \n".format(title, link))

    return url_list

获取单本小说的所有章节链接:

def get_txt_url(url):
    '''
    获取该小说每个章节的url地址：
    并创建小说文件

    '''
    url_list = []
    html = get_html(url)
    soup = bs4.BeautifulSoup(html, 'lxml')
    lista = soup.find_all('dd')
    txt_name = soup.find('h1').text
    with open('/Users/ehco/Documents/codestuff/Python-crawler/小说/{}.txt'.format(txt_name), "a+") as f:
        f.write('小说标题：{} \n'.format(txt_name))
    for url in lista:
        url_list.append('http://www.qu.la/' + url.a['href'])

    return url_list, txt_name

获取单页文章的内容并保存到本地:

这里有个小技巧：

我们从网上趴下来的文件很多时候都是带着

之类的格式化标签，

我们可以通过一个简单的方法把他过滤掉：

html = get_html(url).replace('<br/>', '\n')

我这里单单过滤了一种标签，并将其替换成‘\n’用于文章的换行，

def get_one_txt(url, txt_name):
    '''
    获取小说每个章节的文本
    并写入到本地
    '''
    html = get_html(url).replace('<br/>', '\n')
    soup = bs4.BeautifulSoup(html, 'lxml')
    try:
        txt = soup.find('div', id='content').text.replace(
            'chaptererror();', '')
        title = soup.find('title').text

        with open('/Users/ehco/Documents/codestuff/Python-crawler/小说/{}.txt'.format(txt_name), "a") as f:
            f.write(title + '\n\n')
            f.write(txt)
            print('当前小说：{} 当前章节{} 已经下载完毕'.format(txt_name, title))
    except:
        print('someting wrong')