爬取不规范html网页文本时，用html5lib解析不规范的html文本

时间：12-07来源：作者：点击数：

安装解析器：

 pip install html5lib

from lxml import etree
from bs4 import BeautifulSoup

# text中<tr>标签只有闭合标签，没有起始标签
text = """
<table>
        <td>姓名</td>
        <td>年龄</td>
    </tr>
        <td>出生日期</td>
        <td>地址</td>
    </tr>
        <td>说明</td>
        <td>备注</td>
    </tr>
</table>
"""
# 默认是lxml解析
html = etree.HTML(text)
# 结果：[]，lxml无法正确解析出不规范的标签
print(html.xpath('//table/tr[1]/td[1]/text()'))

#利用BeautifulSoup和html5lib先将不规范的html文本转为规范的文本再解析
soup = BeautifulSoup(text,'html5lib')
print(soup.prettify()) # 结果大概如下，自动补全了标签
"""
<html><head></head><body>
<table>
    <tbody>
        <tr>
            <td>姓名</td>
            <td>年龄</td>
        </tr>
        <tr>
            <td>出生日期</td>
            <td>地址</td>
        </tr>
        <tr>
            <td>说明</td>
            <td>备注</td>
        </tr>
    </tbody>
</table>
</body></html>
"""
html = etree.HTML(soup.prettify())
# 结果：['\n      姓名\n     ']
print(html.xpath('//table/tbody/tr[1]/td[1]/text()'))

方便获取更多学习、工作、生活信息请关注本站微信公众号 城东书院微信服务号

来顶一下

返回首页

上一篇:Python中str转为dict的两种解决方法，及json.decoder.JSONDecodeError报错处理下一篇:采用bs4和xpath两种方法抓取国外图书网站关于书的信息,保存到MongoDB、Redis、MySQL数据库

InDesign入门教程\|半	Vmware虚拟机三种网络
Git的安装与卸载详细	Photoshop非常实用的