不少网站都使用了字体库对数据进行加密,即页面源码中的数据与显示出来的数据不同。
实现的效果和前面发布的那篇关于 X 薯中文网的效果类似,但是原理大不相同。
在字体加密的网站中用户也是无法直接进行复制网页内容的。
目前有使用字体加密的网站大概有下面这些:
58同城,起点,猫眼,大众点评,启信宝,天眼查,实习僧,汽车之家
既然这么多的网站都采用了字体加密,那么它一定是一个有效的反爬手段,作为爬虫工程师我们应该如何应对呢?
首先我们应该先了解一下什么是字体加密。
网页字体是一个字形集合,而每个字形是描述字母或符号的矢量形状。
因此,特定字体文件的大小由两个简单变量决定:每个字形矢量路径的复杂程度和特定字体中字形的数量。
通俗一点,同一内容的网页字体每个字形应该都是大同小异的,我们可以通过比对字体文件的字形来确认映射的内容。
关于字体加密的描述文章实在太多了,个人建议还是看看 Google 官方关于网页字体的文章。
https://developers.google.com/web/fundamentals/performance/optimizing-content-efficiency/webfont-optimization?hl=zh-cn
接着是关于网页字体加密映射的原理图,下图来自谷雨解字:
https://guyujiezi.com/
在爬虫爬取页面的时候,页面中的代码是阴书,但是在人眼看到的是原文,这样的映射关系让爬虫无法顺利爬取到网站内容。
通过上面的字体加密原理图,我们大概了解到字体加密的原理。
我推荐没有搞过字体加密的朋友找个比较简单的网站练手,网上写的比较多的例子是猫眼的专业版。
猫眼的字体解密文章非常多,建议没有接触过得朋友可以先自己动手试试,咸鱼也会在之后更新字体解密系列的文章。
下面是字体解密的大致流程:
小书童这里直接上资源的链接。
一是查看字体的软件FontCreator,支持 window 。
链接:https://pan.baidu.com/s/1tUznnSB3siI2rVY9Whv88A 密码:ygz9
二是打开字体的网站,适合 mac 系统的朋友使用。
先通过 cloudconvert 把字体文件转化为 svg 后再用 fontello 打开查看
http://fontello.com/
https://cloudconvert.com/ttf-to-svg
如果嫌弃上面转换太过麻烦可以用百度字体打开。
http://fontstore.baidu.com/static/editor/index.html
小书童推荐使用FontCreator以及百度字体。
打开后显示的样子与下图类似。