深度学习识别滑动验证码缺口
深度学习识别滑动验证码缺口，基于DeepLearningSlideCaptcha2
1. 准备工作
本节主要侧重于完成利用深度学习模型来识别验证码缺口的过程，所以不会侧重于讲解深度学习模型的算法，另外由于整个模型实现较为复杂，本节也不会从零开始编写代码，而是倾向于把代码提前下载下来进行实操练习。
所以在最后，请提前代码下载下来，仓库地址为：https://github.com/Python3WebSpider/DeepLearningSlideCaptcha2 ，利用Git 把它克隆下来：
git clone https://github.com/Python3WebSpider/DeepLearningSlideCaptcha2.git
运行完毕之后，本地就会出现一个 DeepLearningImageCaptcha2 的文件夹，就证明克隆成功了。
克隆完毕之后，请切换到 DeepLearningImageCaptcha2 文件夹，安装必要的依赖库：
pip3 install -r requirements.txt
运行完毕之后，本项目运行所需要的依赖库就全部安装好了。
以上准备工作都完成之后，那就让我们就开始本节正式的学习吧。
2. 目标检测
识别滑动验证码缺口的这个问题，其实可以归结为目标检测问题。那什么叫目标检测呢？在这里简单作下介绍。
目标检测，顾名思义，就是把我们想找的东西找出来。比如给一张「狗」的图片，如图所示：
我们想知道这只狗在哪，它的舌头在哪，找到了就把它们框选出来，这就是目标检测。
经过目标检测算法处理之后，我们期望得到的图片是这样的：
可以看到这只狗和它的舌头就被框选出来了，这就完成了一个不错的目标检测。
现在比较流行的目标检测算法有 R-CNN、Fast R-CNN、Faster R-CNN、SSD、YOLO 等，感兴趣可以了解一下，当然不太了解对本节要完成的目标也没有什么影响。
当前做目标检测的算法主要有两种方法，有一阶段式和两阶段式，英文叫做 One stage 和 Two stage，简述如下：
- Two Stage：算法首先生成一系列目标所在位置的候选框，然后再对这些框选出来的结果进行样本分类，即先找出来在哪，然后再分出来是啥，俗话说叫「看两眼」，这种算法有 R-CNN、Fast R-CNN、Faster R-CNN 等，这些算法架构相对复杂，但准确率上有优势。
- One Stage：不需要产生候选框，直接将目标定位和分类的问题转化为回归问题，俗话说叫「看一眼」，这种算法有 YOLO、SSD，这些算法虽然准确率上不及 Two stage，但架构相对简单，检测速度更快。
所以这次我们选用 One Stage 的有代表性的目标检测算法 YOLO 来实现滑动验证码缺口的识别。
YOLO，英文全称叫做 You Only Look Once，取了它们的首字母就构成了算法名，
目前 YOLO 算法最新的版本是 V5 版本，应用比较广泛的是 V3 版本，这里算法的具体流程我们就不过多介绍了，感兴趣的可以搜一下相关资料了解下，另外也可以了解下 YOLO V1-V3 版本的不同和改进之处，这里列几个参考链接：
- YOLO V3 论文：https://pjreddie.com/media/files/papers/YOLOv3.pdf1
- YOLO V3 介绍：https://zhuanlan.zhihu.com/p/34997279
- YOLO V1-V3 对比介绍：https://www.cnblogs.com/makefile/p/yolov3.html
3. 数据准备
像上一节介绍的一样，要训练深度学习模型也需要准备训练数据，数据也是分为两部分，一部分是验证码图像，另一部分是数据标注，即缺口的位置。但和上一节不一样的是，这次标注不再是单纯的验证码文本了，因为这次我们需要表示的是缺口的位置，缺口对应的是一个矩形框，要表示一个矩形框，至少需要四个数据，如左上角点的横纵坐标 x、y，矩形的宽高 w、h，所以标注数据就变成了四个数字。
所以，接下来我们就需要准备一些验证码图片和对应的四位数字的标注了，比如下图的滑动验证码：
好，那接下来我们就完成这两步吧，第一步就是收集验证码图片，第二步就是标注缺口的位置并转为我们想要的四位数字。
在这里我们的示例网站是 https://captcha1.scrape.center/，打开之后点击登录按钮便会弹出一个滑动验证码，如图所示：
我们需要做的就是单独将滑动验证码的图像保存下来，也就是这个区域：
怎么做呢？靠手工截图肯定不太可靠，费时费力，而且不好准确定位边界，会导致存下来的图片有大有小。为了解决这个问题，我们可以简单写一个脚本来实现下自动化裁切和保存，就是仓库中的 collect.py 文件，代码如下：
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import WebDriverException
import time
from loguru import logger
COUNT = 1000
for i in range(1, COUNT + 1):
try:
browser = webdriver.Chrome()
wait = WebDriverWait(browser, 10)
browser.get('https://captcha1.scrape.center/')
button = wait.until(EC.element_to_be_clickable(
(By.CSS_SELECTOR, '.el-button')))
button.click()
captcha = wait.until(
EC.presence_of_element_located((By.CSS_SELECTOR, '.geetest_slicebg.geetest_absolute')))
time.sleep(5)
captcha.screenshot(f'data/captcha/images/captcha_{i}.png')
except WebDriverException as e:
logger.error(f'webdriver error occurred {e.msg}')
finally:
browser.close()
在这里我们先定义了一个循环，循环次数为 COUNT 次，每次循环都使用 Selenium 启动一个浏览器，然后打开目标网站，模拟点击登录按钮触发验证码弹出，然后截取验证码对应的节点，再用 screenshot 方法将其保存下来。
我们将其运行：
python3 collect.py
运行完了之后我们就可以在 data/captcha/images/ 目录获得很多验证码图片了，样例如图所示：
获得验证码图片之后，我们就需要进行数据标注了，这里推荐的工具是 labelImg，GitHub 地址为 https://github.com/tzutalin/labelImg，使用 pip3 安装即可：
pip3 install labelImg
安装完成之后可以直接命令行运行：
labelImg
这样就成功启动了 labelImg：
点击 Open Dir 打开 data/captcha/images/ 目录，然后点击左下角的 Create RectBox 创建一个标注框，我们可以将缺口所在的矩形框框选出来，框选完毕之后 labelImg 就会提示保存一个名称，我们将其命名为 target，然后点击 OK，如图所示：
这时候我们可以发现其保存了一个 xml 文件，内容如下：
<annotation>
<folder>images</folder>
<filename>captcha_0.png</filename>
<path>data/captcha/images/captcha_0.png</path>
<source>
<database>Unknown</database>
</source>
<size>
<width>520</width>
<height>320</height>
<depth>3</depth>
</size>
<segmented>0</segmented>
<object>
<name>target</name>
<pose>Unspecified</pose>
<truncated>0</truncated>
<difficult>0</difficult>
<bndbox>
<xmin>321</xmin>
<ymin>87</ymin>
<xmax>407</xmax>
<ymax>167</ymax>
</bndbox>
</object>
</annotation>
其中可以看到 size 节点里有三个节点，分别是 width、height、depth，分别代表原验证码图片的宽度、高度、通道数。另外 object 节点下的 bndbox 节点就包含了标注缺口的位置，通过观察对比可以知道 xmin、ymin 指的就是左上角的坐标，xmax、ymax 指的就是右下角的坐标。
我们可以用下面的方法简单进行下数据处理：
import xmltodict
import json
def parse_xml(file):
xml_str = open(file, encoding='utf-8').read()
data = xmltodict.parse(xml_str)
data = json.loads(json.dumps(data))
annoatation = data.get('annotation')
width = int(annoatation.get('size').get('width'))
height = int(annoatation.get('size').get('height'))
bndbox = annoatation.get('object').get('bndbox')
box_xmin = int(bndbox.get('xmin'))
box_xmax = int(bndbox.get('xmax'))
box_ymin = int(bndbox.get('ymin'))
box_ymax = int(bndbox.get('ymax'))
box_width = (box_xmax - box_xmin) / width
box_height = (box_ymax - box_ymin) / height
return box_xmin / width, box_ymin / height, box_width / width, box_height / height
这里我们定义了一个 parse_xml 方法，这个方法首先读取了 xml 文件，然后使用 xmltodict 库就可以将 XML 字符串转为 JSON，然后依次读取出验证码的宽高信息，缺口的位置信息，最后返回了想要的数据格式 —— 缺口左上角的坐标和宽高相对值，以元组的形式返回。
都标注完成之后，对每个 xml 文件调用此方法便可以生成想要的标注结果了。
在这里，我已经将对应的标注结果都处理好了，可以直接使用，路径为 data/captcha/labels，如图所示：
每个 txt 文件对应一张验证码图的标注结果，内容类似如下：
0 0.6153846153846154 0.275 0.16596774 0.24170968
第一位 0 代表标注目标的索引，由于我们只需要检测一个缺口，所以索引就是 0；第 2、3 位代表缺口的左上角的位置，比如 0.615 则代表缺口左上角的横坐标在相对验证码的 61.5% 处，乘以验证码的宽度 520，结果大约就是 320，即左上角偏移值是 320 像素；第 4、5 代表缺口的宽高相对验证码图片的占比，比如第 5 位 0.24 乘以验证码的高度 320，结果大约是 77，即缺口的高度大约为 77 像素。
好了，到此为止数据准备阶段就完成了。
4. 训练
为了更好的训练效果，我们还需要下载一些预训练模型。预训练的意思就是已经有一个提前训练过的基础模型了，我们可以直接使用提前训练好的模型里面的权重文件，我们就不用从零开始训练了，只需要基于之前的模型进行微调就好了，这样既可以节省训练时间，又可以有比较好的效果。
YOLOV3 的训练要加载预训练模型才能有不错的训练效果，预训练模型下载命令如下：
bash prepare.sh
注意：在 Windows 下请使用 Bash 命令行工具如 Git Bash 来运行此命令。
执行这个脚本，就能下载 YOLO V3 模型的一些权重文件，包括 yolov3 和 weights 还有 darknet 的 weights，在训练之前我们需要用这些权重文件初始化 YOLO V3 模型。
接下来就可以开始训练了，执行如下脚本：
bash train.sh
注意：在 Windows 下请同样使用 Bash 命令行工具如 Git Bash 来运行此命令。
同样推荐使用 GPU 进行训练，训练过程中我们可以使用 TensorBoard 来看看 loss 和 mAP 的变化，运行 TensorBoard：
tensorboard --logdir='logs' --port=6006 --host 0.0.0.0
注意：请确保已经正确安装了本项目的所有依赖库，其中就包括 TensorBoard，安装成功之后便可以使用 tensorboard 命令。
运行此命令后可以在 http://localhost:6006 观察到训练过程中的 loss 变化。
loss_1 变化类似如下：
val_mAP 变化类似如下：
可以看到 loss 从最初的非常高下降到了很低，准确率也逐渐接近 100%。
这是训练过程中的命令行的一些输出结果：
---- [Epoch 99/100, Batch 27/29] ----
+------------+--------------+--------------+--------------+
| Metrics | YOLO Layer 0 | YOLO Layer 1 | YOLO Layer 2 |
+------------+--------------+--------------+--------------+
| grid_size | 14 | 28 | 56 |
| loss | 0.028268 | 0.046053 | 0.043745 |
| x | 0.002108 | 0.005267 | 0.008111 |
| y | 0.004561 | 0.002016 | 0.009047 |
| w | 0.001284 | 0.004618 | 0.000207 |
| h | 0.000594 | 0.000528 | 0.000946 |
| conf | 0.019700 | 0.033624 | 0.025432 |
| cls | 0.000022 | 0.000001 | 0.000002 |
| cls_acc | 100.00% | 100.00% | 100.00% |
| recall50 | 1.000000 | 1.000000 | 1.000000 |
| recall75 | 1.000000 | 1.000000 | 1.000000 |
| precision | 1.000000 | 0.800000 | 0.666667 |
| conf_obj | 0.994271 | 0.999249 | 0.997762 |
| conf_noobj | 0.000126 | 0.000158 | 0.000140 |
+------------+--------------+--------------+--------------+
Total loss 0.11806630343198776
这里显示了训练过程中各个指标的变化情况，如 loss、recall、precision、confidence 等，分别代表训练过程的损失（越小越好）、召回率（能识别出的结果占应该识别出结果的比例，越高越好）、精确率（识别出的结果中正确的比率，越高越好）、置信度（模型有把握识别对的概率，越高越好），可以作为参考。
5. 测试
训练完毕之后会在 checkpoints 文件夹生成 pth 文件，这就是一些模型文件，和上一节的 best_model.pkl 是一样的原理，只不过表示形式略有不同，我们可直接使用这些模型来预测生成标注结果。
要运行测试，我们可以先在测试文件夹 data/captcha/test 放入一些验证码图片：
样例验证码如下：
要运行测试，执行如下脚本：
bash detect.sh
该脚本会读取测试文件夹所有图片，并将处理后的结果输出到 data/captcha/result 文件夹，控制台输出了一些验证码的识别结果。
同时在 data/captcha/result 生成了标注的结果，样例如下：
可以看到，缺口就被准确识别出来了。
实际上，detect.sh 是执行了 detect.py 文件，在代码中有一个关键的输出结果如下：
bbox = patches.Rectangle((x1 + box_w / 2, y1 + box_h / 2), box_w, box_h, linewidth=2, edgecolor=color, facecolor="none")
print('bbox', (x1, y1, box_w, box_h), 'offset', x1)
这里 bbox 指的就是最终缺口的轮廓位置，同时 x1 就是指的轮廓最左侧距离整个验证码最左侧的横向偏移量，即 offset。通过这两个信息，我们就能得到缺口的关键位置了。
有了目标滑块位置之后，我们便可以进行一些模拟滑动操作从而实现通过验证码的检测了。
6. 总结
本节主要介绍了训练深度学习模型来识别滑动验证码缺口的整体流程，最终我们成功实现了模型训练过程，并得到了一个深度学习模型文件。
利用这个模型，我们可以输入一张滑动验证码，模型便会预测出其中的缺口的位置，包括偏移量、宽度等，最后可以通过缺口的信息绘制出对应的位置。
当然本节介绍的内容也可以进一步优化：
- 当前模型的预测过程是通过命令行执行的，但在实际使用的时候可能并不太方便，可以考虑将预测过程对接 API 服务器暴露出来，比如对接 Flask、Django、FastAPI 等把预测过程实现为一个支持 POST 请求的接口，接口可以接收一张验证码图片，返回验证码的文本信息，这样会使得模型更加方便易用。
本节代码：https://github.com/Python3WebSpider/DeepLearningSlideCaptcha2
深度学习识别滑动验证码缺口，基于ModelArts ，华为云深度学习平台
做爬虫的同学肯定或多或少会为验证码苦恼过，在最初的时候，大部分验证码都是图形验证码。但是前几年「极验」验证码横空出世，行为验证码变得越来越流行，其中之一的形式便是滑块验证码。 滑块验证码是怎样的呢？如图所示，验证码是一张矩形图，图片左侧会出现一个滑块，右侧会出现一个缺口，下侧会出现一个滑轨。左侧的滑块会随着滑轨的拖动而移动，如果能将左侧滑块正好滑动到右侧缺口处，就算完成了验证。
由于这种验证码交互形式比较友好，且安全性、美观度上也会更高，像这种类似的验证码也变得越来越流行。另外不仅仅是「极验」，其他很多验证码服务商也推出了类似的验证码服务，如「网易易盾」等，上图所示的就是「网易易盾」的滑动验证码。 没错，确实这种滑动验证码的出现让很多网站变得更安全。但是做爬虫的可就苦恼了，如果采用自动化的方法来绕过这种滑动验证码，关键部分在于以下两点：
- 找出目标缺口的位置。
- 模拟人的滑动轨迹将滑块滑动到缺口处。
那么问题来了，第一步怎么做呢？ 我们怎么识别目标缺口到底在图片的哪个地方？大家可能想到的答案有：
- 直接手工一把梭。
- 利用图像处理算法检测缺口处特征。
- 对接打码平台，获取缺口位置。
另外对于极验来说，之前还有一种方法来识别缺口，那就是对比原图和缺口图的不同之处，通过遍历像素点来找出缺口的位置，但这种方法就比较投机了。如果换家验证码服务商，不给我们原图，我们就无从比较计算了。 总之，我们的目标就是输入一张图，输出缺口的的位置。 上面的方法呢，要么费时费钱、要么准确率不高。那还有没有其他的解决方案呢？ 当然有。 现在深度学习这么火，基于深度学习的图像识别技术已经发展得比较成熟了。那么我们能不能利用它来识别缺口位置呢？ 答案是，没问题，我们只需要将这个问题归结成一个深度学习的「目标检测」问题就好了。 听到这里，现在可能有的同学已经望而却步了，深度学习？我一点基础都没有呀，咋办？ 不用担心，本节介绍的内容全程没有一行代码，不需要任何深度学习基础，我们只需要动动手点一点就能搭建一个识别验证码缺口的深度学习的模型。 这么神奇？是的，那么本节我就带大家来实现一下吧。
目标检测
首先在开始之前简单说下目标检测。什么叫目标检测？顾名思义，就是把我们想找的东西找出来。比如给一张「狗」的图片，如图所示：
我们想知道这只狗在哪，它的舌头在哪，找到了就把它们框选出来，这就是目标检测。 经过目标检测算法处理之后，我们期望得到的图片是这样的：
可以看到这只狗和它的舌头就被框选出来了，这就完成了一个不错的目标检测。 现在比较流行的目标检测算法有 R-CNN、Fast R-CNN、Faster R-CNN、SSD、YOLO 等，感兴趣同学的可以了解一下，当然看不懂也没有什么影响。 另外再提一个地方，不懂深度学习的同学可以看看，懂的直接跳过下面一段。 我们既然要搭建一个模型来实现一个目标检测算法，那模型怎么知道我们究竟想识别个什么东西？就比如上图，模型咋知道我们想识别的是狗而不是草，是舌头而不是鼻子。这是因为，既然叫深度学习，那得有学习的东西。所以，搭建一个深度学习模型需要训练数据。啥也不告诉模型，模型从哪里去学习？所以，我们得预先有一些标注好位置的图片供模型去学习（训练），比如准备好多张狗的图片和狗的轮廓标注位置，模型在训练过程中会自动学习到图片和标注位置的关系。模型训练好了之后，我们给模型一个没有见过的类似的狗的图，模型也能找出来目标的位置了。 所以，迁移到验证码缺口识别这个任务上来，我们第一步就是给模型提供一些训练数据，训练数据就包括验证码的图片和缺口的位置标注轮廓信息。 好，既然如此，我们第一步就得准备一批验证码数据供标注和训练了。
准备训练数据
这里我用的是网易易盾的验证码，链接为：http://dun.163.com/trial/jigsaw。 我写爬虫爬下来了一些验证码的图，具体怎么爬的就不再赘述了，简单粗暴直接干就行了。 爬下来的验证码图类似这样子：
我们不需要滑轨的部分，只保留验证码本身的图片和上面的两个缺口就行了，下面是我准备的一些验证码图：
我爬了大约上千张吧，越多越好。当然对于今天的任务来说，其实几十上百张已经就够了。
标注缺口位置
下一步就是把缺口的位置标注出来了。想一想这一步又不太好办，我难道还得每张图片量一量吗？这费了劲了，那咋整啊？ 很多同学可能到了这一步就望而却步了，更别提后面的搭建模型训练了。 但我们在文章开头说了，我们不需要写一行代码，点一点就能把模型搭建好。怎么做到的呢？我们可以借助于一些平台和工具。 在这里就要请出今天的主角 —— ModelArts 了，这是我发现的华为云的一个深度学习平台，借助它我们可以完成数据标注、模型训练、模型部署三个步骤，最重要的是，我们不需要写代码，只需要点来点去就可以完成了。 让我们进入 ModelArts 来看看：
它已经内置了一些深度学习模型，包括图像分类、物体检测、预测分析等等，我们可以直接利用它们来快速搭建属于自己的模型。 在这里我们就切换到「自动学习」的选项卡，创建一个物体检测的项目。
进入项目里面，可以看到最上面会显示三个步骤：
- 数据标注
- 模型训练
- 部署上线
也就是说，经过这三步，我们就可以搭建和部署一个深度学习模型。 页面如图所示：
那我们先来第一步 —— 数据标注，这里我把一些验证码的图上传到页面中，在这里我上传了 112 张图：
上传完毕之后我们可以点击每一张图片进行标注了，这个平台提供了非常方便的标注功能，只需要鼠标拖拽个轮廓就完成了，112 张图标注完也就几分钟，标注的时候就框选这么个轮廓就行了，如图所示：
在这里边界需要把整个缺口的图全框选出来，其中上边界和右边界和标注框相切即可，总之确保标注框正好把缺口图框选出来就行，平台会自动保存和记录标注的像素点位置。 标注完一个，它会提示要添加一个名字，我在这里添加的名字叫「边界」，可以随意指定。 等全部标注完毕，点击「保存并返回」按钮即可。
训练
好，标注完了我们就可以开始训练了。我们在这里不需要写任何的代码，因为平台已经给我们写好了，内置了目标检测的深度学习模型，我们只需要提供数据训练就行了，如图所示：
在这里，我们只需要设置一下「最大训练时长」就好了，这么点图片其实几分钟就能训练完了，「最大训练时长」随意填写即可，最小不小于 0.05，填写完了之后就可以点击「开始训练」按钮训练了。 等几分钟，就会训练完成了，可以看到类似如图的页面：
这里显示了模型的各个参数和指标。 是的，你没看错，我们没有写任何代码，只过了几分钟，模型就已经训练完，并且可以部署上线了。
部署测试
然后进行下一步，部署上线，直接点击左上角的部署按钮即可：
过一会儿， 部署成功之后便可以看到类似这样的界面：
在这里我们可以上传任意的验证码图片进行测试，比如我随意上传一张没有标注过的验证码图，然后它会给我们展示出预测结果，如图所示：
可以看到，它就把缺口的位置检测出来了，同时在右侧显示了具体的像素值和置信度：
{
"detection_classes": [
"边界"
],
"detection_boxes": [
[
16.579784393310547,
331.89569091796875,
124.46369934082031,
435.0449523925781
]
],
"detection_scores": [
0.9999219179153442
]
}
是的，检测的结果还是比较准确的。有了这个结果，我们下一步模拟滑动到标注结果的左边界位置就好了！具体的模拟过程这里就不展开讲了。 另外平台同时还提供了模型部署后的 URL 接口和接口调用指南，也就是我们只需要向接口上传任意的验证码图片，就可以得到缺口的位置了！调用方式可以见：https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0063.html。 嗯，就是这样，我们通过非常简单的操作，不需要任何代码，几分钟就搭建了一个深度学习模型，准确率也还不错。 当然这里我们只标注了 100 多张，标注得越多，标注得越精确，模型的准确率也会越高的。 以上便是利用 ModelArts 搭建滑动验证码缺口识别模型的方法，十分简洁高效。大家感兴趣可以了解下 ModelArts：https://www.huaweicloud.com/product/modelarts.html。
湘公网安备 43102202000103号