[发明专利]一种滑块验证码的自动识别方法及系统

权利要求书

1.一种滑块验证码的自动识别方法，其特征在于，包括线下模型训练和线上模型服务两部分，其中：

所述线下模型训练包括以下步骤：

滑块缺口位置定位建模与线下模型训练：构建基于深度学习的目标检测模型，根据滑块缺口背景图片计算滑块缺口中心位置坐标，并标注矩形标注框，进行有监督的目标检测模型训练；

滑块拖动轨迹建模与线下模型训练：根据真人滑块拖动轨迹，建立LSTM前端模型，以及适应非均匀采样输入时序和可变长时序数据的LSTM后端回归模型，对建立的LSTM前端模型、LSTM后端回归模型进行训练；

所述线上模型服务包括以下步骤：

通过浏览器自动化技术访问目标网站，触发滑块验证码；

对屏幕进行截图，处理截图得到含有滑块图片和滑块缺口背景图片；

以滑块缺口背景图片为输入，执行已训练好的目标检测模型，得到滑块缺口中心位置坐标；结合滑块初始位置，计算得到滑块位移距离；

执行已训练好的LSTM前端模型，以及LSTM后端回归模型，得到滑块拖动轨迹时间序列即鼠标移动轨迹序列，具体如下：

1)以滑块位移距离D为输入，执行在线下模型训练部分已训练好的LSTM前端模型，得到非均匀采样的时间序列t[n]，单位为毫秒；

2)对时间序列t[n]进行预处理：包括零值填充、归一化和数据维度转换；其中，归一化是指将t[n]的数值归一到[0,1]区间内；

3)以经过预处理的t[n]为输入，执行在线下模型训练部分已训练好的LSTM后端回归模型，得到初始滑块拖动轨迹时间序列(x[n],y[n],t[n])，其中x[n],y[n]分别表示在t[n]时刻滑块的中心位置横、纵坐标，单位为相对像素；

4)将初始滑块拖动轨迹时间序列(x[n]y[n],t[n])反归一化，将滑块的中心位置坐标单位转化成输入图片坐标域的像素点、将t[n]的单位转化为毫秒；

5)通过拉伸或压缩序列，对初始滑块拖动轨迹时间序列进行对齐处理，使得滑块拖动轨迹时间序列最终横坐标位置x[N]等于滑块位移距离D，其中N代表最后一个采样点；

6)将对齐处理后的滑块拖动轨迹时间序列数值近似为整数；

7)返回差分计算结果(x_t,y_t,t)作为最终的滑块拖动轨迹时间序列，其中差分计算具体为：x_t＝x[n]–x[n-1],y_t＝y[n]–y[n-1],t＝t[n]–t[n-1]；

根据滑块拖动轨迹时间序列，通过X服务器的XTEST接口或者Linux操作系统的鼠标事件文件，自动控制鼠标点击滑块、拖拽滑块、释放滑块到缺口位置，完成滑块验证码的自动识别。

2.根据权利要求1所述的滑块验证码的自动识别方法，其特征在于，所述根据滑块拖动轨迹时间序列，通过X服务器的XTEST接口或者Linux操作系统的鼠标事件文件，自动控制鼠标点击滑块、拖拽滑块、释放滑块到缺口位置之前，所述滑块验证码的自动识别方法还包括：

调用滑块轨迹平滑模型，用于平滑生成的滑块拖动轨迹时间序列。

3.根据权利要求1或2所述的滑块验证码的自动识别方法，其特征在于，所述滑块缺口位置定位建模与线下模型训练，具体如下：

构建基于深度学习的目标检测模型，截取滑块缺口背景图片分别进行通用性图像处理和针对性图像处理；通用性图像处理包括缩放图片至固定大小、像素值均衡化操作，通用性图像处理结果用于深度学习目标检测模型的输入；针对性图像处理用于有监督学习的数据自动标注，根据针对性图像处理结果，计算滑块缺口中心位置坐标，并自动识别和标注矩形框，即为目标检测模型提供有监督的标签，从而进行无需人工数据标注的有监督的目标检测模型训练；最终，训练完成的目标检测模型用于输出滑块缺口位置的定位矩形框坐标，以及矩形框的中心坐标即滑块缺口中心位置坐标。

4.根据权利要求1或2所述的滑块验证码的自动识别方法，其特征在于，所述滑块拖动轨迹建模与线下模型训练，具体如下：

录取真人滑块拖动轨迹，并对滑块轨迹进行预处理；建立LSTM前端模型，学习滑块轨迹总位移与轨迹总耗时的关联关系特征，以及滑块轨迹的不均匀时间采样序列特征；建立改进的LSTM后端回归模型，以适应非均匀采样输入时序和可变长时序数据；对建立的LSTM前端模型、LSTM后端回归模型进行训练，用于生成滑块拖动轨迹时间序列。