[发明专利]基于分类检测框架及行棋决策网络的人机对弈方法

权利要求书

1.基于分类检测框架及行棋决策网络的人机对弈方法，其特征在于，包括以下步骤：

S1：通过摄像头采集棋盘图像数据信息，对图像进行预处理后将图像送入训练好的检测网络分别获取棋子坐标与类别信息；

S2：将获取的象棋位置与类别信息映射到二维规范虚拟棋盘，并完成坐标系转换与可视化；

S3：将二维规范虚拟棋盘数据转化为fen码标准格式通过调用api接口送入搭建的具有多尺度及残差结构的策略价值网络获取行棋指令；

S4：获取行棋指令后，经过数据处理生成机械臂所需的坐标信息，规划机械臂的运动路径控制机械臂抓取棋子实现走棋。

2.根据权利要求1所述的基于分类检测框架及行棋决策网络的人机对弈方法，其特征在于，所述步骤S1具体包括如下步骤：

A1：启动龙芯开启TCP通信获取摄像头采集的数据，并且一直显示刷新起到监控棋局的作用；

A2：开启主控将TCP通信获取的图像数据通过canny边缘检测算法进行边缘处理；

A3：将边缘处理过的图片送入霍夫圆检测模块，获取到棋子的中心点坐标，并且将检测到的棋子裁剪出来处理变成相同的尺寸通过窗口显示；

A4：裁剪出来的棋子图片经过搭建的分类检测框架得到图像类别，然后将棋子的坐标信息与类别信息放进一个列表中。

3.根据权利要求2所述的基于分类检测框架及行棋决策网络的人机对弈方法，其特征在于，所述步骤A2中边缘处理的具体过程为：

对图像进行灰度化处理，考虑到象棋的图像特点，设置公式参数如下，其中R_a、G_a、B_a分别代表红、绿、蓝三个彩色通道的像素值，Gray表示经过灰度转换后的像素值：

Gray＝0.6R_a+0.2G_a+0.2B_a

为了去除图像中叠加的高频噪声，采用改进的高斯滤波方法对图像进行处理，滤波函数如下，其中G为权值结果，(x，y)为坐标，σ为标准差：

通过sobel算子模板获得梯度幅值和方向后采用双阈值算法检测和连接边缘，创建滑动条与图像窗口，滑动条分别对应canny的两个阈值，通过滑动条来调用回调函数改变图像获取滑动条的最佳参数并保存图片。

4.根据权利要求2所述的基于分类检测框架及行棋决策网络的人机对弈方法，其特征在于，所述步骤A4中分类检测框架及其模型构成如下：

首先对图片进行归一化处理，原本像素值在1-255之间转化到0-1之间；

模型采用keras深度学习框架，使用Sequential函数创建模型实例，第一部分首先是一个卷积层，卷积核个数为32个，卷积核尺寸为3*3，输入图片的大小为60*60，RGB图像的通道数为3，激活函数使用线性流函数relu，通过设置参数padding填充边界保持图片尺寸大小不变，接着通过dropout函数将25％的神经元失活置为0，再通过一个2*2的最大池化层，再经过一个卷积层，卷积核个数为64个，卷积核尺寸为3*3，激活函数使用线性流函数relu，通过设置参数padding填充边界保持图片尺寸大小不变，同样通过dropout函数将25％的神经元失活置为0，再通过一个2*2的最大池化层，再经过一个卷积层，卷积核个数为128个，卷积核尺寸为3*3，激活函数使用线性流函数relu，通过设置参数padding填充边界保持图片尺寸大小不变，同样通过dropout函数将25％的神经元失活置为0，再通过一个2*2的最大池化层；

第二部分首先通过flatten函数将数据展平二维，接着通过一个全连接层，激活函数使用线性流函数relu，最后通过归一化指数函数softmax，优化器参数采用adam优化方法，损失函数是在交叉熵损失函数基础上进行的修改，其中L是损失函数的输出值，p是激活函数的输出值，q是实际标签，正样本为1，负样本为0，这样使得损失函数对于预测得分不好的样本保留部分损失，对于分得好的样本，大幅减少损失，改进如下：

模型的训练数据集是通过摄像头获取的不同光照情况下改变棋子位置的自制数据集1000张，其中20％作为验证集，迭代了1000次，每批次64张作为一个训练单元，并且将输出日志保存。