[发明专利]一种基于计算机视觉的手语翻译系统

权利要求书

1.一种基于计算机视觉的手语翻译系统，其特征在于，包括语义库模块、坐标处理模块、数据处理模块、参考系模块、交叉训练模块与采集识别模块，所述语义库模块用于构建语义库，搜集各手语动作，并分析每个动作的关键特征，并以此特征录制视频数据；所述坐标处理模块与语义库模块连接，坐标处理模块关联有openpose模型，openpose模型内左右手各设有21个关键点，坐标处理模块利用openpose模型对每个动作的视频数据进行处理，并获取所述关键点在视频画面中的坐标，并逐帧将画面的点坐标输出，且每个动作得到若干对应的json文件；所述数据处理模块与坐标处理模块连接，数据处理模块用于获取json文件并对该json文件进行数据处理，数据处理后形成数据集；所述交叉训练模块与数据处理模块连接，交叉训练模块用于对数据集进行处理，并利用分类算法进行交叉训练，交叉训练后获得机器学习模型。

2.根据权利要求1所述的一种基于计算机视觉的手语翻译系统，其特征在于，所述数据处理模块对json文件进行数据处理包括：数据处理模块对json文件中的左右手关键点坐标进行数据处理，并转化至参考系模块中，消除在做动作时人与摄像头之间的距离和角度差异而带来的误差，增强数据的鲁棒性。

3.根据权利要求1所述的一种基于计算机视觉的手语翻译系统，其特征在于，所述分类算法为k均值聚类算法与随机森林算法中任一种。

4.根据权利要求1所述的一种基于计算机视觉的手语翻译系统，其特征在于，所述采集识别模块与交叉训练模块相关联，采集识别模块包括采集单元、实时处理单元、交叉验证单元与导入单元，采集单元用于实时逐帧捕捉使用者动作，并链接openpose转化为含有关键点坐标信息的数据，实时处理单元用于获取含有关键点坐标信息的数据并对该数据进行转化处理，将数据中的点坐标转化至参考系模块中，并转化为相对坐标。

5.根据权利要求4所述的一种基于计算机视觉的手语翻译系统，其特征在于，所述交叉验证单元用于调用训练好的机器学习模型进行交叉验证，得到对应编码；所述导入单元用于获取一个语句的连续动作的连续编码导入到seq2seq模型，并转化为语义通顺的句子。

6.根据权利要求1-5任一所述的一种基于计算机视觉的手语翻译系统的翻译方法，其特征在于，包括如下步骤：

S1：通过采集单元实时逐帧捕捉使用者动作，并将画面导入openpose，openpose处理转化为含有关键点坐标信息的json文件；

S2：实时处理单元用于读取json文件，并利用算法将关键点信息转化至参考系模块中；

S3：将左右手共42个点的相对坐标与训练好的机器学习模型进行交叉验证预测，并将交叉验证单元输出的语义转换为对应的模型内部的编码；

S4：将一个语句的连续动作的连续编码导入到seq2seq模型，转化为语义通顺的句子，完成翻译。

7.根据权利要求6所述的一种基于计算机视觉的手语翻译系统的翻译方法，其特征在于，所述S3中交叉验证单元成功识别当前帧手语动作的语义后，采集识别模块会继续采集接下来四到五帧画面并进行手语动作识别，若这些帧的手语动作语义一致，则确认当前动作语义并输出。

8.根据权利要求6所述的一种基于计算机视觉的手语翻译系统的翻译方法，其特征在于，所述S3中，采集识别模块还将每一帧画面关键点矩阵抽象成高维坐标，计算前后两帧画面的欧式距离，去除近似帧。