[发明专利]一种基于训练数据采集的AI模型训练方法及装置

权利要求书

1.一种基于训练数据采集的AI模型训练方法，其特征在于，该方法包括：

采集视频帧、语音数据以及传感数据；所述视频帧包括手势以及手势中的目标物体，所述语音数据包括目标物体名称对应的语音数据；

将视频帧、语音数据以及传感数据传输至运算终端；

通过运算终端对视频帧中的手势进行识别，获取包含目标物体的区域图像；

根据视频帧和传感数据，通过运算终端获取目标物体的空间定位坐标；

根据区域图像、空间定位坐标、传感数据和语音数据，获取训练数据并存储；

根据训练数据，训练AI模型，并将训练完成的AI模型部署至运算终端或移动设备，完成训练数据采集；

所述手势包括双手的手势；

所述通过运算终端对视频帧中的手势进行识别，获取包含目标物体的区域图像，包括：

通过运算终端对视频帧中的手势进行识别，得到双手的手势坐标；

根据双手的手势坐标，在视频帧中框选位于双手的手势坐标内的最大矩形区域，得到目标物体范围；

在视频帧中裁剪出目标物体范围所包含的图像，得到裁剪图像；

采用Opencv物体追踪算法追踪裁剪图像中的目标物体，获取包含目标物体的区域图像；

所述根据训练数据，训练AI模型，包括：

将区域图像和传感数据作为训练样本，将空间定位坐标和目标物体的名称作为训练标签，对AI模型进行训练，直至AI模型对目标物体的空间定位坐标和名称识别率达到设定阈值，完成训练。

2.根据权利要求1所述的基于训练数据采集的AI模型训练方法，其特征在于，所述采集视频帧、语音数据以及传感数据，包括：通过摄像头、麦克风和惯性传感器分别采集视频帧、语音数据和传感数据。

3.根据权利要求1所述的基于训练数据采集的AI模型训练方法，其特征在于，所述根据视频帧和传感数据，通过运算终端获取目标物体的空间定位坐标，包括：

根据视频帧和传感数据，采用SLAM算法，并通过运算终端获取目标物体的空间定位坐标。

4.根据权利要求1所述的基于训练数据采集的AI模型训练方法，其特征在于，所述根据区域图像、空间定位坐标、传感数据和语音数据，获取训练数据并存储，包括：

对语音数据进行识别，得到目标物体的名称；

将区域图像、空间定位坐标、传感数据和语音数据作为训练数据并存储。

5.根据权利要求4所述的基于训练数据采集的AI模型训练方法，其特征在于，所述训练数据的格式为XML格式。

6.根据权利要求4所述的基于训练数据采集的AI模型训练方法，其特征在于，每个所述训练数据对应一个编号。

7.一种基于训练数据采集的AI模型训练装置，其特征在于，包括采集模块、传输模块、处理模块、第一获取模块、第二获取模块以及训练模块；

采集模块用于，采集视频帧、语音数据以及传感数据；所述视频帧包括手势以及手势中的目标物体，所述语音数据包括目标物体名称对应的语音数据；

传输模块用于，将视频帧、语音数据以及传感数据传输至运算终端；

处理模块用于，通过运算终端对视频帧中的手势进行识别，获取包含目标物体的区域图像；

第一获取模块用于，根据视频帧和传感数据，通过运算终端获取目标物体的空间定位坐标；

第二获取模块用于，根据区域图像、空间定位坐标、传感数据和语音数据，获取训练数据并存储；

训练模块用于，根据训练数据，训练AI模型，并将训练完成的AI模型部署至运算终端或移动设备，完成训练数据采集；

所述手势包括双手的手势；

所述通过运算终端对视频帧中的手势进行识别，获取包含目标物体的区域图像，包括：

通过运算终端对视频帧中的手势进行识别，得到双手的手势坐标；

根据双手的手势坐标，在视频帧中框选位于双手的手势坐标内的最大矩形区域，得到目标物体范围；

在视频帧中裁剪出目标物体范围所包含的图像，得到裁剪图像；

采用Opencv物体追踪算法追踪裁剪图像中的目标物体，获取包含目标物体的区域图像；

所述根据训练数据，训练AI模型，包括：

将区域图像和传感数据作为训练样本，将空间定位坐标和目标物体的名称作为训练标签，对AI模型进行训练，直至AI模型对目标物体的空间定位坐标和名称识别率达到设定阈值，完成训练。