[发明专利]一种处方显示方法以及系统

权利要求书

1.一种处方显示方法，其特征在于，包括：

获取由摄像头实时采集的小儿推拿视频，其中，所述摄像头的镜头视野固定涵盖小儿推拿现场；

采用基于视觉的人体动作识别算法，对所述小儿推拿视频中的多帧连续视频图像进行推拿手法识别处理，得到推拿手法识别结果；

根据所述推拿手法识别结果，确定出正在施行的小儿推拿手法和已施行过的小儿推拿手法；

在显示包含有多个小儿推拿手法的小儿推拿处方时，控制显示屏以第一展示效果实时显示在所述多个小儿推拿手法中正在施行的小儿推拿手法的详细信息，以及控制所述显示屏以第二展示效果实时显示在所述多个小儿推拿手法中已施行过的小儿推拿手法的简略信息，以及控制所述显示屏以第三展示效果实时显示在所述多个小儿推拿手法中未施行过的小儿推拿手法的简略信息，其中，所述第一展示效果、所述第二展示效果和所述第三展示效果为预设的三个不同展示效果。

2.如权利要求1所述的处方显示方法，其特征在于，采用基于视觉的人体动作识别算法，对所述小儿推拿视频中的多帧连续视频图像进行推拿手法识别处理，得到推拿手法识别结果，包括：

通过窗口滑动方式从所述小儿推拿视频中提取出一组多帧连续视频图像；

针对所述多帧连续视频图像中的各帧视频图像，进行人体关节点提取处理，得到对应的人体关节点数据，其中，所述人体关节点数据中包含有多个人体关节点在对应视频图像采集时的空间特征信息，所述多个人体关节点属于同一人体且能够表征人体做出推拿动作；

针对小儿推拿处方中的各个小儿推拿手法，将所述多帧连续视频图像及人体关节点数据送入对应的且基于快慢双通道网络的推拿手法识别模型，输出得到是否存在对应推拿动作的二分类识别结果，其中，所述快慢双通道网络包括有快速通道子网络、慢速通道子网络和综合处理输出层，所述快速通道子网络用于采用第一抽帧方式从所述多帧连续视频图像中抽取出多个第一图像，然后对所述多个第一图像进行3D卷积处理，所述慢速通道子网络用于采用第二抽帧方式从所述多帧连续视频图像中抽取出至少一个第二图像，然后对所述至少一个第二图像进行2D卷积处理，并综合来自所述快速通道子网络的3D卷积处理结果进行3D卷积处理，所述综合处理输出层用于根据所述快速通道子网络和所述慢速通道子网络的3D卷积处理结果，采用softmax函数得到是否存在对应推拿动作的二分类识别结果，所述第一图像为在视频图像上未加载对应的人体关节点数据的原图像，所述第二图像为在视频图像上加载有对应的人体关节点数据的新图像，所述第二抽帧方式的抽帧个数少于所述第一抽帧方式的抽帧个数，所述二分类识别结果包含有指示存在对应推拿动作的置信度；

根据所述各个小儿推拿手法的二分类识别结果，将与最大置信度对应的小儿推拿手法作为与所述多帧连续视频图像对应的推拿手法识别结果。

3.如权利要求1所述的处方显示方法，其特征在于，当所述摄像头的数目有多个且以不同视角使对应的镜头视野固定涵盖所述小儿推拿现场时，采用基于视觉的人体动作识别算法，对所述小儿推拿视频中的多帧连续视频图像进行推拿手法识别处理，得到推拿手法识别结果，包括：

针对各个摄像头，通过窗口滑动方式从对应的小儿推拿视频中提取出一组在同一时段采集的多帧连续视频图像；

采用基于视觉的人体动作识别算法，分别对所述各个摄像头的多帧连续视频图像进行推拿手法识别处理，得到与所述各个摄像头一一对应的推拿手法识别结果，其中，所述推拿手法识别结果包含有指示存在某个小儿推拿手法的置信度；

根据所有摄像头的推拿手法识别结果，将与最大置信度对应的小儿推拿手法作为与所述同一时段对应的推拿手法识别结果。