[发明专利]基于自监督的预训练和面瘫分级的建模、分级方法及系统

权利要求书

1.面瘫分级模型的建立方法，其特征在于，包括如下步骤：

步骤一：获取面部表情视频集和面部表情视频集中每个面部表情视频的面瘫等级，对每个面部表情视频进行采样获得视频段，将面部表情视频集采样后得到的所有视频段作为面部数据集；

步骤二：对于面部数据集采用基于自监督的预训练模型建立方法中步骤2.1至步骤2.2的方法进行分离，获得面部视频段集，所述的面部视频段集包括多个左侧面子视频段和多个右侧面子视频段；

步骤三：建立双路3D-CNN模型，所述的双路3D-CNN模型包括两个3D-CNN预训练模型，所述的3D-CNN预训练模型采用所述的基于自监督的预训练模型建立方法得到；

将面部视频片段集中的多个左侧面子视频段和多个右侧面子视频段分别作为两个3D-CNN预训练模型的训练集，将每个面部表情视频的面瘫等级作为两个3D-CNN预训练模型的标签集，对双路3D-CNN模型进行训练，将训练好的模型作为面瘫分级模型；

所述的基于自监督的预训练模型建立方法，包括如下步骤：

步骤1：获取面部表情视频集，对面部表情视频集中的每个面部表情视频进行采样获得视频段，将面部表情视频集采样后得到的所有视频段作为面部数据集；

步骤2：对于面部数据集进行预处理，获得面部视频序列集，所述的面部视频序列集包括多组左侧面子视频段序列和多组右侧面子视频段序列，其中，对于面部数据集中的任意一个视频段进行预处理包括如下子步骤：

步骤2.1：将视频段依次通过Faster RCNN进行人脸检测，获得视频段的人脸数据；

步骤2.2：采用AAM算法计算人脸数据的面部中轴线，根据面部中轴线将视频段分离为左侧面视频段和右侧面视频段；

步骤2.3：对左侧面视频段进行分割得到多个左侧面子视频段，获取左侧面子视频段的所有排列顺序，将每种排列顺序的左侧面子视频段作为一个左侧面子视频段序列，获得所有左侧面子视频段序列作为一组左侧面子视频段序列；

步骤2.4：采用步骤2.3的方法根据右侧面视频段获得一组右侧面子视频段序列；

步骤3：建立3D-CNN模型，将步骤2获得的面部视频序列集作为训练集进行自监督训练，将训练好的模型作为3D-CNN预训练模型。

2.如权利要求1所述的面瘫分级模型的建立方法，其特征在于，步骤2.2中采用式Ⅰ计算人脸数据的面部中轴线ML：

其中，x表示横坐标，x₁表示AAM算法提取到的鼻梁与眼角间左侧关键点横坐标，x₂表示AAM算法提取到的鼻梁与眼角间右侧关键点横坐标。

3.如权利要求1所述的面瘫分级模型的建立方法，其特征在于，步骤2.3中将左侧面视频段分割为3个子视频段，获取3个左侧面子视频段的所有排列顺序共6种。

4.如权利要求1所述的面瘫分级模型的建立方法，其特征在于，所述面瘫等级包括正常、轻度、中度和危重四个等级。

5.面瘫分级方法，其特征在于，包括如下步骤：

步骤Ⅰ：获取待识别面部表情视频，对待识别面部表情视频进行分离处理，获取待识别左侧面子视频段和待识别右侧面子视频段；

步骤Ⅱ：将待识别左侧面子视频段和待识别右侧面子视频段输入如权利要求1或4任一种面瘫分级模型的建立方法得到的面瘫分级模型中，输出待识别面部表情视频的面瘫等级。