[发明专利]一种记录图形绘制过程信息的方法及系统

权利要求书

1.一种记录图形绘制过程信息的方法，其特征在于，所述方法包括：

获取待测者绘制图形时的过程信息和待测者的面部视频；所述过程信息包括每一笔的起始位置、每一笔的停止位置、每一笔的起始时间、每一笔的停止时间和每一笔的轨迹长度；

根据所述待测者的面部视频，确定所述待测者绘制过程中的目光特征；所述目光特征包括目光焦点切换次数、目光焦点切换频率、绘图时间和观察样图时间；

对所述过程信息进行特征提取，得到所述待测者的图形特征和过程特征；

对所述图形特征、所述过程特征和所述目光特征进行拼接，得到所述待测者的图形绘制特征；

将所述图形绘制特征输入训练好的神经网络模型，预测所述待测者的认知障碍结果；所述认知障碍结果包括是否存在认知障碍以及认知障碍的级别。

2.根据权利要求1所述的记录图形绘制过程信息的方法，其特征在于，所述神经网络模型的训练过程包括：

获取测试者绘制图形时的过程信息和测试者的面部视频；

根据所述测试者的面部视频，确定所述测试者绘制过程中的目光特征；

对所述过程信息进行特征提取，得到所述测试者的图形特征和过程特征；

对所述图形特征、所述过程特征和所述目光特征进行拼接，得到所述测试者的图形绘制特征；

根据所述测试者对量表的打分，确定所述测试者的认知障碍结果；

以所述测试者的图形绘制特征为输入，以所述测试者的认知障碍结果为输出，对神经网络模型进行训练，得到训练好的神经网络模型。

3.根据权利要求1所述的记录图形绘制过程信息的方法，其特征在于，所述根据所述待测者的面部视频，确定所述待测者绘制过程中的目光特征，具体包括：

提取所述待测者的面部视频中的单帧图像；

对所述单帧图像应用YOLO目标检测算法，得到所述待测者的睁眼的眼部图片；

应用卷积神经网络对所述睁眼的眼部图片进行分析，得到眼球定位特征；

根据所述眼球定位特征，确定所述待测者的当前的行为；所述当前的行为包括看样图和绘图；

记录所述待测者看样图的时刻和绘图的时刻；

根据所述看样图的时刻和所述绘图的时刻，确定目光特征。

4.根据权利要求1所述的记录图形绘制过程信息的方法，其特征在于，所述对所述过程信息进行特征提取，得到所述待测者的图形特征和过程特征，具体包括：

将所述过程信息按照设定时间长度进行分段，统计每个时间段内的笔画、思考时间和绘制时间，得到初始过程特征；

根据待测者绘制完成的图形提取初始图形特征；所述图形特征包括图形面积、图形位置、图形绘制时间、图形思考时间和笔画长度；

对所述初始过程特征和所述初始图形特征分别进行降维，得到所述待测者的图形特征和过程特征。

5.一种记录图形绘制过程信息的系统，其特征在于，所述系统包括：

获取模块，用于获取待测者绘制图形时的过程信息和待测者的面部视频；所述过程信息包括每一笔的起始位置、每一笔的停止位置、每一笔的起始时间、每一笔的停止时间和每一笔的轨迹长度；

目光特征确定模块，用于根据所述待测者的面部视频，确定所述待测者绘制过程中的目光特征；所述目光特征包括目光焦点切换次数、目光焦点切换频率、绘图时间和观察样图时间；

特征提取模块，用于对所述过程信息进行特征提取，得到所述待测者的图形特征和过程特征；

拼接模块，用于对所述图形特征、所述过程特征和所述目光特征进行拼接，得到所述待测者的图形绘制特征；

预测模块，用于将所述图形绘制特征输入训练好的神经网络模型，预测所述待测者的认知障碍结果；所述认知障碍结果包括是否存在认知障碍以及认知障碍的级别。