[发明专利]辅助视障用户的图片信息获取方法及装置

权利要求书

1.一种辅助视障用户的图片信息获取方法，其特征在于，包括：

接收第一用户的图片信息获取请求，所述图片信息获取请求包括第一用户的人脸动态信息和待获取信息图片，所述人脸动态信息包括第一用户的面部信息和眼球运动信息；

在指定数据库查询到第一用户的面部信息时，获取第一用户的年龄信息和视力信息，所述指定数据库中存储有历史用户的：面部信息、年龄信息和视力信息；

在第一用户的年龄信息大于预设阈值，和/或第一用户的视力信息显示第一用户存在视力障碍时，根据第一用户的年龄信息，确定第一用户所属的年龄阶段，根据预先设置的语言风格信息与年龄阶段的对应关系，确定第一用户匹配的语言风格信息；

将待获取信息图片和第一用户匹配的语言风格信息输入图片描述模型，输出第一用户的图片描述文本，所述图片描述模型是根据：多张包含不同信息的图片、多种不同年龄阶段对应的语言风格信息和每张图片根据每种语言风格信息实际得到的多个图片描述文本，对生成对抗网络GAN训练得到的；

将第一用户的图片描述文本，以语音播报的形式反馈给第一用户。

2.如权利要求1所述的方法，其特征在于，将待获取信息图片和第一用户匹配的语言风格信息输入图片描述模型之前，还包括：

将多张包含不同信息的图片、多种不同年龄阶段对应的语言风格信息和每张图片根据每种语言风格信息实际得到的多个图片描述文本作为样本数据，构建训练集和测试集；

利用所述训练集对生成对抗网络GAN进行训练，得到所述图片描述模型；

利用所述测试集对所述行为图片描述模型进行测试。

3.如权利要求1所述的方法，其特征在于，将第一用户的图片描述文本，以语音播报的形式反馈给第一用户，包括：

预先设置语音播报的语速、音量、音色与年龄阶段的对应关系；

根据第一用户所属的年龄阶段，确定第一用户对应的语音播报的语速、音量、音色；

将第一用户的图片描述文本，以第一用户对应的语音播报的语速、音量、音色反馈给第一用户。

4.如权利要求1所述的方法，其特征在于，还包括：

在指定数据库查询不到第一用户的面部信息时，将第一用户的面部信息输入年龄预测模型，输出第一用户的年龄预测结果，所述年龄预测模型是根据历史用户信息中的：面部信息和对应的实际年龄信息，对卷积神经网络训练得到的；采用眼球跟踪方法对第一用户的眼球运动信息进行检测，得出第一用户的视力检测结果；

在第一用户的年龄预测结果大于预设阈值，和/或第一用户的视力检测结果显示第一用户存在视力障碍时，根据第一用户的年龄预测结果，确定第一用户所属的年龄阶段，根据预先设置的语言风格信息与年龄阶段的对应关系，确定第一用户匹配的语言风格信息；

将待获取信息图片和第一用户匹配的语言风格信息输入图片描述模型，输出第一用户的图片描述文本，所述图片描述模型是根据：多张包含不同信息的图片、多种不同年龄阶段对应的语言风格信息和每张图片根据每种语言风格信息实际得到的多个图片描述文本，对生成对抗网络GAN训练得到的；

将第一用户的图片描述文本，以语音播报的形式反馈给第一用户。

5.如权利要求4所述的方法，其特征在于，还包括：

将第一用户的年龄预测结果作为第一用户的年龄信息保存至指定数据库；

将第一用户的视力检测结果作为第一用户的视力信息保存至指定数据库；

建立第一用户的面部信息，与第一用户的年龄信息、视力信息之间的对应关系。