[发明专利]辅助视障用户的图片信息获取方法及装置

说明书

本发明公开一种辅助视障用户的图片信息获取方法及装置，涉及人工智能技术领域，该方法包括：接收第一用户的图片信息获取请求，所述请求包括第一用户的人脸动态信息和待获取信息图片；在指定数据库查询到第一用户的面部信息时，获取第一用户的年龄信息和视力信息；在第一用户的年龄信息大于预设阈值，和/或第一用户的视力信息显示第一用户存在视力障碍时，根据第一用户的年龄信息确定第一用户所属的年龄阶段，根据预设的语言风格信息与年龄阶段的对应关系，确定第一用户匹配的语言风格信息；将待获取信息图片和第一用户匹配的语言风格信息输入图片描述模型，输出第一用户的图片描述文本，通过语音播报反馈给第一用户，为视障用户播报图片信息。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种辅助视障用户的图片信息获取方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

目前的读屏软件只能读取文字，让有视障问题的用户可以听见文字，却无法让用户“看见”图片，而图片是传达信息的一种有效方式，软件或网络平台上会发布很多的图片信息，例如优惠活动宣传、信息变更通知等，有视障问题的用户无法及时获取到这部分信息，易造成用户损失，影响用户体验。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供一种辅助视障用户的图片信息获取方法，用以为视障用户播报图片信息，提高视障用户获取图片信息的便利性和灵活性，改善用户体验，该方法包括：

接收第一用户的图片信息获取请求，所述图片信息获取请求包括第一用户的人脸动态信息和待获取信息图片，所述人脸动态信息包括第一用户的面部信息和眼球运动信息；

在指定数据库查询到第一用户的面部信息时，获取第一用户的年龄信息和视力信息，所述指定数据库中存储有历史用户的：面部信息、年龄信息和视力信息；

在第一用户的年龄信息大于预设阈值，和/或第一用户的视力信息显示第一用户存在视力障碍时，根据第一用户的年龄信息，确定第一用户所属的年龄阶段，根据预先设置的语言风格信息与年龄阶段的对应关系，确定第一用户匹配的语言风格信息；

将待获取信息图片和第一用户匹配的语言风格信息输入图片描述模型，输出第一用户的图片描述文本，所述图片描述模型是根据：多张包含不同信息的图片、多种不同年龄阶段对应的语言风格信息和每张图片根据每种语言风格信息实际得到的多个图片描述文本，对生成对抗网络GAN训练得到的；

将第一用户的图片描述文本，以语音播报的形式反馈给第一用户。

本发明实施例还提供一种辅助视障用户的图片信息获取装置，用以为视障用户播报图片信息，提高视障用户获取图片信息的便利性和灵活性，改善用户体验，该装置包括：

请求接收模块，用于接收第一用户的图片信息获取请求，所述图片信息获取请求包括第一用户的人脸动态信息和待获取信息图片，所述人脸动态信息包括第一用户的面部信息和眼球运动信息；

信息获取模块，用于在指定数据库查询到第一用户的面部信息时，获取第一用户的年龄信息和视力信息，所述指定数据库中存储有历史用户的：面部信息、年龄信息和视力信息；

语言风格确定模块，用于在第一用户的年龄信息大于预设阈值，和/或第一用户的视力信息显示第一用户存在视力障碍时，根据第一用户的年龄信息，确定第一用户所属的年龄阶段，根据预先设置的语言风格信息与年龄阶段的对应关系，确定第一用户匹配的语言风格信息；

文本输出模块，用于将待获取信息图片和第一用户匹配的语言风格信息输入图片描述模型，输出第一用户的图片描述文本，所述图片描述模型是根据：多张包含不同信息的图片、多种不同年龄阶段对应的语言风格信息和每张图片根据每种语言风格信息实际得到的多个图片描述文本，对生成对抗网络GAN训练得到的；