[发明专利]辅助视障人士视觉问答方法、装置、计算设备及存储介质

权利要求书

1.一种辅助视障人士视觉问答方法，其特征在于，所述方法包括：

获取视频帧图像以及视障人士针对所述视频帧图像提出的问题文本；

分别对所述视频帧图像以及所述问题文本进行预处理；

根据预处理后的所述视频帧图像以及所述问题文本应用预先训练生成的注意力视觉问答模型生成针对所述问题文本的回答；

将所述回答转换成声音反馈给视障人士。

2.根据权利要求1所述的方法，其特征在于，所述分别对所述视频帧图像以及所述问题进行预处理，包括：

将所述视频帧图像中的每一帧图像进行归一化处理；

将所述问题文本进行文本清洗和文本序列化，并索引化为索引序列。

3.根据权利要求2所述的方法，其特征在于，所述将所述视频帧图像中的每一帧图像进行归一化处理，包括：

从所述视频帧图像中提取每一帧图像，并将所述图像转换为448*448大小；

对每一帧图像的每一个像素值按比例压缩至0到1的范围内；

将每一帧图片的像素值分别对应减去全局均值图片的像素值，实现归一化。

4.根据权利要求1所述的方法，其特征在于，所述根据预处理后的所述视频帧图像以及所述问题文本应用预先训练生成的注意力视觉问答模型生成针对所述问题文本的回答之前，包括：

获取历史局数据集，包括视障人士捕获的历史视频帧图像、与所述历史视频帧图像对应的历史问题文本以及针对所述历史问题文本的历史回答；

对所述历史视频帧图像、所述历史问题文本以及所述历史回答进行预处理；

根据预处理后的所述历史局数据集训练生成所述注意力视觉问答模型。

5.根据权利要求4所述的方法，其特征在于，所述根据预处理后的所述历史局数据集训练生成所述注意力视觉问答模型，包括：

将预处理后的所述历史视频帧图像和所述历史问题文本输入所述注意力视觉问答模型；

应用所述注意力视觉问答模型根据所述历史视频帧图像和所述历史问题文本生成预测的回答；

应用目标函数对所述预测的回答与针对所述历史问题文本的所述历史回答进行衡量；

应用梯度下降优化算法加速所述注意力视觉问答模型的收敛速度，找到使目标函数最小的权重值，得到所述注意力视觉问答模型的收敛的权重。

6.根据权利要求5所述的方法，其特征在于，所述应用所述注意力视觉问答模型根据所述历史视频帧图像和所述历史问题文本生成预测的回答，包括：

应用预训练的卷积神经网络模型对预处理后的所述历史视频帧图像抽取图像的特征表示，编码成预设长度的特征向量，输出形状为512*14*14的图像特征向量矩阵；

应用长短期记忆神经网络模型对预处理后的所述历史问题文本进行向量映射，并提取并输出问题文本特征向量；

应用全连接注意力层根据所述图像特征向量矩阵以及所述问题文本特征向量生成所述图像各区域的注意力权重，并计算所述图像特征向量与对应的所述注意力权重的乘积之和；

应用全连接层根据所述图像特征向量与对应的所述注意力权重的乘积之和输出所述预测的回答。

7.根据权利要求6所述的方法，其特征在于，所述应用长短期记忆神经网络模型对预处理后的所述历史问题文本进行向量映射，并提取并输出问题文本特征向量，包括：

应用词嵌入层将所述历史问题文本中每个词转化为预设维度的空间向量；

应用长短期记忆神经网络层根据所述空间向量提取并输出所述问题文本特征向量。

8.一种辅助视障人士视觉问答装置，其特征在于，所述装置包括：

数据获取单元，用于获取视频帧图像以及视障人士针对所述视频帧图像提出的问题文本；

预处理单元，用于分别对所述视频帧图像以及所述问题文本进行预处理；

回答获取单元，用于根据预处理后的所述视频帧图像以及所述问题文本应用预先训练生成的注意力视觉问答模型生成针对所述问题文本的回答；

回答反馈单元，用于将所述回答转换成声音反馈给视障人士。