[发明专利]一种基于点云数据的应答方法、装置、设备及存储介质

权利要求书

1.一种基于点云数据的应答方法，其特征在于，包括：

获取待应答信息以及所述待应答信息对应的点云数据；

将所述待应答信息以及所述待应答信息对应的点云数据输入至训练好的问答模型中，获得所述问答模型的输出结果，其中，所述问答模型包括点云特征提取模块和应答信息生成模块：

根据所述输出结果确定应答信息并输出。

2.根据权利要求1所述的方法，其特征在于，所述将所述待应答信息以及所述待应答信息对应的点云数据输入至训练好的问答模型中，获得所述问答模型的输出结果，包括：

将所述待应答信息以及所述待应答信息对应的点云数据输入至所述点云特征提取模块中，获得所述点云特征提取模块输出的点云特征；

将所述点云特征和所述待应答信息输入至所述应答信息生成模块中，获得所述应答信息生成模块的所述输出结果。

3.根据权利要求2所述的方法，其特征在于，所述点云数据包括至少一个单帧点云数据，所述点云特征提取模块包括循环子模块和多个单帧特征提取子模块，所述循环子模块包括链式连接的多个第一循环神经网络，所述单帧特征提取子模块与所述第一循环神经网络一一对应，所述将所述待应答信息以及所述待应答信息对应的点云数据输入至所述点云特征提取模块中，获得所述点云特征提取模块输出的点云特征，包括：

针对每个所述单帧点云数据，将所述单帧点云数据和所述待应答信息输入至所述单帧特征提取子模块中，获得所述单帧特征提取子模块输出的所述单帧点云数据对应的单帧特征；

根据所述第一循环神经网络的连接顺序，依次将每个所述第一循环神经网络作为当前第一循环神经网络，将所述当前第一循环神经网络对应的所述单帧特征提取子模块输出的所述单帧特征以及所述当前第一循环神经网络的前一第一循环神经网络输出的网络提取特征输入至所述当前第一循环神经网络中，获得所述当前第一循环神经网络输出的网络提取特征，并将最后一个所述第一循环神经网络输出的网络提取特征作为所述点云特征。

4.根据权利要求3所述的方法，其特征在于，所述单帧特征提取子模块包括第一问题特征提取网络、注意力模块和原始特征提取网络，所述将所述单帧点云数据和所述待应答信息输入至所述单帧特征提取子模块中，获得所述单帧特征提取子模块输出的所述单帧点云数据对应的单帧特征，包括：

将所述待应答信息输入至所述第一问题特征提取网络中，获得所述第一问题特征提取网络输出的第一问题特征；

将所述单帧点云数据输入至所述原始特征提取网络中，获得所述原始特征提取网络输出的所述单帧点云数据的原始特征；

将所述第一问题特征和所述原始特征输入至所述注意力模块中，获得所述注意力模块输出的所述单帧特征。

5.根据权利要求4所述的方法，其特征在于，所述第一问题特征提取网络为第二循环神经网络，将所述待应答信息输入至所述第一问题特征提取网络中，获得所述第一问题特征提取网络输出的第一问题特征，包括：

根据所述待应答信息的语序，依次将所述待应答信息中的每个字符作为当前字符，将所述当前字符以及所述当前字符的前一字符对应的字符特征输入至所述第二循环神经网络中，获得所述第二循环神经网络输出的所述当前字符对应的字符特征，并将最后一个字符对应的字符特征作为所述第一问题特征。

6.根据权利要求4所述的方法，其特征在于，所述注意力模块包括空间注意力模块和时间注意力模块，所述将所述第一问题特征和所述原始特征输入至所述注意力模块中，获得所述注意力模块输出的所述单帧特征，包括：

将所述第一问题特征和所述原始特征输入至所述空间注意力模块中，获得所述空间注意力模块输出的空间加权特征；

将所述第一问题特征、各所述单帧特征提取子模块中的空间注意力模块输出的所述空间加权特征输入至所述时间注意力模块中，获得所述时间注意力模块输出的所述单帧特征。