[发明专利]问答处理方法、装置、设备及存储介质

说明书

本申请公开了问答处理、语言模型的训练方法、装置、设备及存储介质，涉及自然语言处理领域。具体实现方案为：获取与待查询问题相匹配的至少一个候选表格，每个候选表格包括与问题相对应的一个候选答案；对至少一个候选表格进行处理，得到至少一个表格文本，表格文本包括候选表格中各个域的文本内容，域包括标题、表头和单元格；将问题和每个表格文本分别输入预设的语言模型，得到问题和每个候选表格的匹配度；根据每个候选表格的匹配度，输出答复表格，答复表格为至少一个候选表格中，与问题的匹配度大于预设值的候选表格或者最大匹配度对应的候选表格。本申请采用语言模型对问题和文本进行语义匹配，提高问题和表格的匹配准确率和召回率。

技术领域

本申请实施例涉及数据处理中的自然语言处理技术，尤其涉及一种问答处理、语言模型的训练方法、装置、设备及存储介质。

背景技术

问答系统(Question Answering System,QA)是信息检索系统的一种高级形式，其能用准确、简洁的自然语言回答用户用自然语言提出的问题，为用户提供个性化服务。问答系统在回答用户的问题时，其中一种方式是为问题匹配结构化的答案，例如表格形式的答案，而如何获取与问题相应的表格，是目前一大难点。

目前，问题系统主要是通过对表格中各个域(包括标题、表头、表格单元和上下文等)的信息进行处理，然后将表格各个域的信息与问题进行文本匹配，从而获取相应的表格形式的答案。然而，这种方式匹配得到的答案存在精准度不高的问题。

发明内容

本申请提供了一种用于为问题匹配表格形式的答案的问答处理、语言模型的训练方法、装置、设备及存储介质。

根据本申请的一方面，提供了一种问答处理方法，包括：获取与待查询问题相匹配的至少一个候选表格，每个候选表格包括与所述问题相对应的一个候选答案；对所述至少一个候选表格进行处理，得到至少一个表格文本，所述表格文本包括所述候选表格中各个域的文本内容，所述域包括标题、表头和单元格；将所述问题和每个表格文本分别输入预设的语言模型中，得到所述问题和每个候选表格的匹配度；根据每个候选表格的匹配度，输出答复表格，所述答复表格为所述至少一个候选表格中，与所述问题的匹配度大于预设值的候选表格或者与所述问题的匹配度最大的候选表格。

根据本申请的另一方面，提供了一种语言模型的训练方法，包括：获取第一训练样本数据，所述第一训练样本数据为无标注信息的文本数据；基于所述第一训练样本数据对待训练模型进行第一预训练，得到第一预训练模型；获取第二训练样本数据及其对应的标注信息，所述第二训练样本数据包括问题和与所述问题对应的多个候选表格，所述标注信息用于表示所述问题和每个候选表格的相关性；基于所述第二训练样本数据及其对应的标注信息对所述第一预训练模型进行训练，得到所述语言模型，所述语言模型用于确定所述问题与至少一个候选表格的匹配度。

根据本申请的另一方面，提供了一种问答处理装置，包括：第一获取模块，用于获取与待查询问题相匹配的至少一个候选表格，每个候选表格包括与所述问题相对应的一个候选答案；转换模块，用于对所述至少一个候选表格进行处理，得到至少一个表格文本，所述表格文本包括所述候选表格中各个域的文本内容，所述域包括标题、表头和单元格；确定模块，用于将所述问题和每个表格文本分别输入预设的语言模型中，得到所述问题和每个候选表格的匹配度；输出模块，用于根据每个候选表格的匹配度，输出答复表格，所述答复表格为所述至少一个候选表格中，与所述问题的匹配度大于预设值的候选表格或者与所述问题的匹配度最大的候选表格。