[发明专利]评估语义理解准确率的方法、装置、存储介质和电子设备

权利要求书

1.一种评估语义理解准确率的方法，其特征在于，所述语义理解准确率的方法包括：

获得标准测试文件，在所述标准测试文件中，用户说法与正确的标准用户意图匹配；

调用被测试的当前正则表达式获得的当前测试意图分类，所述当前测试意图分类是根据被测试的当前正则表达式获得的意图分类；

判断所述当前测试意图分类与标准用户意图的分类是否一致；

若不一致，修改所述当前正则表达式；

统计从所述当前测试意图分类与所述标准用户意图的分类一致或不一致的概率。

2.根据权利要求1所述的方法，其特征在于，所述获得标准测试文件的步骤包括：

获得标准测试集表格，在所述标准测试集表格中，用户说法用正确的标准用户意图标注；

根据所述标准测试集表格生成所述标准测试文件。

3.根据权利要求1所述的方法，其特征在于，所述调用被测试的当前正则表达式获得的当前测试意图分类包括：

从测试集表格中读取当前测试集数据；

调用被测试的所述当前正则表达式；

按照所述当前正则表达式从所述当前测试集数据中获得所述当前测试意图分类。

4.根据权利要求1所述的方法，其特征在于，当所述当前测试意图分类与所述标准用户意图的分类不一致时，将该不一致的测试用户意图分类输出。

5.根据权利要求1所述的方法，其特征在于，当所述当前测试意图分类与所述标准用户意图的分类不一致的概率大于预设值时，或者，当所述当前测试意图分类与所述标准用户意图的分类一致的概率小于预设值时，修正所述当前正则表达式。

6.一种评估语义理解准确率的装置，其特征在于，所述评估语义理解准确率的装置包括：

获取单元，其用于获得标准测试文件，在所述标准测试文件中，用户说法与正确的标准用户意图匹配；

匹配单元，其用于按照当前正则表达式从当前测试集数据中获得当前测试意图分类；

判断单元，其用于判断所述当前测试意图分类与所述标准用户意图的分类是否一致；

统计单元，其用于统计所述当前测试意图分类与所述标准用户意图的分类一致的概率。

7.根据权利要求6所述的装置，其特征在于，所述匹配单元包括：

调用模块，其用于调用被测试的所述当前正则表达式；

读取模块，其用于从测试集表格中读取当前测试集数据；

生成模块，其用于根据所述当前测试集数据生成所述当前测试意图分类。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

输出单元，其用于当所述当前测试意图分类与所述标准用户意图的分类不一致时，将该不一致的测试用户意图分类输出。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-5任一项所述的方法。

10.一种电子设备，其特征在于，所述电子设备包括含有指令的计算机程序，当所述指令在所述电子设备中运行时，所述电子设备执行如权利要求1-5任一项所述的方法。