[发明专利]一种数据质检方法、装置、存储介质和电子设备

说明书

本发明公开了一种数据质检方法、装置、存储介质和电子设备，通过获得待质检文本数据；对所述待质检文本数据执行如下方式一和方式二中的至少一种；方式一：对所述待质检文本数据进行正则匹配，从而确定所述待质检文本数据是否包括违规词；方式二：通过预先建立的实体识别模型，对所述待质检文本数据进行识别，从而得到所述待质检文本数据中的实体和所述实体的属性信息；在预先建立的知识图谱中，查询获得所述实体在所述知识图谱中的属性信息；将所述实体在所述知识图谱中的属性信息与通过所述实体识别模型得到的所述属性信息进行比对，从而确定所述待质检文本数据是否正确。本发明可以准确地对保险产品的解说内容进行质检，效率较高，准确度较高。

技术领域

本发明涉及数据质检领域，特别涉及一种数据质检方法、装置、存储介质和电子设备。

背景技术

在现有的保险智能质检系统中，常见的质检内容包括：禁用语，法律法规，违规操作等。这些内容均能够通过规则配置或神经网络模型进行质检。然而关于保险产品的解说内容，由于保险产品特殊的时效性以及多样性导致无法复用其它质检方法对解说内容进行质检。例如，寿险具有时效性，不同的寿险产品会不在同时间段上下架，并且寿险涉及到大量具体产品属性，例如寿险的缴费年限，保费，保额等属性。

通过积累语料训练神经网络模型的方法需要在特定时间段大量标注语料，且随着保险产品的上下架，历史累积语料也会随之时效。因此基于该方法对保险产品的解说内容进行质检具有不可实践性，即目前尚无对保险产品的解说内容的质检方法。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的第一方面，一种数据质检方法，包括：

获得待质检文本数据；

对所述待质检文本数据执行如下方式一和方式二中的至少一种；

方式一：对所述待质检文本数据进行正则匹配，从而确定所述待质检文本数据是否包括违规词；

方式二：通过预先建立的实体识别模型，对所述待质检文本数据进行识别，从而得到所述待质检文本数据中的实体和所述实体的属性信息；在预先建立的知识图谱中，查询获得所述实体在所述知识图谱中的属性信息；将所述实体在所述知识图谱中的属性信息与通过所述实体识别模型得到的所述属性信息进行比对，从而确定所述待质检文本数据是否正确。

结合第一方面，在某些可选的实施方法中，所述方法还包括：

获得至少一条文本数据；

将所述至少一条文本数据进行分词，得到多个独立词组；

对所述多个独立词组进行停用独立词组的过滤，从而得到多个有效独立词组，其中，所述停用独立词组至少包括预设的无效独立词组；

对所述多个有效独立词组进行两两组合，得到多个有效组合词组；

将多个预设的违规基础词、所述多个有效独立词组和所述多个有效组合词组分别输入至预先训练好的bert模型中，从而分别得到各所述违规基础词的编码矩阵、各所述有效独立词组的编码矩阵和各所述有效组合词组的编码矩阵；

根据各所述违规基础词的编码矩阵、各所述有效独立词组的编码矩阵和各所述有效组合词组的编码矩阵，从所述有效独立词组和所述有效组合词组得到多个违规扩展词；

所述对所述待质检文本数据进行正则匹配，从而确定所述待质检文本数据是否包括违规词，包括：

对所述待质检文本数据进行正则匹配，确定所述待质检文本数据中是否包括违规词库中的违规词，其中，所述违规词库中的违规词至少包括所述违规基础词和所述违规扩展词。