[发明专利]一种数据质检方法、装置、存储介质和电子设备

权利要求书

1.一种数据质检方法，其特征在于，包括：

获得待质检文本数据；

对所述待质检文本数据执行如下方式一和方式二中的至少一种；

方式一：对所述待质检文本数据进行正则匹配，从而确定所述待质检文本数据是否包括违规词；

方式二：通过预先建立的实体识别模型，对所述待质检文本数据进行识别，从而得到所述待质检文本数据中的实体和所述实体的属性信息；在预先建立的知识图谱中，查询获得所述实体在所述知识图谱中的属性信息；将所述实体在所述知识图谱中的属性信息与通过所述实体识别模型得到的所述属性信息进行比对，从而确定所述待质检文本数据是否正确。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获得至少一条文本数据；

将所述至少一条文本数据进行分词，得到多个独立词组；

对所述多个独立词组进行停用独立词组的过滤，从而得到多个有效独立词组，其中，所述停用独立词组至少包括预设的无效独立词组；

对所述多个有效独立词组进行两两组合，得到多个有效组合词组；

将多个预设的违规基础词、所述多个有效独立词组和所述多个有效组合词组分别输入至预先训练好的bert模型中，从而分别得到各所述违规基础词的编码矩阵、各所述有效独立词组的编码矩阵和各所述有效组合词组的编码矩阵；

根据各所述违规基础词的编码矩阵、各所述有效独立词组的编码矩阵和各所述有效组合词组的编码矩阵，从所述有效独立词组和所述有效组合词组得到多个违规扩展词；

所述对所述待质检文本数据进行正则匹配，从而确定所述待质检文本数据是否包括违规词，包括：

对所述待质检文本数据进行正则匹配，确定所述待质检文本数据中是否包括违规词库中的违规词，其中，所述违规词库中的违规词至少包括所述违规基础词和所述违规扩展词。

3.根据权利要求2所述的方法，其特征在于，所述根据各所述违规基础词的编码矩阵、各所述有效独立词组的编码矩阵和各所述有效组合词组的编码矩阵，从所述有效独立词组和所述有效组合词组中得到多个违规扩展词，包括：

对任一个编码矩阵，均执行：计算获得所述任一个编码矩阵的每一列的各向量值的平均值，每一列对应一个平均值；将所述每一列对应的平均值按照所述任一个编码矩阵中的每一列的位置进行排序，从而得到与所述任一个编码矩阵匹配的编码向量，所述编码向量为1行N列的行向量，其中，所述N为大于1的整数，一个编码向量对应一个编码矩阵；

分别计算各所述违规基础词对应的各编码向量与各所述有效独立词组对应的各编码向量的第一相似度，从而根据所述第一相似度从所述有效独立词组中得到至少一个所述违规扩展词；

分别计算各所述违规基础词对应的各编码向量与各所述有效组合词组对应的各编码向量的第二相似度，从而根据所述第二相似度从所述有效组合词组中得到至少一个所述违规扩展词。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一相似度从所述有效独立词组中得到至少一个所述违规扩展词，包括：

将所述第一相似度大于第一预设阈值或所述第一相似度排序大于预设序位的有效独立词组确定为所述违规扩展词；

所述根据所述第二相似度从所述有效组合词组中得到至少一个所述违规扩展词，包括：

将所述第二相似度大于第二预设阈值或所述第二相似度排序大于预设序位的有效组合词组确定为所述违规扩展词。

5.根据权利要求1所述的方法，其特征在于，所述将所述实体在所述知识图谱中的属性信息与通过所述实体识别模型得到的所述属性信息进行比对，从而确定所述待质检文本数据是否正确，包括：

将所述实体在所述知识图谱中的属性信息与通过所述实体识别模型得到的所述属性信息进行比对，若所述实体在所述知识图谱中的属性信息与通过所述实体识别模型得到的所述属性信息一致，则所述待质检文本数据正确，否则，确定待质检文本数据不正确。