[发明专利]一种数据识别方法、装置和存储介质

说明书

本发明公开了一种数据识别方法、装置和存储介质，其中，方法包括：获取第一表格；根据预设的特征获取策略，确定第一表格的第一列特征向量集合；第一表格包括至少一列；第一列特征向量集合包括至少一列中各列的特征向量；特征向量包括相应列的字符特征；运用预设的识别模型，识别第一列特征向量集合，得到第一分析结果向量；识别模型包括至少一个分类器模型；至少一个分类器模型中每个分类器模型分别用于识别相应类表格；第一分析结果向量包括至少一列中各列对应相应分类器模型的分析结果；根据第一分析结果向量确定第一表格与至少一类表格中各类表格的相似度，根据确定的相似度确定识别结果；识别结果表征第一表格所对应的表格类别。

技术领域

本发明涉及数据识别技术，尤其涉及一种数据识别方法、装置和计算机可读存储介质。

背景技术

表格作为组织整理数据的手段，可以包括有多种数据；敏感数据分析技术中包括敏感表格识别。相关技术中对于表格类数据识别主要以关键字内容匹配方案为主，该方案需要用户预先输入待保护的表格文件，采用摘要和关键字匹配技术对表格中特定内容进行记录，分析表格是否命中相同内容。上述方法虽然识别精确度高，但是对于内容发生变化的情况检测能力不佳。

发明内容

有鉴于此，本发明的主要目的在于提供一种数据识别方法、装置和计算机可读存储介质。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例提供了一种数据识别方法，所述方法包括：

获取第一表格；

根据预设的特征获取策略，确定所述第一表格的第一列特征向量集合；所述第一表格包括至少一列；所述第一列特征向量集合包括所述至少一列中各列的特征向量；所述特征向量包括相应列的字符特征；

运用预设的识别模型，识别所述第一列特征向量集合，得到第一分析结果向量；所述识别模型包括至少一个分类器模型；所述至少一个分类器模型中每个所述分类器模型分别用于识别相应类表格；所述第一分析结果向量包括至少一列中各列对应相应分类器模型的分析结果；

根据所述第一分析结果向量确定所述第一表格与至少一类表格中各类表格的相似度，根据确定的相似度确定识别结果；所述识别结果表征所述第一表格所对应的表格类别。

上述方案中，所述方法还包括：训练至少一个分类器模型；训练分类器模型包括：

获取至少一个样本表格；

根据预设的特征获取策略，确定所述至少一个样本表格中各样本表格对应的样本列特征向量集合；

根据所述各样本表格对应的样本列特征向量集合进行相似列合并，得到训练数据集；

根据所述训练数据集和针对所述训练数据集中各列对应的标签进行训练，得到分类器模型。

上述方案中，所述根据所述各样本表格对应的样本列特征向量集合进行相似列合并，得到训练数据集，包括：

根据所述各样本表格对应的样本列特征向量集合确定至少一列对应的特征向量；

对所述至少一列对应的特征向量进行聚类，得到至少一个簇，作为所述训练数据集；所述至少一个簇中各簇包括至少一列和所述至少一列中各列对应的特征向量。

上述方案中，所述运用预设的识别模型，识别所述第一列特征向量集合，得到第一分析结果向量，包括：

对所述第一列特征向量集合中各列进行相似列合并，得到第二列特征向量集合；

识别所述第二列特征向量集合，得到第一分析结果向量；

所述根据所述第一分析结果向量确定所述第一表格与至少一类表格中各类表格的相似度，包括：