[发明专利]用于文本类型数据识别的方法、系统及存储介质

说明书

本发明涉及用于文本类型数据识别的方法、系统及存储介质。在该方法中首先获取数据表中的各个字段，将所有字段信息进行连接得到字段集合，然后构建训练集，对训练集中的字段集合进行基于字节的1‑gram特征的提取，将提取的特征输入bayes分类器进行训练，最后对待识别的数据表进行特征的提取，将提取的特征输入分类器中进行识别，分类器输出分类识别结果。该方法使用单汉字或者单词为语义单位作为分类特征，避免了特征在训练样本中的稀疏性问题，将类别所有字段内容连接为一个大文件进行处理，且将贝叶斯概率计算用于该分类问题，将字段的先验概率、1‑gram的类别条件概率作为计算概率的主要变量，分类中使用对数运算实现得分的相加，提高了识别准确率。

技术领域

本发明属于机器学习技术领域，更具体地，涉及一种用于文本类型数据识别的方法、系统及存储介质。

背景技术

随着数字经济时代的来临，数据作为新型生产要素，加速与传统产业生产力融合发展，推动经济发展质量变革、效率变革、动力变革。在此背景下，我国高度重视数据安全保护工作，为国家数据经济发展保驾护航。我国积极借鉴国外数据安全管理先进经验，出台《网络安全法》等法律法规，明确提出数据分类、加密等安全保障要求，将数据资产梳理、数据分级分类管理等作为数据安全保护基础措施与前置条件正式纳入到企业数据安全管理责任义务中进行要求。由于数据体量大、更新快、种类多等特点，使得人工梳理数据无法满足数据资产管理与分级分类的要求，因此，研发数据资产识别自动化工具，有助于高效、准确的完成数据资产识别与梳理，对于推动全行业提升网络数据安全保护能力，共筑国家数据安全防线有重要积极意义。

目前相关主体单位对于数据库、大数据平台等存储的数据主要采用基于正则表达式判定的方式进行数据分级分类识别。即需要人工预先根据数据的类型、内容、长度等数据特征建立该数据的正则表达式，进而通过计算数据与正则表达式的匹配程度，实现对数据级别和类别的识别。而现有的基于正则表达式的分级分类识别方法，主要存在以下问题：一是适用范围有限，该算法仅可对数据特征明显的数字型数据和二进制型数据等进行分类识别，如身份证号、电话号、帐号、密码等数字类型数据，无法识别姓名、公司名、健康状况、爱好等无明显数据特征，难以建立正则表达式的文本类型数据；二是前期需要人工定义数据识别规则，工作耗时长，工作效率低。

发明内容

提供了本公开以解决现有技术中存在的上述问题。

本公开使用单汉字或者单词为语义单位作为分类特征，避免了特征在训练样本中的稀疏性问题；将类别所有字段内容连接为一个大文件进行处理；将贝叶斯概率计算用于该分类问题，特别是将字段的先验概率、1-gram的类别条件概率作为计算概率的主要变量；训练过程中生成先验概率和条件概率；分类中使用对数运算实现得分的相加，解决了传统正则表达式数据资产梳理方法无法有效适用于大部分文本类型数据的问题。提高了识别准确率，省去了人工设置数据识别规则的时间，工作耗时短，运行效率较高。

根据本公开的第一方面，提供了一种用于文本类型数据识别的方法，包括以下步骤：

S1、获取数据表中的各个字段，将所有字段信息进行连接得到字段集合；

S2、构建训练集，训练集为步骤S1中的字段集合，对训练集中的字段集合进行基于字节的1-gram特征的提取；

S3、将步骤S2提取的特征输入bayes分类器进行训练；

S4、对待识别的数据表按照步骤S1-S2进行特征的提取，然后将提取的特征输入分类器中进行识别，分类器输出分类识别结果。

根据本公开的第二方面，所述步骤S2中，进行基于字节的1-gram特征的提取的具体步骤如下：