[发明专利]用于文本类型数据识别的方法、系统及存储介质

权利要求书

1.一种用于文本类型数据识别的方法，其特征在于：包括以下步骤：

S1、获取数据表中的各个字段，将所有字段信息进行连接得到字段集合；

S2、构建训练集，训练集为步骤S1中的字段集合，对训练集中的字段集合进行基于字节的1-gram特征的提取；

S3、将步骤S2提取的特征输入bayes分类器进行训练；

S4、对待识别的数据表按照步骤S1-S2进行特征的提取，然后将提取的特征输入分类器中进行识别，分类器输出分类识别结果。

2.根据权利要求1所述的用于文本类型数据识别的方法，其特征在于：所述步骤S2中，进行基于字节的1-gram特征的提取的具体步骤如下：

S21、设步骤S1中的字段包括字节B₁B₂B₃…B_N，对字节B₁B₂B₃…B_N进行基于1-gram的字节级分词处理；

S22、对字节B₁B₂B₃…B_N分词后的结果进行统计计数，将各计数按照从大到小进行排序，排名最前的编号为1，并记rank为1；随后的编号为2，并记rank为2；依此向下编号；

S23、计算字段的排名特征：

F-gram-rank(S)＝rank(B₁)+rank(B₂)+rank(B₃)+…+rank(B_n)。

3.根据权利要求2所述的用于文本类型数据识别的方法，其特征在于，所述步骤S3进行分类器训练的具体步骤如下：

S31.给定的类别集合为C＝{c₁,c₂,…,c_m}，m为类别的个数，给定的训练集为字段集合T＝{t₁,t₂,…,t_N}，N为字段总数，将训练集中的所有汉字单字和英文单词作为独立的语义项，组成字典V；

S32.对于C中的每一类别c_i，对其中所有字段，计算先验概率其中为c_i类中字段的数量；

S33.对所有字段中的语义项r_i，计算其出现在c_i类中的条件概率其中为r_i出现在c_i类中的次数；

S34.输出训练结果：PR＝{pr[c_i]}，条件概率

4.根据权利要求3所述的用于文本类型数据识别的方法，其特征在于，所述步骤S4的具体步骤如下：

S41.对于待分类的表或者字段d，对于每个类别c_i，记其得分为s[c_i]＝0；

S42.计算先验概率对数，累计先验概率得分：s[c_i]+＝logpr[c_i]；

S43.对于d中的所有语义项r_i，累计条件概率得分：s[c_i]+＝logpc[r_i][c_i]；

S44.输出得分最大的类别为分类结果：arg max s[c_i]。

5.一种用于文本类型数据识别的系统，其特征在于：包括获取模块、特征提取模块、分类器训练模块及分类器识别模块：

获取模块：用于获取数据表中的各个字段，将所有字段信息进行连接得到字段集合；

特征提取模块：用于构建训练集，训练集为获取模块得到的字段集合，对训练集中的字段集合进行基于字节的1-gram特征的提取；

分类器训练模块：用于将特征提取模块提取的特征输入bayes分类器进行训练；

分类器识别模块：用于对待识别的数据表，按照获取模块得到字段集合，然后特征提取模块进行特征的提取，最后将提取的特征输入分类器中进行识别，分类器输出分类识别结果。