[发明专利]自动识别网页中维吾尔文的方法及其系统

权利要求书

1.一种自动识别网页中维吾尔文的方法，其特征在于，包括：

步骤1，确定作为识别特征的n元组中n的取值，对于训练网页中使用的每种语言，统计所述语言的各个n元组在使用所述语言的训练网页中的出现频率，以所述出现频率为一个权重值，并且取所述n元组在预设标准编码中的有效位生成所述权重值对应的特征ID，所述训练网页中使用的语言包括维吾尔文和同维吾尔文相似文字；

步骤2，统计待识别网页中每个n元组的出现次数，取所述n元组在预设标准编码中有效位生成所述出现次数对应的识别ID，对于训练网页使用的每种语言，将特征ID的权重值和与所述特征ID相同的识别ID的出现次数相乘，叠加乘积，所得和值为待识别网页对应于所述语言的分值，所述待识别网页使用的语言为最高分值对应的语言。

2.如权利要求1所述的自动识别网页中维吾尔文的方法，其特征在于，

所述步骤1前还包括：

步骤21，对训练网页和待识别网页进行预处理，除去网页标签，获得网页显示的字符的正文，并对转义字符进行还原。

3.如权利要求2所述的自动识别网页中维吾尔文的方法，其特征在于，

所述步骤21还包括：

步骤31，将正文中代表两个字符的连写字母编码转换为拆分后对应的两个字符的编码；

步骤32，判断词首元音字母前是否具有hamza，如果不具有，则在所述词首元音字母前添加；

步骤33，判断词首元音字母是否为复合元音字母，如果是，则将所述复合元音字母拆分为对应的两个字符；

步骤34，将阿拉伯字母扩展区中的字母转换为阿拉伯字母基本区中对应形状的字母。

4.如权利要求1所述的自动识别网页中维吾尔文的方法，其特征在于，

所述步骤1中确定作为识别特征的n元组中n的取值进一步为，

步骤41，对于训练网页中使用的每种语言，统计所述语言中i元组的出现概率，i的取值为1至m，m为预设值；

步骤42，依据所述出现概率优先选择出现概率较高的i元组作为识别特征。

5.如权利要求1所述的自动识别网页中维吾尔文的方法，其特征在于，

所述步骤1中还包括：

步骤51，对于每种语言，将权重值按从大到小排名，选取前K个权重值，将选取的权重值和所述权重值对应的特征ID记录到所述语言的特征权重表中；所述语言的前K个权重值相加大于预设阀值，K为所述语言对应的选取值；

所述步骤2中对于训练网页使用的每种语言，将特征ID的权重值和与所述特征ID相同的识别ID的出现次数相乘进一步为，

步骤52，对于训练网页使用的每种语言，将所述语言的特征权重表中特征ID的权重值和与所述特征ID相同的识别ID的出现次数相乘。

6.如权利要求5所述的自动识别网页中维吾尔文的方法，其特征在于，

所述步骤2中统计待识别网页中每个n元组的出现次数，取所述n元组在预设标准编码中有效位生成所述出现次数对应的识别ID后还包括，

步骤61，在存储单元中存储所述n元组的出现次数，以所述识别ID为所述存储单元的下标，各个存储单元组成n元组数组；

所述步骤2中对于训练网页使用的每种语言，将特征ID的权重值和与所述特征ID相同的识别ID的出现次数相乘进一步为，

步骤62，对于每种语言，遍历所述语言的特征权重表，对于特征权重表每一行，读取所述行的特征ID，在所述n元组数组中查找下标为所述特征ID的存储单元，将查找到的存储单元存储的数值与所述行的权重值相乘。

7.一种自动识别网页中维吾尔文的系统，其特征在于，包括：

训练模块，用于确定作为识别特征的n元组中n的取值，对于训练网页中使用的每种语言，统计所述语言的各个n元组在使用所述语言的训练网页中的出现频率，以所述出现频率为一个权重值，并且取所述n元组在预设标准编码中的有效位生成所述权重值对应的特征ID，所述训练网页中使用的语言包括维吾尔文和同维吾尔文相似文字；

识别模块，用于统计待识别网页中每个n元组的出现次数，取所述n元组在预设标准编码中有效位生成所述出现次数对应的识别ID，对于训练网页使用的每种语言，将特征ID的权重值和与所述特征ID相同的识别ID的出现次数相乘，叠加乘积，所得和值为待识别网页对应于所述语言的分值，所述待识别网页使用的语言为最高分值对应的语言。