[发明专利]一种针对URL的分词方法及装置

权利要求书

1.一种针对URL的分词方法，其特征在于，包括以下步骤：

1)对URL地址按照其内在的层次结构进行分割，得到若干层次部分；

2)对所述若干层次部分依次进行符号分割与正则表达式过滤；

3)对步骤2)处理后得到字符串进行分割，得到URL分词序列；

其中，步骤2)依据RFC 1738规范中的特殊符号对各个层次部分依次进行符号分割，并对具有特定格式的字段进行正则表达式过滤，以清除URL中的非字母字符，即在正则表达式过滤阶段采用固定内容来替换满足正则表达式要求的部分；所述具有特定格式的字段包括IP地址、日期和连续数字。

2.如权利要求1所述的方法，其特征在于，步骤1)将URL地址分割为五个层次部分：协议类型、自由域名、二级域名、顶级域名和路径。

3.如权利要求1所述的方法，其特征在于，步骤3)利用双向最大匹配算法和概率模型对字符串进行分割。

4.如权利要求3所述的方法，其特征在于，所述概率模型首先计算一个词w_i的概率为其中M为词集合大小，为词w_i的数目；然后针对分词序列W＝w₁,w₂,...w_m，使用拟合函数fit计算分词结果，通过该拟合函数测量给定分割的拟合度，以实现对双向最大匹配算法最好分割结果的选择。

5.一种针对URL的分词装置，其特征在于，包括：

层次分割模块，用于对URL地址按照其内在的层次结构进行分割，得到若干层次部分；

符号分割与正则表达式过滤模块，用于对所述层次分割模块得到的各个层次部分依次进行符号分割与正则表达式过滤；依据RFC 1738规范中的特殊符号对各个层次部分依次进行符号分割；对具有特定格式的字段进行正则表达式过滤，以清除URL中的非字母字符，即在正则表达式过滤阶段采用固定内容来替换满足正则表达式要求的部分；所述具有特定格式的字段包括IP地址、日期和连续数字；

字符串分割模块，用于对所述符号分割与正则表达式过滤模块处理后的字符串进行分割，得到URL分词序列。

6.如权利要求5所述的装置，其特征在于，所述层次分割模块将URL地址分割为五个层次部分：协议类型、自由域名、二级域名、顶级域名和路径。

7.如权利要求5所述的装置，其特征在于，所述字符串分割模块利用双向最大匹配算法和概率模型对字符串进行分割。

8.一种服务器，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1至4中任一权利要求所述方法中各步骤的指令。

9.一种存储计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被计算机执行时，实现权利要求1至4中任一权利要求所述方法的步骤。