[发明专利]基于正则表达式的文档字符串编码识别方法及装置

权利要求书

1.一种基于正则表达式的文档字符串编码识别方法，其特征在于，所述方法包括：

根据正则表达式确定最佳因子集合；

采用CW算法确定出现所述最佳因子集合中的最佳因子的文档记录，并将确定的文档记录添加到候选集合中；

根据所述正则表达式确定的DFA自动机对候选集合中的最佳因子的字符串进行验证，将得到成功匹配的字符串。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据编码规则确定所述正则表达式，所述编码规则包括规范化的编码数据。

3.根据权利要求1所述的方法，其特征在于，根据正则表达式确定最佳因子集合，包括：

根据正则表达式确定一个或多个查询片段；

针对每个查询片段，确定该查询片段所有可能的字符串，该所有可能的字符串组成字符串集合；

将与所述正则表达式匹配的字符串中最长的字符串作为必要因子；

选择所述字符串集合中长度大于所述必要因子的字符串组成最佳因子集合。

4.根据权利要求1所述方法，其特征在于，采用CW算法确定出现所述最佳因子集合中的最佳因子的文档记录，并将确定的文档记录添加到候选集合中，包括：

根据CW算法确定出查询文本序列所需要使用到的滑动窗口的长度；

在文本序列上以预设方向的使用滑动窗口进行遍历，在每个滑动窗口中与预设方向相反的方向依次比较各字符，若查询某个查询的最长后缀，则报告了一个成功匹配，将记录加入到候选集合中，并向后继续滑动窗口，直至遍历结束。

5.根据权利要求1所述的方法，其特征在于，根据所述正则表达式确定的DFA自动机对候选集合中的最佳因子的字符串进行验证，将得到成功匹配的字符串，包括

根据所述正则表达式构建对应的DFA自动机；

采用DFA自动机对所述候选集合进行匹配，得到成功匹配的字符串。

6.一种基于正则表达式的文档字符串编码识别装置，其特征在于，所述装置包括：

第一确定模块，用于根据正则表达式确定最佳因子集合；

第二确定模块，用于采用CW算法确定出现所述最佳因子集合中的最佳因子的文档记录，并将确定的文档记录添加到候选集合中；

第三确定模块，用于根据所述正则表达式确定的DFA自动机对候选集合中的最佳因子的字符串进行验证，将得到成功匹配的字符串。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第四确定模块，用于根据编码规则确定所述正则表达式，所述编码规则包括规范化的编码数据。

8.根据权利要求6所述的装置，其特征在于，所述第一确定模块包括：

第一确定子模块，用于根据正则表达式确定一个或多个查询片段；

第二确定子模块，用于针对每个查询片段，确定该查询片段所有可能的字符串，该所有可能的字符串组成字符串集合；

第三确定子模块，用于将与所述正则表达式匹配的字符串中最长的字符串作为必要因子；

第四确定子模块，用于选择所述字符串集合中长度大于所述必要因子的字符串组成最佳因子集合。

9.根据权利要求6所述装置，其特征在于，所述第二确定模块包括：

第五确定子模块，用于根据CW算法确定出查询文本序列所需要使用到的滑动窗口的长度；

第六确定子模块，用于在文本序列上以预设方向的使用滑动窗口进行遍历，在每个滑动窗口中与预设方向相反的方向依次比较各字符，若查询某个查询的最长后缀，则报告了一个成功匹配，将记录加入到候选集合中，并向后继续滑动窗口，直至遍历结束。

10.根据权利要求6所述的装置，其特征在于，所述第三确定模块包括

第七确定子模块，用于根据所述正则表达式构建对应的DFA自动机；

第八确定子模块，用于采用DFA自动机对所述候选集合进行匹配，得到成功匹配的字符串。