[发明专利]文本特征值的提取方法、装置及电子设备

说明书

本发明实施例提供的一种文本特征值的提取方法、装置及电子设备。通过将待提取特征值的文本中的字符转换为对应的编码，得到编码序列，按照编码序列的预设顺序，从编码序列的当前提取位置，提取第一预设数量的多个编码，将提取的多个编码，采用预设混淆算法进行混淆运算，得到每个编码的混淆结果，再将多个编码的混淆结果求和，得到针对当前提取位置的叠加值；当叠加值在预设范围内时，按照预设顺序，选取与当前提取位置相隔第二预设数量的编码；使用选取的编码，确定出文本的针对当前提取位置的特征值，从而生成包含文本结构信息的特征序列，消除了对特定语言的限制，增强了提取文本特征值的通用性。

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种文本特征值的提取方法、装置及电子设备。

背景技术

在新闻网页抓取过程中，往往遇到不同网站转载同一篇新闻文本，或同一媒体对某一事件持续报道并连续更新该新闻页面。在为用户提供新闻文本时，此类新闻文本应当合并为同一篇新闻文本，避免用户看到重复的新闻文本，从而提升用户体验。为高效检索相似文本，需要将较长的文本转换为较短的特征序列，通过对文本较短的特征序列的相似性比对，实现相似文本的检索。

目前主要通过文本排重的方法检测相似的文本特征序列，从而检测到相似的文本。文本排重的特征序列算法主要有simhash算法和spotsig算法。simhash算法是将文本转换为定长特征序列，转换后的特征序列会丢失了文章的结构信息，无法用于检测段落增删导致的文章差异；spotsig算法是根据文本中的指定的特征词生成变长特征序列。

以英文为例，spotsig算法以常用词is、to、be、for、in作为锚点特征。可以假设在英文文本段落中上述词在文本中均匀分布，因此，在全文中找出上述所有冠词的位置作为锚点，以冠词后面第一个英文字母作为锚点对应的特征值，将所有特征值连接起来，即可得到代表文档信息的特征序列。例如对于以下文本：This domain is established to beused for illustrative examples in documents.You may use this domain inexamples without prior coordination or asking for permission.按照文本阅读顺序，其is、to、be、for、in五个词后面的第一个英文字母如表1所示：

表1

由表1可知，由规定的锚点位置生成的代表上述文本的特征序列为ebuidep。

如果将上述文本修改为如下：For example,this domain is established to beused for illustrative examples in documents.You may use this domain inexamples without prior coordination.按照上述规则可以得到新的特征串eebuide，对比两个特征序列，以1表示相同部分，0表示不同部分，则可以得到序列01111110，如表2所示：

表2