[发明专利]一种基于UCL的用户兴趣主题挖掘方法及装置

说明书

本发明公开了一种基于UCL的用户兴趣主题挖掘方法及装置。本发明首先获取用户历史、浏览器浏览历史和浏览器书签对应的网页数据，并对网页数据进行预处理和UCL标引；然后将UCL文档中的相关文本内容转换为向量，利用DLDA_SE模型构建用户潜在兴趣主题模型，并利用爬虫爬取用户实时访问互联网中内容产生的数据对用户潜在兴趣主题模型进行即时更新；最后利用DLDA_SE模型对用户搜索进行主题挖掘，计算拓展后的搜索意图主题与各个用户潜在兴趣主题的相似度，确定用户兴趣主题。与现有技术相比，本发明可以避免低区分度高频词的权重过高降低主题模型的性能，并且能够适应于搜索环境，通过对用户搜索短句进行主题拓展，能准确地确定用户兴趣主题。

技术领域

本发明涉及一种基于UCL的用户兴趣主题挖掘方法及装置，属于互联网技 术领域。

背景技术

随着互联网的迅速普及和数字信息的爆炸式增长，人们越来越依赖于从互联 网获取信息资源。互联网信息资源极为丰富，一方面带来了宝贵的信息财富。另 一方面在这些庞大的数据中又有大量冗余相似的信息，且数以亿计的网民所关注 的可能是其中不同的小部分信息。因此，如何从这些杂乱失序的数据中检索出符 合用户需求的有效信息具有重要意义。传统搜索引擎主要以链接为中心，它主要通过索引网页中的内容，匹配用户搜索请求中的关键词反馈给用户相关的网页链 接，并利用网页排序算法对结果进行排序。这种模式给互联网信息检索带来了极 大便利，但它对于用户意图的挖掘不够深入，不能体现不同用户对于同一搜索请 求所期待结果的差异性。且不同用户的兴趣、行为和习惯有较大差异，相同搜索 语句所期待获取的结果也是不同的。以用户为中心的个性化搜索技术通过对用户 兴趣建模，能够有效识别用户意图，为用户提供个性化搜索服务，是解决上述问题的有效途径。

用户兴趣主题模型的构建需要挖掘用户搜索历史等行为信息，且该模型需要 适应互联网环境下数据的动态变化。传统主题挖掘方法一般基于词袋模型，例如 LDA(LatentDirichlet Allocation)模型，其为了便于计算将每一篇文档视为一个 词频向量。但是该方法仅仅考虑词语之间的共现信息但没有考虑词与词之间的顺 序和词语所处的语义环境，且不能够检测出现次数较多但与具体主题关系不大的 词语，降低主题模型的区分度。此外，在互联网中每时每刻都会出现大量新的新闻网页等数据。用户兴趣主题模型需要适应数据的动态变化，对新主题进行及时 更新，提高对文档主题表示的准确性。由国家标准《统一内容标签格式规范》 (GB/T 35304-2017)所定义的统一内容标签UCL(UniformContent Label)，是 一种可对内容资源的丰富语义进行标引的内容元数据，其可以为用户兴趣主题构 建模型的构建提供丰富语义支撑，提高模型性能。因此，结合UCL富语义编码的优势，提出应用搜索环境下的动态主题模型实现用户兴趣主题的挖掘是本发明的主要研究课题。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明结合UCL富语义编 码的优势，提出一种应用搜索环境下的动态主题模型DLDA_SE(Dynamic Latent DirichletAllocation for Search Environment)，并基于该模型实现用户兴趣主题挖掘方法及装置。本发明不仅可以挖掘用户搜索历史信息中的主题特征构建用户潜 在兴趣模型，还可以利用UCL提供的丰富语义信息对主题挖掘参数按时间片进 行迭代更新，从而对用户潜在兴趣模型进行动态更新，挖掘用户兴趣主题，确定 用户搜索意图。

技术方案：为实现上述发明目的，本发明提供的一种基于UCL的用户兴趣 主题挖掘方法，首先获取用户历史、浏览器浏览历史和浏览器书签对应的网页数 据，并利用数据清洗工具对网页数据进行预处理和UCL标引；然后将UCL文档 中的相关文本内容转换为向量，利用DLDA_SE模型构建用户潜在兴趣模型，并 利用爬虫爬取用户实时访问互联网中的内容产生的数据，将其标引为UCL，结 合UCL提供的丰富语义信息对用户潜在兴趣模型进行即时更新；最后利用 DLDA_SE模型对用户搜索句进行主题挖掘，计算拓展后得到的搜索意图主题与 各个用户潜在兴趣主题的相似度，从而挖掘用户兴趣主题，确定用户搜索意图。

具体步骤如下：