[发明专利]一种基于用户查询日志实时发现热点视频的方法和装置

说明书

本申请是申请日为2012年12月7日、发明名称为“一种基于用户查询日志实时发现热点视频的方法和装置”的中国专利申请201210525735.7的分案申请。

技术领域

本发明属于互联网数据统计分析技术领域，尤其涉及一种基于用户查询日志实时发现热点视频的方法和装置。

背景技术

随着互联网的迅猛发展，用户对视频搜索结果提出了更高的要求，不仅需要搜索结果相关，而且还应有较高的实时性，这使得实时搜索变得日趋重要。视频实时搜索指的是对视频库中的信息进行即时、快速的搜索，实现即搜即得的效果。通过实时搜索，用户可以在第一时间获取到热点事件的第一手信息。然而，相比于传统搜索，实时搜索也带来了巨大的挑战。对于热点事件，由于其突发性和不可预测性，很可能相关视频的数量和点击量较少，导致在它们在搜索结果中排序靠后，从而无法真正满足用户对实时性的需求。

因为实时热点具有在较短时间内搜索量大的特点，通过对最新的用户查询日志分析最有可能发现出新的热点词和热点事件，以此来改善搜索排序结果对实时性的反应。分析用户日志时所遇到的一个困难是：每天的用户查询日志中都会不断涌现出新名词、新热点，如“欧洲杯”，“楼道王菲刘美麟”等，而原有的切词程序无法反映出这些新词的语义关联，即有可能将语义上应连接在一起的构成一个词的字符串切分为多个词。切词程序一般采用基于词表的方法，即根据一个预先给定的词表对字符串扫描，通过一定的匹配方法(正向最大、逆向最大、双向匹配等)找到一种最合适的词语切分，这一方法的缺点在于：无法切分出原词表中不包含的词，即新词。这一缺陷将可能导致模糊匹配(即搜索时只对部分查询词进行匹配)的结果不够理想。

发明内容

鉴于现有技术中存在的问题，本发明的目的在于提供一种基于用户查询日志实时发现热点视频的方法，其特征在于包括如下步骤：

S1、将一段时间内的用户视频查询日志输入到切词程序，完成每一条用户视频查询日志的切词，得到每条用户查询的切词结果，并将组成所述切词结果的不同词语作为原子词；

S2、统计所述原子词的每一个在所述一段时间内的用户视频查询日志中出现的次数；

S3、根据步骤S1得到的切词结果统计任意两个原子词同时出现在同一条用户查询中的次数；

S4、根据步骤S2和S3得到的次数值采用逐点互信息(PMI)的方法计算用户视频查询日志中任意两个原子词之间的关联度；

S5、将步骤S4中所计算的关联度超过一定阈值的任意两个原子词合并为一复合词放入复合词词表中；

S6、在复合词表中按照构成复合词的原子词在所述一段时间内的用户视频查询日志中出现的次数对复合词进行降序排序，最终按一定比例将排在前面的复合词作为实时发现热点视频的关键词返回。

进一步，本发明所述的基于用户查询日志实时发现热点视频的方法，其特征在于所述步骤S4中所述逐点互信息(PMI)的方法的具体计算方法如下：

任给两个原子词A、B，它们的关联度表示为

其中，P(A，B)表示A，B出现在同一条用户视频查询日志中次数，P(A)、P(B)分别表示A、B在所述一段时间内的用户视频查询日志中出现的次数。

进一步，本发明所述的基于用户查询日志实时发现热点视频的方法，其特征在于采用最大似然估计(Maximum likelihood estimate)来计算次数。

此外，本发明还提供了一种基于用户查询日志实时发现热点视频的装置，其特征在于包括如下模块：

切词模块，用于将一段时间内的用户视频查询日志输入到切词程序，完成每一条用户视频查询日志的切词，得到每条用户查询的切词结果，并将组成所述切词结果的不同词语作为原子词；

原子词出现次数统计模块，用于统计所述原子词的每一个在所述一段时间内的用户视频查询日志中出现的次数；

原子词共现次数统计模块，用于根据所述原子词出现次数统计模块得到的切词结果统计任意两个原子词同时出现在同一条用户查询中的次数；

关联度计算模块，用于根据所述原子词出现次数统计模块和所述原子词共现次数统计模块得到的次数值采用逐点互信息(PMI)的方法计算用户视频查询日志中任意两个原子词之间的关联度；

复合词生成模块，用于将所述关联度计算模块所计算的关联度超过一定阈值的任意两个原子词合并为一复合词放入复合词词表中；