[发明专利]一种基于点击日志的query词性标注方法及得到的系统

说明书

本发明公开了一种基于点击日志的query词性标注方法及得到的系统，其中，所述方法先基于搜索引擎用户的点击结果进行词性分析、构建query词性标注数据集，然后进行模型训练，得到可以直接用于query词性分析的模型或系统。其中，本发明所述方法基于点击日志进行query词性分析，这样，可以保证得到的结果与用户需求的相关性；本发明所述方法采用具有连续、完整句子结构的点击日志进行query的词性分析，大大提高了对query词性分析的准确性；并且，本发明所述方法简单、易于实现与应用。

技术领域

本发明涉及query(搜索词)的词性标注方法，尤其涉及基于点击日志的query(搜索词)词性标注方法及得到的系统。

背景技术

在搜索引擎系统中，query(搜索词)作为用户主动输入的文本，对其进行分析至关重要。现有技术中，各种query(搜索词)分析的方法层出不穷，意图识别，term重要性分析等等。在进行term重要性分析时，名词、命名实体、动词相对比较重要，介词、拟声词、符号等就不是很重要，或者可以忽略不计。因此，针对query(搜索词)的词性标注就显得尤为重要。

传统的词性标注是基于人工标注的句子集合训练模型生成的。人工标注的句子都是因素比较完整的。比较成熟的词性标注系统包括postag系统、stanford-postagger系统、哈工大IR实验室发布的LTP平台，这些系统或平台都是基于大量人工标注数据训练的序列标注模型。

但是现有系统的训练语料是连续的句子，而真实query与句子又有很大的差异，query存在短文本、不完整表述的特点，导致现有系统在很多情况下对query的表现不是很好。

因此，亟需一种针对query(搜索词)文本结构的词性标注方法和系统。

发明内容

为了克服上述问题，本发明人进行了锐意研究，搜索引擎用户的点击结果进行词性分析，构建query词性标注数据集，然后进行模型训练，得到可以直接用于query词性分析的模型或系统，从而完成本发明。

本发明一方面提供了一种基于点击日志的query词性标注方法，具体体现在以下方面：

(1)一种基于点击日志的query词性标注方法，所述方法包括以下步骤：

步骤1、利用点击日志进行query词性标注模型的获得；

步骤2、利用步骤1获得的query词性标注模型直接对query进行词性标注。

其中，所述点击日志是指用户点击的搜索结果。

(2)根据上述(1)所述的方法，其特征在于，步骤1包括以下子步骤：

步骤1-1、利用点击日志构建query词性标注数据集；

步骤1-2、query词性标注数据集进行query词性标注模型的训练，得到query词性标注模型。

(3)根据上述(1)或(2)所述的方法，其特征在于，步骤1-1包括以下子步骤：

步骤1-1-1、输入query到搜索引擎；

步骤1-1-2、收集用户点击的搜索结果，即点击日志；

步骤1-1-3、用词性标注系统对点击日志进行词性标注，得到点击日志中query的词性，即为输入的query的词性；

步骤1-1-4、利用步骤1-1-3中得到的query以及对应的词性构建query词性标注数据集。

(4)根据上述(1)至(3)之一所述的方法，其特征在于，在步骤1-1-3中，所述词性标注系统采用现有技术公开的词性标注系统，例如postag系统、stanford-postagger系统、哈工大IR实验室发布的LTP平台等。