[发明专利]词权重的生成方法、装置、电子设备及存储介质

说明书

本公开涉及一种词权重的生成方法、装置、电子设备及存储介质，该方法通过对查询语句进行分词处理，以得到分词后的目标语句本文；按照一个或者多个预设片段划分方式，对目标语句文本进行切分，得到多个文本片段；根据多个文本片段，从预设语料库中获取至少一个目标文本片段，以及至少一个目标文本片段中每个词对应的中间词权重；根据目标文本片段中每个词对应的中间词权重确定目标语句文本中每个词对应的目标词权重。这样，由于无需进行人工标注，因此能够避免出现人工成本较高的问题，由于无需进行多次迭代计算，因此能够有效减少生成词权重过程中需要的计算量，有利于提升词权重的生成效率，并且能够有效保证生成的词权重的准确率。

技术领域

本公开涉及自然语言处理领域，尤其涉及词权重的生成方法、装置、电子设备及存储介质。

背景技术

词权重是NLP(Neuro-Linguistic Programming，神经语言程序学)中的一项重要的解析任务，词权重的大小用于表征词在文章或者query中的重要程度，有利于反映文章和query所要表达的语义主题。通过词权重过滤出来的关键词，能够帮助浏览的用户迅速了解文章所要表达的内容，并且根据分析出来的关键词给文章或者query建立倒排索引，还能够提高文章或者query检索的准确率。此外，词权重作为语义解析的内容，对NLP其他的任务，例如文本分类，文本聚类和文本摘要提取等，也有显著提升效果的作用。

然而，目前的词权重生成方法，通常包括有监督和无监督两类，其中，有监督类的词权重生成方法需要通过大量的带有标签的关键词作为训练数据训练模型，而该关键词的标注通常比较困难，经常需要领域专家去标注文本的关键词，需要耗费的人工标注成本较高；无监督类的词权重生成方法，通常存在生成词权重的效率较低，得到词权重的准确率较差的问题。

发明内容

为克服相关技术中存在的问题，本公开提供一种词权重的生成方法、装置、电子设备及存储介质。

根据本公开实施例的第一方面，提供一种词权重的生成方法，包括：

获取用户输入的查询语句，并对所述查询语句进行分词处理，以得到分词后的目标语句本文；

按照一个或者多个预设片段划分方式，对所述目标语句文本进行切分，得到多个文本片段；

根据多个所述文本片段，从预设语料库中获取至少一个目标文本片段，以及至少一个所述目标文本片段中每个词对应的中间词权重，其中，所述至少一个目标文本片段为所述预设语料库中用于以最少的文本片段数量组成所述目标语句文本的文本片段；

根据所述目标文本片段中每个词对应的中间词权重确定所述目标语句文本中每个词对应的目标词权重。

可选地，所述预设语料库包括多个搜索文本片段以及每个所述搜索文本片段中每个搜索词的中间词权重，所述根据多个所述文本片段，从预设语料库中获取至少一个目标文本片段，以及至少一个所述目标文本片段中每个词对应的中间词权重，包括：

从预设语料库中的多个搜索文本片段中获取与多个所述文本片段匹配的至少一个待定文本片段；

从至少一个所述待定文本片段中，确定用于以最少的文本片段数量组成所述目标语句文本的目标文本片段；

从所述预设语料库中获取所述目标文本片段中每个搜索词对应的中间词权重，以得到所述目标文本片段中每个词对应的中间词权重。

可选地，所述根据所述目标文本片段中每个词对应的中间词权重确定所述目标语句文本中每个词对应的目标词权重，包括：

对所述目标文本片段中每个词对应的中间词权重进行归一化处理，以得到所述目标语句文本中每个词对应的目标词权重。

可选地，所述预设语料库通过以下方式生成：