[发明专利]一种实体词处理方法和装置

说明书

本发明涉及一种实体词处理方法和装置，属于文本处理技术领域。本发明实施例提供的实体词处理方法和装置，可以将多条第一日志中的查询字段作为多个候选文本，在该多个候选文本中确定出至少一个目标文本，然后确定该至少一个目标文本对应的关联点击链接，根据该关联点击链接确定出与目标文本语义相似且搜索意图相同的关联文本，最后，根据该目标文本以及关联文本确定实体词。由于日志的查询字段中往往会包括新实体词，这样，就能够确定出新实体词，实现了新实体词的确定，进而解决了现有技术中因为无法确定出新实体词而导致分词模块对新实体词的识别率较低，进而降低视频搜索的精度的问题。

技术领域

本发明涉及文本处理技术领域，特别是涉及一种实体词处理方法和装置。

背景技术

目前，在根据用户键入的搜索内容来搜索视频时，通常是利用分词模块对搜索内容进行分词，然后以各个分词作为关键词在视频库中搜索相关的视频作为搜索结果。实际应用中，用户键入的搜索内容通常包括实体词。实体词一般为固定搭配词，短语，等等。准确的，分词模块对于实体词的识别决定了视频搜索结果的准确率。为了实现分词模块对实体词的识别，通常需要会先将实体词确定出来，然后输入分词模块，以使分词模块能够准确的识别出实体词。

现有技术中，在确定实体词的时候，通常是利用训练语料训练CRF模型来确定实体词。

但是，现有技术中的通过模型训练确定实体词的方法，通常需要训练大规模的训练预料，且该训练预料中每个新实体词的存在数量达到一定数量的时候，才能实现实体词的识别，然而训练预料中往往覆盖不到新实体词，即使训练预料中包含新实体词，该新实体词的数量也无法满足训练预料的要求，因此，对于新出现的实体词，就不能被确定出来，进而导致视频搜索结果的精度降低。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种实体词处理方法和装置。

依据本发明的第一方面，提供了一种实体词处理方法方法，该方法包括：

针对预设第一时间段内的多条第一日志，提取所述第一日志中的查询字段作为候选文本，得到多个候选文本；

对所述多个候选文本进行筛选，得到至少一个目标文本；

将查询字段为所述目标文本的第一日志的点击链接作为关联点击链接，得到与所述至少一个目标文本对应的至少一个关联点击链接；所述关联点击链接是用户以所述目标文本作为查询内容进行查询时所点击的链接；

针对预设第二时间段内的多条第二日志，将包含所述关联点击链接的第二日志对应的查询字段确定为所述目标文本的关联文本，得到至少一个关联文本；其中，所述预设第二时间段包括所述预设第一时间段，所述多条第二日志包括所述多条第一日志；

根据所述至少一个目标文本以及所述至少一个关联文本确定实体词。

可选的，所述对所述多个候选文本进行筛选，得到至少一个目标文本的步骤，包括：

将多个候选文本中出现次数小于预设搜索次数阈值的候选文本去除，得到至少一个第一候选文本；

对于所述至少一个第一候选文本中的每个第一候选文本进行分词处理，统计每个第一候选文本对应的分词数；

将对应的分词数不大于1的第一候选文本去除，得到至少一个第二候选文本；

利用预设的格式模板匹配每个第二候选文本，将与所述预设的格式模板不匹配的第二候选文本作为目标文本，得到至少一个目标文本。

可选的，所述根据所述至少一个目标文本以及所述至少一个关联文本确定实体词的步骤，包括：

对于所述至少一个目标文本中的每一个目标文本，执行以下处理：