[发明专利]一种基于大数据检索和语义分析的快搜模型训练方法

说明书

本发明提出的一种基于大数据检索和语义分析的快搜模型训练方法，首先建立输入为检索信息，输出为检索关键词的快搜模型；根据检索信息的人工标注的检索关键词对快搜模型进行训练；对部分检索信息分别获取人工标注的检索关键词和快搜模型标注的检索关键词，再根据人工标注获取的检索结果与模型标注的检索结果的重合率对快搜模型进行验证。本发明保证了快搜模型最终获得的检索关键词无限接近检索信息的人工提炼结果，使得快搜模型可代替人工进行检索信息的分析提取，从而通过快搜模型的应用，避免了检索信息的人工分析工作，从而提高了检索关键词的提取效率，并降低了人工成本。

技术领域

本发明涉及技术领域，尤其涉及一种基于大数据检索和语义分析的快搜模型训练方法。

背景技术

随着互联网技术的发展，互联网资源的丰富日新月异。如此，互联网带动信息传播的同时，也由于网络信息过于丰富，造成了信息检索遇到了筛选难题。

如何在海量的互联网数据中精确获得所需要的信息，是当前信息化时代不可忽视的问题。目前，信息检索，都是通过人工提炼关键词，然后根据检索结果对关键词进行修正，以达到预期的检索效果，人工成本过高，且效率低。

发明内容

基于背景技术存在的技术问题，本发明提出了一种基于大数据检索和语义分析的快搜模型训练方法。

本发明提出的一种基于大数据检索和语义分析的快搜模型训练方法，首先建立输入为检索信息，输出为检索关键词的快搜模型；根据检索信息的人工标注的检索关键词对快搜模型进行训练；对部分检索信息分别获取人工标注的检索关键词和快搜模型标注的检索关键词，再根据人工标注获取的检索结果与模型标注的检索结果的重合率对快搜模型进行验证。

优选的，具体包括以下步骤：

S1、收集检索信息，并对检索信息进行人工分拣，提取检索关键词作为人工标注；

S2、随机抽取部分检索信息和对应的人工标注作为训练子集，并从剩余的检索信息中随机抽取部分检索信息和对应的人工标注作为修正子集；

S3、根据训练子集训练输入为检索信息，输出为检索关键词的快搜模型；

S4、从修正子集中抽取一条检索信息作为修正样本；

S5、根据快搜模型获取修正样本的模型标注，分别根据检索信息对应的模型标注和人工标注进行检索，获取模型标注检索结果与人工标注检索结果的重合率；

S6、判断重合率是否大于或者等于预设的检验阈值；

S7、是，统计修正次数；然后判断修正次数是否达到预设的修正阈值；否，则从修正子集中重新选择修正样本，然后返回步骤S5；是，则输出快搜模型；

S8、否，则更新训练子集和修正子集，并根据新的训练子集对快搜模型进行迭代训练，然后返回步骤S4。

优选的，步骤S2中，训练子集中包含的检索信息数量大于或者等于100。

优选的，训练子集中包含的检索信息数量为1000。

优选的，修正子集中包含的检索信息数量等于训练子集中包含的检索信息数量。

优选的，循环训练过程中，任意两个训练子集中的检索信息重合率为0。

优选的，步骤S7中，从修正子集中重新选择修正样本时，首先将原来的修正样本从修正子集中移除，然后再从修正子集中选择修正样本。

优选的，步骤S7中的修正阈值大于或者等于修正样本中检索信息数量最大值的一半。

优选的，步骤S6中的检验阈值大于或者等于85％。