[发明专利]实现资讯高质量打标打分的词群算法以及应用

说明书

本发明的一个技术方案是一种实现资讯高质量打标打分的词群算法。本发明的另一技术方案是提供了一种上述词群算法的应用。本发明建立了一个通用的算法框架用于文章打标打分，其特点是：本发明通过文章4类标签相关性打分，解决文章打标主次不分的相关性问题。本发明通过提取文章核心句子，得到文章信息量打分，解决文章质量高低不分问题。本发明通过文章核心句子在不同层次上的分布，得到文章个性化向量，解决文章个性化推荐问题。通用性体现在：能适用于各类垂直搜索引擎，不用频繁动态修改词群算法，只需要修改依赖的知识图谱即可。相比规则引擎，词群算法可以实现资讯更高质量的打标打分，具有降本增效的作用。

技术领域

本发明涉及一种词群算法，同时本发明还涉及一种上述词群算法在实现资讯高质量打标打分中的应用。

背景技术

搜索引擎离不开对资讯的高质量打标打分，基于搜索引擎还可以做信息流相关的生态应用，如：推荐、新闻栏目、舆情监控、征信搜集等。提高打标打分基础服务的质量，是保证上层应用用户体验的前提。

我们处于一个信息爆炸的时代，随着公司、人物、行业、概念越来越多，媒体越来越多，目前互联网上的文章每天新增数十万篇，每年持续递增。对于一个搜索引擎，如果所有文章都依靠人工编辑阅读理解，过滤垃圾文章，然后打标分发，成本将会极其高昂。在大数据时代，通过打标打分算法替代部分人工编辑，提高人工编辑的审核效率，是业务长期以来的需求。

根据用户能感知有价值的对象，打标主要是围绕：

1.公司标签(国内外知名公司)

2.人物标签(国内外知名人物，公司创始人、高管和股东等)

3.行业标签(60多个行业)

4.概念标签(200多个概念)

打标之后，还要对标签进行打分，以及对文章进行打分：

1.对于标签打分，要求该分数体现该标签在资讯中的相关性或者重要性。

2.对于文章打分，要求该分数体现该资讯对用户的价值，即衡量资讯有多少看点/信息要点/信息量。

打分涉及到自动摘要画重点，按照多层面/多维度/多角度评分机制。

传统的打标算法通过规则系统实现，譬如：步骤1、先分词；步骤2、再看上下文；步骤3、最后打补丁逻辑修正特殊情况。一个简单规则系统就需要维护近25万条规则，巨量规则管理工作没有尽头，维护难度很大。同时，传统的打标算法所采用的对规则的遍历计算的方式效率低下，且打标准确率在63％左右，不是特别理想。传统的打标算法只能打标，不能打分来过滤文章质量，也不能建构意义明确的个性化向量来解决个性化推荐问题。同时，采用传统的打标算法后，人工维护规则不可避免。

新型的打标算法通过深度学习算法实现。完整的深度学习算法是一个多头(Multi-Head)输出模型：

1.通过超高维Linear+Softmax(Softmax用于归一化)输出打标打分。

2.1维Linear输出信息量。

3.N(譬如：N＝3)维Linear输出个性化向量。

虽然打标是一个非常传统的多分类任务，但是往往需要的分类数量较多，因此需要大量的人工打标语料才能预训练好一个深度学习算法模型，存在预训练时需要庞大语料支撑的问题。通过深度学习算法实现打标的方法特别适用于一些热门标签，因为有很多报道的文章。但是对于一些冷门标签，几乎没有几篇文章报道，基于深度学习算法实现的打标算法难以及时覆盖这些冷门标签，不太适用，除非能做一些数据增强的工作。同时，市场每天都有新鲜事，也意味着已经训练好的深度学习算法模型分类需要不断扩充，并且从头训练该深度学习算法模型，持续交付训练后的深度学习算法模型才能满足业务需求。同时，采用基于深度学习算法实现的新型打标算法后，人工维护打标语料不可避免。