[发明专利]媒体智能校对算法

说明书

本发明公开了媒体智能校对算法。采用实时校对与离线校对相互结合的方式，线上通过N种易错规则+通用语言模型+政务语言模型三者进行加权组合的实时校对，并在后台通过基于深度学习的离线校对反馈，实时修正的结果召回来优化线上模型效果；本发明融合了深度学习的灵活性、词库监督的精准性、语言模型的通用性，可支持词语差错、语法差错、敏感人物及事件、相似重复、共现错误、自定义规则的校对，校对粒度比人工检查要细，以丰富的智能媒体特色政务内容为基础，加上常年累积的宝贵校对规则经验，结合人工复审，其校对效果超过普通的人工校对。

技术领域

本发明属于智能媒体校对领域，涉及媒体智能校对算法。

背景技术

主要是我们智能媒体特有的政务新闻稿件来训练政务模型补充通用模型一并进行智能校对，结合报业内部的人工审核流程建立自定义审核流程，比现有的依靠单一通用智能模型进行校对或人工校对提高了准确率和校对效率，同时可以支持不同类别资讯的发布部门建立自定义词库进行差别校对，就算对同一类型稿件校对结果在不同渠道发布可以有所区别也互不影响。

发明内容

本发明针对上述的问题，提供了媒体智能校对算法，则是采用实时校对与离线校对相互结合的方式。

为了达到上述目的，本发明采用的技术方案为，

媒体智能校对算法，依次包括文本预处理、N种易错规则、通用语言模型、政务语言模型、候选内容召回以及纠错内容排序。

作为优选，所述文本预处理的具体步骤如下：

步骤一，格式转换，将需要校对的数据进行清洗转换工作，统一编码格式，统一文本格式，非汉字字符(除正常书写符合)将被空格替代，阿拉伯数字转换为汉字，重复的空白字符被压缩为一个等；

步骤二，分词及加载词库，全文进行分词处理，这里的分词采用jieba加载自有词汇进行的分词。通过不断从网上获取开源字典数据和人工累计的方式建立和更新词自有词汇库。

作为优选，所述N种易错规则是将校对室经过多年校对累计下来的常错点、易错点形成一系列校对规则进行校对，具体步骤如下：

步骤一：

(1)提炼规则，将校对室人员校对流程中的每一个步骤形成一个独立环节，用机器识别来替换人工行为判断，并将可能异常的问题点记录下来反馈出去。根据校对室人员人工核查的每一个步骤依次通过手动建立规则，运用历史积累的词库匹配的方式使用机器来核查，形成一系列校对规则进行校对。例如校对室人员知道哪些是错误的人名，先将这些错误的人名输入到机器，然后用机器去匹配，起到一劳永逸的作用(提炼规则，提炼出特有的规则；嵌入规则，增加校对工作常用的规则，基于自有字典内容检索，查看分词后的词是否存在字典中；繁体识别、重复性的问题识别、拼音拼写识别等通用规则识别)；

如领导人职务检查：采用现有领导人员以及历史稿件中出现的领导人员，并判断校对内容中领导人员的职位称呼是否属实；

如时间转换规则：先获取校对时的当前时间，并判断是否年初或者月初，符合条件就检测文章中的时间内容是否正常，通过时间转换规则判断年初或者月初时的时间用语是否属实等一系列规则判断，将不满足设定的规则对应的内容记录下来。例如现在时间是2020年1月10号，稿件中出现了2019年1月10号，就会有警示提示。

(2)设定规则，除了历史规则之外，也支持新的规则设定、更改、删除等操作。通用规则由管理员人工配置，自定义词库由管理员或用户执行设定；

(3)多租户模式，不同用户使用的语料和规则是不一样的，根据不同的用户设立各自的词库以及校对规则，形成统一校对，互不影响的局面；

步骤二：

(1)基于自有字典内容检索，查看分词后的词是否存在自有字典中；