[发明专利]一种基于命名实体识别提取短信文本摘要的方法及装置

说明书

本发明涉及文本信息识别技术领域,尤其是一种基于命名实体识别提取短信文本摘要的方法及装置，包括下述步骤：S1.准备待提取摘要的短信文本集合；S2.标注短信文本集合，每条短信文本需要标注两部分，组织实体词与产品实体词；S3.收集短信文本的标注数据进行AI模型训练；S4.当S3的AI模型训练完成后对数据进行预测并识别；S5.将AI模型预测出的组织实体词与产品实体词作为短信文本的摘要。本发明能自动提取短信摘要；标注数据简单，只用标记两组词即可；训练后的AI模型提取的短信文本摘要准确性高且内容简洁，极大提高了短信文本审核的准确率和效率。

技术领域

本发明涉及文本信息识别技术领域,尤其是一种基于命名实体识别提取短信文本摘要的方法及装置。

背景技术

作为短信发送平台商，在存储和审核短信方面花费了大量资源。因此对短信文本摘要的提取显得至关重要，摘要可以很大程度压缩和精简原始短信文本。摘要提取有基于语义规则的提取，这种方法强依赖专家知识并且规则繁多，还存在面对非正规语法的文本时容易出错；目前深度学习的方法较为少见，并且没有应用在中文短信领域。综上所述，现有技术基于语义规则的提取短信文本摘要准确率低且效率低，因此本发明提出了一种基于命名实体识别提取短信文本摘要的方法及装置可以解决上述缺陷。

现有技术相关知识点介绍：

命名实体识别(Named Entity Recognition，简称NER)，又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等，通过一种深度学习的方法进行训练模型。

语言模型BERT：目前在自然语言处理领域准确率最好的深度学习模型，后续新深度学习模型都会拿它作为参照比较，并且准确率性能很难超越它。

条件随机场模型CRF：一种无向图模型，它很适用于自然语言处理中的序列标注问题。

发明内容

针对上述现有技术中存在的不足，本发明的目的在于提供一种基于命名实体识别提取短信文本摘要的方法及装置，解决现有技术准确率低且效率低的问题。

为解决上述问题，本发明公开了一种基于命名实体识别提取短信文本摘要的方法及装置，在本发明的短信发送平台，都是商家批量发送短信给自己会员手机号。从业务层面可以解析为商家与会员的关系。从这个角度出发，只需要抽取这两者的关系，即可以提取短信文本的核心内容，这部分内容则可以作为该短信文本的摘要。

本发明的方法具体包括以下步骤：

S1.准备待提取摘要的短信文本集合；

S2.标注短信文本集合，每条短信文本需要标注两部分，组织实体词与产品实体词；

S3.收集短信文本的标注数据进行AI模型训练，训练模型为语言模型BERT和条件随机场模型CRF,表示为y＝f(x)，其中x为短信文本，y为短信摘要，即S2中的组织实体词与产品实体词；通过已知的x和y去学习f()参数,当训练的f()计算测试数据x_test的结果y_test集合的准确率达到预期数值g则完成以上训练；

S4.当S3的AI模型训练完成后对数据进行预测,即给定新的x_new,通过f(x_new)求得y_new,即给定新的未被标注短信文本，识别出短信x_new中的组织实体词与产品实体词；

S5.将AI模型识别出的组织实体词与产品实体词作为短信文本的摘要。

作为优选，S2所述的组织实体词具体为商家名或组织名或机构名或社区名或写字楼名。

作为优选，S2所述的产品实体词为实物产品名或服务名或套餐名或订单或预约号或验证码。

作为优选，S3所述的预期数值g大于等于92％。