[发明专利]一种基于命名实体识别提取短信文本摘要的方法及装置

权利要求书

1.一种基于命名实体识别提取短信文本摘要的方法及装置，其特征在于，包括以下步骤：

S1.准备待提取摘要的短信文本集合；

S2.标注短信文本集合，每条短信文本需要标注两部分，组织实体词与产品实体词；

S3.收集短信文本的标注数据进行AI模型训练，训练模型为语言模型BERT和条件随机场模型CRF,表示为y＝f(x)，其中x为短信文本，y为短信摘要，即S2中的组织实体词与产品实体词；通过已知的x和y去学习f()参数,当训练的f()计算测试数据x_test的结果y_test集合的准确率达到预期数值g则完成以上训练；

S4.当S3的AI模型训练完成后对数据进行预测,即给定新的x_new,通过f(x_new)求得y_new,即给定新的未被标注短信文本，识别出短信x_new中的组织实体词与产品实体词；

S5.将AI模型识别出的组织实体词与产品实体词作为短信文本的摘要。

2.根据权利要求1所述的一种基于命名实体识别提取短信文本摘要的方法及装置，其特征在于：S2所述的组织实体词具体为商家名或组织名或机构名或社区名或写字楼名。

3.根据权利要求2所述的一种基于命名实体识别提取短信文本摘要的方法及装置，其特征在于：S2所述的产品实体词为实物的产品名或非实物的服务名或套餐名或订单或预约或验证码。

4.根据权利要求3所述的一种基于命名实体识别提取短信文本摘要的方法及装置，其特征在于：S3所述的预期数值g大于等于92％。

5.一种基于命名实体识别提取短信文本摘要的装置，包括：

数据标注模块，用于标注待提取的短信文本集合，每条短信文本需要标注两部分，组织实体词与产品实体词；

模型训练模块，用于将收集短信文本的标注数据进行AI模型训练，训练模型为语言模型BERT和条件随机场模型CRF,表示为y＝f(x)，其中x为短信文本，y为短信摘要，即S2中的组织实体词与产品实体词；通过已知的x和y去学习f()参数,当训练的f()计算测试数据x_test的结果y_test集合的准确率达到预期数值g则完成以上训练；

模型预测模块，用于当S3的AI模型训练完成后对数据进行预测,即给定新的x_new,通过f(x_new)求得y_new,即给定新的未被标注短信文本，识别出短信x_new中的组织实体词与产品实体词；

命名识别模块，用于将AI模型识别出的组织实体词与产品实体词作为短信文本的摘要。

6.一种计算设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-4所述的方法中的任一方法的指令。

7.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1-4所述的方法中的任一方法。