[发明专利]一种基于深度学习的文本识别和生成算法

权利要求书

1.一种基于深度学习的文本识别和生成算法，包括学习阶段和生成文本阶段，所述学习阶段步骤如下：

（1）构建空白的数据库，所述数据库包括内容由实体名词构成实体名词数据库以及由排序关键词构成的排序关键词数据库，导入首批学习文本，将首批学习文本进行分段及分句处理，得到若干个句子组成的句子列表，并依次人工标识每个句子中实体名词及排序关键词；

（2）识别并获得每个句子中实体名词的起点位置、终点位置及实体名词的类型，将上述信息存入实体名词数据库以构建实体名词数据库，经过深度学习训练本算法识别实体名词，然后把每个句子的实体名词抽离并以该实体名词的类型替换其位置，从而得到所有句子的句式模型，将所有句式模型存入句式模型数据库以构建句式模型数据库；

（3）导入新的学习文本，将新的学习文本进行分段及分句处理，得到若干个句子组成的句子列表；

（4）继续深度学习训练识别并获得第（3）步中每个句子中实体名词的起点位置、终点位置及实体名词的类型，将上述信息存入实体名词数据库以完善实体名词数据，然后把每个句子的实体名词抽离并以该实体名词的类型替换其位置，从而得到所有句子的句式模型，将所有句式模型存入句式模型数据库以完善句式模型数据库；

（5）将第（4）步中得到的句式模型、句式模型的使用次数存入句式模型数据库，将第（4）步中得到的实体名词与句式模型的对应关系、实体名词的使用次数、实体名词的出处均存入实体名词数据库中，以便于生成文本阶段调用数据库的内容；

（6）利用N-gram模型进行排序关键词数据库的学习，得到所有排序关键词在历史上的排序结果，存入排序关键词数据库。

2.根据权利要求1所述的一种基于深度学习的文本识别和生成算法，其特征在于：第（1）步和第（3）中根据换行符对导入的学习文本进行分段处理，对完成分段后的段落按照分号、句号进行分句处理。

3.根据权利要求1所述的一种基于深度学习的文本识别和生成算法，其特征在于：所述实体名词数据库中的实体名词既可以是在深度学习后自动识别出的，也可以是经由人工进行编辑、添加、标注、删除操作得到的。

4.根据权利要求1所述的一种基于深度学习的文本识别和生成算法，其特征在于：第（2）步和第（4）步中深度学习训练识别实体名词并获得起点位置、终点位置及实体名词的类型的步骤如下;

a、利用BERT预训练语言模型对句子进行编码，得到每个字的向量表示；

b、将字向量表示作为BILSTM网络的输入，学习句子上下文编码信息；

c、利用CRF模型对标签信息进行优化学习，使用负对数最大似然估计作为损失函数，其中x表示输入句子的字序列，y表示标注的标签序列，对模型参数进行训练优化，获取每个实体名词的在句子中的起点位置、终点位置及实体名词类型信息。

5.根据权利要求1所述的一种基于深度学习的文本识别和生成算法，其特征在于：利用N-gram模型进行排序关键词数据库的学习，通过如下公式计算相邻两个排序关键词的概率：，其中w_i表示第i个目标类型，表示目标类型w_m-1后面目标类型为w_m的概率。

6.根据权利要求1所述的一种基于深度学习的文本识别和生成算法，其特征在于：所述实体名词数据库为图数据库，所述句式模型数据库既可以是图数据库也可以是关系型数据库。

7.根据权利要求1所述的一种基于深度学习的文本识别和生成算法，其特征在于：所述生成文本阶段步骤如下：

第一步：导入实体名词及排序关键词的类型；

第二步：在数据库中抽取与实体名词相关联的实体名词及句式，将历史使用次数最高的实体名词或者最近若干次输入内使用次数最高的实体名词填入历史使用次数最高的句式模型或者最近若干次输入内使用次数最高的句式模型内，形成句子；

第三步：将若干个句子按照相邻两个排序关键词的概率排列并生成首次文本；

第四步：第三步中生成的首次文本在交互界面中展示，并生成首次文件。