[发明专利]一种基于自然语言处理技术的机器写作系统

权利要求书

1.一种基于自然语言处理技术的机器写作系统，其特征在于，包括预处理模块、数据装载模块、语言模型和主模块，其中：

所述预处理模块对文本数据进行预处理，包括词汇分割和词汇编号过程；

所述数据装载模块的工作是将预处理过的文本数据进行进一步封装处理，包括数据类型转换和批量数据产生步骤；经过封装后的每个批次的数据可输入到语言模型进行训练；

所述语言模型用于学习文本数据中的语言规律，并产生下一个预测词的编码；

所述主模块的工作是综合各个模块的功能，设计损失函数和优化方法，并完成模型的训练工作；

所述预处理模块的工作是将文本数据中的文字分割出来并对每个文字进行初步编号；具体就是使用条件表达式从中滤除掉无意义的标点符号、空格符、回车符，并对分割出来的词汇按顺序进行编号，在此过程中会产生两个字典，分别是词汇到编号字典和编号到词汇字典，这两个字典在后续的模块中将会被使用；

所述数据装载模块的任务是将在预处理模块中产生的词汇编码序列由原来的一维数组转换成二维数组形式，并分批次产生张量数据；具体来说就是将预处理模块产生的词汇编码序列先由原来的一维数组转换为二维数组，然后在迭代过程中，每次从二维数组中读取固定数量的行向量并转化为张量类型，提供给下一个模块使用，每次取的数据量称为一个批次；

所述语言模型包含两个部分，LSTM模型和FCN网络；LSTM网络负责处理词向量序列的长依赖关系，能够有效防止因长依赖关系造成的梯度消失和梯度爆炸问题，并对词向量序列进行建模，学习词向量序列中的语言规律；FCN网络是对LSTM模型的输出进行进一步处理，产生下一个预测词的编码，以便跟真实词的编码进行对比，并计算预测词和真实词的误差，也称为损失，然后利用反向转播算法对整个网络的参数值进行更新。

2.根据权利要求1所述的基于自然语言处理技术的机器写作系统，其特征在于，所述主模块的操作就是综合各个模块的功能，设计损失函数并选择合适的优化算法，对网络进行训练和优化；具体来说，就是选择交叉熵函数作为损失函数，选择Adam算法为优化算法，然后迭代地训练语言模型，训练完成后，将模型数据保存到本地文件，以供测试阶段使用。