[发明专利]文本信息表征方法、系统及计算机设备、存储介质

说明书

本发明属于人工智能领域，涉及一种文本信息表征方法、系统及计算机设备、存储介质，所述方法包括：获取待分析语料，对待分析语料进行分词预处理，基于得到的分词分别生成对应的词向量，待分析语料为文本信息，文本信息包括至少一条语句；获取待分析语料中的每条语句所包含的分词的词向量，得到每条语句的词向量组，将词向量组中的词向量按顺序依次输入初始句向量算法模型中，生成对应的语句的初始句向量；将初始句向量输入至预训练的句向量模型，获得各语句的最终句向量，最终句向量用于表征文本信息，其中预训练的句向量模型基于语句的上下文关系来生成。本发明提供的方案可避免词语在不同语句中语义不同所带来的影响，对文本信息的表征更精确。

技术领域

本发明实施例属于人工智能技术领域，尤其涉及一种文本信息表征方法、系统及计算机设备、存储介质。

背景技术

在自然语言处理领域，文本信息表征是解决文本处理问题的基础，而现有技术中一般采用基于Word2Vec的词向量加和平均作为文本信息表征方法，但是同一个词语在不同句子、不同上下文的语义是不同的，所以基于词向量的文本信息表征是不准确的，不适用信息流推荐领域的文章资讯这类的文本信息的表征。

发明内容

有鉴于此，本发明实施例提供一种文本信息表征方法、系统及计算机设备、存储介质，以解决现有技术中基于词向量的文本信息表征不够准确，不适用信息流推荐领域的文章资讯这类的文本信息的表征的问题。

第一方面，本发明实施例提供一种文本信息表征方法，包括：

获取待分析语料，对所述待分析语料进行分词预处理，基于得到的分词分别生成对应的词向量，所述待分析语料为文本信息，所述文本信息包括至少一条语句；

获取所述待分析语料中的每条语句所包含的分词的词向量，得到每条语句的词向量组，对所述词向量组中词向量按顺序依次输入初始句向量算法模型中，生成对应的语句的初始句向量；

将所述初始句向量输入至预训练的句向量模型，获得各语句的最终句向量，所述最终句向量用于表征文本信息，其中所述预训练的句向量模型基于语句的上下文关系来生成。

作为本发明可实施的方式，在所述获取待分析语料之前，所述方法还包括对所述预训练的句向量模型进行模型训练的步骤，其中所述预训练的句向量模型的训练过程包括：

获取训练语料集，对所述训练语料集中的语料进行分词预处理，基于得到的分词分别生成对应的词向量，其中所述训练语料集为训练文本信息集合，所述训练文本信息集合包括至少一条训练语句；

获取每条训练语句所包含的分词的词向量，得到每条训练语句的词向量组，并将训练语句的词向量组中的词向量按顺序依次输入所述初始句向量算法模型中，生成对应的训练语句的初始句向量；

基于所述训练语料集中的各训练语句对应的上下文关系，将各训练语句对应的初始句向量输入初始的句向量模型进行训练，得到所述预训练的句向量模型。

作为本发明可实施的方式，所述基于所述训练语料集中的各训练语句对应的上下文关系，将各训练语句对应的初始句向量输入初始的句向量模型进行训练，得到所述预训练的句向量模型包括：

配置所述初始的句向量模型的参数矩阵，所述参数矩阵连接所述初始的句向量模型的输入层和输出层；

根据各训练语句对应的上下文关系生成训练样本和检验样本，所述训练样本和检验样本分别包括K1和K2个句组，每个句组包括至少一条用作生成输入句向量的训练语句和至少一条用作生成输出句向量的训练语句，其中K1和K2为正整数；

依次将所述训练样本中的每个所述句组中的输入句向量输入至所述初始的句向量模型进行训练，逐步对所述参数矩阵中的参数进行调整，直到所述训练样本中的句组完成训练，使所述初始的句向量模型的输出逐步匹配所述句组中对应的输出句向量；