[发明专利]一种获取关键短语的数据处理系统

说明书

本发明涉及一种获取关键短语的数据处理系统包括：数据库、处理器和存储有计算机程序的存储器，当所述计算机程序被处理器执行时，实现以下步骤：对初始文本进行处理，得到初始文本对应的语句列表；根据初始文本中每一初始词和预设短语配置表，确定出中间短语列表，将初始文本和每一中间短语分别输入至目标预训练语言模型中，获取初始文对应的目标词向量和每一中间短语对应的目标词向量，根据初始文对应的目标向和每一中间短语对应的目标词向量，获取中间短语列表对应的相似度列表，当中间短语对应的相似度不小于预设的相似度阈值时，确定中间短语为关键短语；本发明能够保证关键短语抽取更符合用户的需求，提高了用户的体验感。

技术领域

本发明涉及短语抽取技术领域，尤其涉及一种获取关键短语的数据处理系统。

背景技术

为了提高人们浏览的效率，通常需要将文本中的关键信息确定出来，来简洁的表示文本。示例的，在进行视频推荐的时候，通常将视频标题中的短语或者词提取出来作为推荐内容，以简洁的表示视频的内容。由于短语的使用越来越多，因此，如何自动抽取关键短语成了一个研究热点。

现有技术中，在抽取关键短语的时候，是按照语法规则来抽取的。通常是将分词组合，使其满足特定的语法规则，例如，满足词性序列要求，然后将该组合确定为关键短语，但是在实际应用的生产环境中，尤其是对于无监督的垂直领域，许多关键短语抽取模型，例如，textrank，yake，autophrasex，UCphrase等关键短语抽取模型，无法实现可解释性和抽取结果的可控性，无法保证关键短语抽取更符合用户的需求，使得用户的体验感差。

发明内容

针对上述技术问题，本发明采用的技术方案为一种获取关键短语的数据处理系统，所述系统包括：数据库、处理器和存储有计算机程序的存储器，其中，所述数据库包括：预设短语配置列表和初始文本集A={A₁，……，A_i，……，A_n}，A_i是指第i个初始文本，i=1……n，n为初始文本数量，当所述计算机程序被处理器执行时，实现以下步骤：

S100、对A_i进行处理，得到A_i对应的语句列表B_i={B_i1，……，B_ir，……，}，B_ir={B¹_ir，……B^j_ir，……，B^m_ir}，B^j_ir是指A_i中第r个语句的第j个初始词语，j=1……m，m是指A_i中第r个语句对应的初始词语数量；

S200、根据B^j_ir和预设短语配置表，确定出中间短语列表D_i={D_i1，……，D_ir，……，}，D_ir是指第r个中间短语，r=1……s_i，s_i为是指A_i对应的中间短语数量；

S300、将A_i和D_ir分别输入至目标预训练语言模型中，获取A_i对应的目标词向量H_i=（H_i1，……，H_it，……，H_ik）和D_ir对应的目标词向量G_ir=（G¹_ir，……，G^t_ir，……，G^k_ir），H_it是指A_i对应的第t位的bit值，G^t_ir是指D_ir对应的第t位的bit值，t=1……k，k为预训练语言模型对应的向量bit位个数；