[发明专利]词句的处理方法、装置及计算机存储介质

说明书

本发明公开一种词句的处理方法、装置以及计算机存储介质，该处理方法包括：获取待处理词句的待处理笔画序列，将待处理笔画序列输入已训练的语言模型；利用语言模型以每条当前的待处理笔画的前向待处理笔画和/或后向待处理笔画作为上下文信息生成当前的待处理笔画的表示向量；根据待处理笔画的表示向量确定每一字的表示向量。通过上述方式，本发明依据字的待处理笔画的表示向量进而得到字的表示向量，从而可以利用字的内部的语义信息确定字的表现信息。

技术领域

本发明涉及词句处理领域，特别是涉及一种词句的处理方法、装置及计算机存储介质。

背景技术

近年来，相关语言模型的研究工作主要是基于字、词的语义进行语言模型的训练，在各种自然语言处理任务中取得了非常好的效果，并且目前已经存在很多的词向量模型，但是较多的词向量模型都是基于西方语言，像英语，西班牙语，德语等，这些西方语言的内部组成都是拉丁字母，然而，由于中文书写和西方语言完全不同，中文词语包含很少的中文字符，但是中文字符内部包含了很强的语义信息。

因此，如何有效利用中文字符内部的语义信息来获取中文字符的表现信息已经成为热点。

发明内容

本发明提供一种词句的处理方法、装置及计算机存储介质，以解决现有技术需要通过中文字符内部的语义信息获取中文字符的词义的问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种词句的处理方法，所述处理方法包括：获取待处理词句的待处理笔画序列，其中所述待处理笔画序列用于表征所述待处理词句按书写顺序排列的多条待处理笔画，所述待处理词句包括多个字，所述字包括至少一条所述待处理笔画；将所述待处理笔画序列输入已训练的语言模型；利用所述语言模型以每条当前的所述待处理笔画的前向待处理笔画和/或后向待处理笔画作为上下文信息生成当前的所述待处理笔画的表示向量；根据所述待处理笔画的表示向量确定每一所述字的表示向量。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种词句的处理装置，所述一种词句的处理装置包括处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如上述中任一项所述方法的步骤。

为解决上述技术问题，本发明采用的另一个技术方案是提供一种计算机存储介质，其中存储有计算机程序，计算机程序被执行时实现上述词句的处理方法的步骤。

区别于现有技术，本发明通过将待处理笔画序列输入已训练的语言模型，并利用语言模型以每条待处理笔画的前向待处理笔画和/或后向待处理笔画作为上下文信息生成每条待处理笔画的表示向量。从而使得每条待处理笔画都可以根据前后的待处理笔画进行向量表示，进而保证每个待处理笔画可以进行动态表示，可以与前后的待处理笔画进行关联，使得每个待处理笔画信息量表示的更为精确，从而更适合后续的数据分析。进一步的，根据同一字的待处理笔画的表示向量确定该字的表示向量，进而利用字本身具备的内部组成信息，从而可以利用字的内部的语义信息确定字的表现信息，且考虑到字之间的笔画顺序信息，可以更加细粒度角度得到字的表示向量。且本发明在对待处理笔画处理时候仅仅基于待处理笔画，而没有包括任何字本身的信息，可以更好的捕抓笔画之间的层次信息。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明词句的处理方法第一实施例的流程示意图；

图2是图1步骤S11的子步骤流程示意图；

图3是图2步骤S112的子步骤流程示意图；

图4是本发明词句的处理方法第二实施例的流程示意图；

图5是本发明词句的处理装置第一实施例的结构示意图；