[发明专利]一种网络语境的文本识别方法、装置及存储介质

权利要求书

1.一种网络语境的文本识别方法，其特征在于，该方法包括：

建模步骤，基于文本长窗口构建风格语义模型，基于文本短窗口构建偏旁级语义模型；

训练步骤，使用网络语境的语料库基于风格语义模型向量模型和偏旁级语义模型训练得到网络语境的中文词向量模型；

识别步骤，使用所述网络语境的中文词向量模型对输入的网络语境的文本进行识别并输出识别结果；

将所述语料库任一条语料s分词后得到的语料序列为s＝{w₁,…w_t-1,w_t,w_t+1,…w_N}，其中，w_t为分词后序列中的第t个词语，设w_t为待预测的目标词，t＝1,…N，N为语料序列中的总词语数目；以目标词w_t为中心构建文本窗口，定义文本短窗口为：

其中，d_s表示文本短窗口中的词语到目标词w_t的距离，设文本短窗口的距离阈值为θ，window_s表示由邻近目标词w_t的上下文组成的词语集合；

定义文本长窗口为

其中，d_l代表文本长窗口的中的词语到目标词w_t的距离，最小值为θ+1，最大值为β，β≤N，window_l表示由距离目标词w_t距离较远的上下文组成，且不包括文本短窗口中的内容；

所述基于文本长窗口构建风格语义模型的过程为：将文本长窗口window_l作为CBOW的输入，计算隐藏层向量

式中，表示文本长窗口内目标词的上下文w_t+j所对应的编码向量，β表示文本长窗口内目标词w_t与上下文w_t+j之间的距离，文本长窗口的总长度为2β；

所述基于文本短窗口构建偏旁级语义模型的过程为：

将文本短窗口内的词语划分为汉字，得到短文本字序列

提取短文本字序列c中每个汉字的偏旁部首

通过字符转义字典将偏旁部首r转换为对应语义的汉字r^*，得到短文本和部首转义后的字序列x,

采用自注意力机制，将词语对应的汉字和部首进行加权融合编码，自注意力权重α的计算公式为：

α_i＝softmax(f(x^Tx_i))

其中，x_i表示文本短窗口内第i个词对应的短文本和部首转义后字序列，i∈{t±d_s|1d_s≤θ}，x^T为x_i的转置矩阵，相似度计算函数f采用点积形式；

文本短窗口内每个词语的编码向量为：

v_x＝∑_iα_iv_i

其中，α_i表示文本短窗口内词语x所对应字序列中第i个字的自注意力权重，v_i表示文本短窗口内词语x所对应字序列中第i个字的编码向量；

将自注意力得到的编码向量v_x输入CBOW，计算隐藏层的输出向量

式中，θ表示文本短窗口内目标词w_t与上下文w_t+j的距离，文本短窗口的总长度为2θ，表示文本短窗口内第t个目标词上下文所对应的编码向量。