[发明专利]一种网络语境的文本识别方法、装置及存储介质

说明书

本发明提出了一种网络语境的文本识别方法、装置及存储介质，该方法包括：基于文本长窗口构建风格语义模型，基于文本短窗口构建偏旁级语义模型；使用网络语境的语料库基于风格语义模型向量模型和偏旁级语义模型训练得到网络语境的中文词向量模型；使用所述网络语境的中文词向量模型对输入的网络语境的文本进行识别并输出识别结果。本发明在分词时使用两个不同窗口，长窗口用于提取网络化风格的语义信息，文本短窗口用于提取不同细粒度的语义特征，在训练阶段将二者结合，获得更加准确的词向量表达，以提高网络语境的文本识别率，本发明优化了目标函数，使得模型训练速度加快，在训练时，还建立了部首转义的方法，从而提高了文本的识别率。

技术领域

本发明涉及文本数据处理技术领域，具体涉及一种网络语境的文本识别方法、装置及存储介质。

背景技术

文本向量化表示一直是计算机技术和人工智能技术研究的重要方向，也是自然语言分析处理中面临的重大挑战。文本向量化表示的优劣直接影响后续自然语言分析模型的性能好坏。文本的向量化表示最早采用的是独热编码(one-hot)模型，逐步演进为词袋模型(Bag of Words)，这些表示方法，思路简单清晰，较好的解决了文本在计算机中的表示问题，但是没有考虑语言中单词上下文之间的语义相关性和语言所具有的时间序列特点，割裂了单词上下文之间的连贯语义信息，存在严重的向量稀疏性和维度灾难的问题。随着深度神经网络技术的发展，研究者提出了一种分布式词向量的表示方法，将每个单词都映射到一个低维的实数空间上，实现降维的同时挖掘单词间的关联性，使得词向量具有较为丰富的语义信息。Mikolov等人提出经典的分布式词向量模型Word2Vec，其中包含CBOW(Continuous Bag of-Words)和Skip-gram两个模型，前者通过上下文预测单词，后者通过单词预测上下文信息。Word2vec利用上下文与单词间的共现信息学习稠密的词向量，该模型简单实用，被广泛应用于各类自然语言处理任务中。

现有技术中的主要缺陷如下：

针对微博、贴吧等社交媒体，不同于新闻类文本正式、官方的描述方式，社交类文本内容通常具有口语化、网络化的风格，例如“有智能机器人的加持宅家真是爽歪歪啊”。在社交语言环境下，词语可能会被赋予新的含义，或是直接生成新的网络用语。通过标准语料库(如百科、词典)训练得到的word2vec词向量无法准确表达词语的网络含义，对于社交文本的分析任务会产生较大影响。

CBOW模型利用上下文来预测目标单词出现的概率，从上下文中学习单词的语法及语义信息，该模型设计于英文语言系统，但同样适用于中文词向量的表达。不过与英文相比，中文的语义构成较为复杂，中文的词语由汉字构成，而汉字的语义一般与其构字部件的含义相关，若直接采用CBOW模型学习中文词向量，则忽略了汉字潜在的语义信息，得到词向量模型的泛化能力较弱。且对文本的识别并不一定有效，模型在训练时收敛速度慢等等，亟需一种新的中文词向量模型解决上述一个或多个技术缺陷。

发明内容

本发明针对上述现有技术中一个或多个技术缺陷，提出了如下技术方案。

一种网络语境的文本识别方法，该方法包括：

建模步骤，基于文本长窗口构建风格语义模型，基于文本短窗口构建偏旁级语义模型；

训练步骤，使用网络语境的语料库基于风格语义模型向量模型和偏旁级语义模型训练得到网络语境的中文词向量模型；

识别步骤，使用所述网络语境的中文词向量模型对输入的网络语境的文本进行识别并输出识别结果。