[发明专利]基于BERT技术的表情输入法及其装置

说明书

基于BERT技术的表情输入法，包括：S1：预训练语料特征BERT模型；S2：预训练分类器模型，将多种预设定的表情进行分类，并根据特征预训练所述表情的分类；S3：当接收到用户输入的语料信息，以字词为单位进行包括分语、停用词在内的语料文字处理，并设置成语料特征BERT模型所需的输入数据格式；S4：输入至语料特征BERT模型进行特征提取，获得对应的特征向量vsubgt;1/subgt;，vsubgt;2/subgt;，...，vsubgt;k/subgt;；S5：将特征向量vsubgt;1/subgt;，vsubgt;2/subgt;，...，vsubgt;k/subgt;输入至预训练好的分类器模型，并得到最终所属的表情；S6：用户所需表情相对应的图片、动画等在内的表情展示信息。本发明可将表情进行分类，输入的字词可以精准匹配至其对应的表情类别，且设计了基于用户行为的表情包推荐算法，将用户最感兴趣的表情展示，避免用户过多滑屏选择，提高用户的使用体验。

技术领域

本发明涉及一种表情动图输入算法，尤其涉及基于BERT技术的表情动图输入法及其装置。

背景技术

输入法是根据用户输入的信息进行关键字模糊匹配，猜想用户想要的输入意图，动态弹出包括Gif等在内的表情窗口，让用户进行点击操作，发送相应的Gif等动画表情到当前所在的应用，发送给接收方。

现有的表情输入法一般基于情感分类技术和深度学习技术来谈的。比如，猜想用户想要的输入意图就需要用到基于情感分类技术，如何使猜想更精准就可能用到深度学习技术。以下简单谈一下相关的技术的介绍。

一、情感分类技术

(一)基于字典的方法

利用构建的文本情感字典，并对情感词典进行极性和强度标注，进而进行文本情感分类，如图1所示，基于词典的文本情感分析过程。

(二)基于机器学习的方法

有监督的机器学习方法：在机器学习方法中朴素贝叶斯NB(Naive Bayes)和支持向量机SVM(SupportVector Ma－chine)是常用的监督学习算法，但是有研究指出，NB和SVM单独使用时分别会面临独立条件假设和核函数选择方面的问题，所以Sharma等通过使用Boosting技术整合“弱”支持向量机分类器，利用了Boos ting的分类性能，同时使用SVM作为基础分类器，研究结果表明集成分类器在准确率上明显优于单纯的SVM分类器。

计算机在执行文本情感分析任务时通常先是对文本的每个词单独进行分析，挖掘可能带有情感色彩的词，然后整合句子中的情感词判断句子的情感，层层叠加，进而判断整个文本的情感极性。然而，文本中的每个词对文本情感分析不是同等重要的，而计算机无法自动判断词语的重要性，于是Deng等根据词语在整个文本中的重要性和表达情感的重要性这两个因素提出监督的词语权重赋予方案。评论类的文本缺乏逻辑性，文本多呈无序性，一般的监督学习算法处理无序文本时准确率较低，Perikos等设计了一种集成分类器，它是基于3个分类器：第1个和第2个是统计学(朴素贝叶斯和最大熵)，第3个是基于知识的工具，对自然语言句子进行深入分析。类似地，Tripathy等将文本分别以1个词、2个词、3个词以及其组合的方式划分，然后分别用朴素贝叶斯、最大熵、随机梯度下降和支持向量机的方法进行评论情感分析。Tripathy等不仅对不同方法进行对比，还与组合的形式进行对比。

弱监督的深度学习方法：