[发明专利]一种数据观点抽取方法、装置、设备及存储介质

说明书

本发明公开一种数据观点抽取方法、装置、设备及存储介质，方法包括：对文本数据进行分词，形成词向量；将词向量输入到标签分类模型中，标签分类模型包括依次连接的输入层、依次连接的多个中间层、输出层，每个中间层包括多个self‑attention模型，最后一层中间层输出的是与各词向量对应的包含了语义信息的向量，并通过输出层进行分类，获得文本数据的每条语句的至少一个标签分类；将标签分类以及字向量输入到序列标注模型中，序列标注模型的结构与标签分类模型相同，通过序列标注模型识别出主题词和情感词。本发明可以减少误差累积，避免了实体冗余，减少了错误率和计算复杂度。

技术领域

本发明涉及深度学习技术领域，具体地说，涉及一种数据观点抽取方法、装置、设备及存储介质。

背景技术

观点抽取问题自提出以来，出现了许多方法和模型，从最开始的基于频率的方法到近年来的基于深度学习的方法，观点抽取的性能获得大幅提升。

其中，基于频率的方法，假设组成观点的主题词和情感词在语料中频繁出现，基于此假设根据频率统计结果识别观点。该方法对于频率高的，容易引入较多噪音，造成准确率不高；对于频率低的，容易出现观点缺失的情况，造成召回率不高。

基于模板规则的方法，通过观察观点的位置信息或主题词与情感词之间的句法或语法关系, 构建词形模板、词性模板、依存关系模板或语义角色模板等进行抽取。该类方法的优点在于抽取的准确率较高, 缺点是需要事先准备好相关词典集合。此外, 模板规则的制定、规则匹配的先后顺序和冲突问题也是基于模板规则方法的难点。

基于条件随机场的方法，爆款隐马尔科夫模型(Hidden Markov model, HMM)、最大熵马尔科夫模型(Maximum entropy Markov model, MEMM)、条件随机场模型(Conditional random fields, CRFs)等传统的序列标注模型。

基于深度学习的方法，可以自动地学习特征，避免了需要大量领域知识的特征提取过程。此外，深度学习因有大量的可调参数和层次结构，因而具有更强的特征表示能力。现有的基于深度学习的方法中，对于主题词和情感词的抽取是基于模型直接从文本中提取出实体，并将实体进行分类到对应的主题词和情感词类别中。然而，由于文本中具有大量的实体，并且其中具有很多与主题和情感无关的词会被一同作为实体识别出来，这样就增加了实体分类的工作量，并有可能降低分类的准确率。

发明内容

本发明首先使用一个多标签分类模型判断语句的标签分类，然后把语句和可能的标签分类输入序列标注模型中。序列标注模型标注出语句中的主题词和情感词，最终结合预测的标签分类和主题词、情感词，将标签分类作为主题词和情感词的关联，输出主题词情感词-关系列表：（主题词，关系，情感词）。主题词和情感词组成观点，标签分类描述该观点所属的标签类别。

本发明的技术方案如下：

一种数据观点抽取方法，包括：

S1，获取包含多条语句的文本数据，对所述文本数据进行分词，形成词向量；

S2，将所述词向量输入到标签分类模型中，所述标签分类模型包括依次连接的输入层、依次连接的多个中间层、输出层，且每个中间层包括多个self-attention模型，最后一层中间层输出的是与各词向量对应的包含了语义信息的向量，并通过输出层进行分类，获得文本数据的每条语句的至少一个标签分类；

S3，将所述标签分类以及所述文本数据对应的字向量输入到序列标注模型中，所述序列标注模型的结构与标签分类模型相同，通过所述序列标注模型识别出主题词和情感词，并将所述标签分类与主题词和情感词组成三元组。

可选地，每个中间层还包括残差连接，每个中间层的输出作为下一中间层的输入，所述残差连接用以将上一中间层的输出与该中间层的多个self-attention模型的输出的组合相加作为该中间层的输出。