[发明专利]知识抽取方法、装置、电子设备及存储介质

说明书

本发明提供一种知识抽取方法、装置、电子设备及存储介质。该方法能够对源数据进行预处理，得到文本数据，通过Bi‑LSTM+CRF序列标注模型识别文本数据中的实体，得到初始实体列表，基于Bi‑LSTM+CRF序列标注模型实现向非结构化数据的准确转换，基于知识图谱对初始实体列表进行扩展，得到候选实体列表，实现对相似表示的全面覆盖，并采用基于Attention‑DSSM算法训练的语义匹配模型对候选实体列表进行消歧处理，得到目标实体，由于Attention机制加强了每个词汇与其它词汇间的关联，且提高了关键词汇的权重，使经过数据分析后得到的目标实体更加精准，将目标实体链接到知识图谱的节点上，并基于节点上的信息进行自动的知识抽取，提高了知识抽取的效率及准确率。

技术领域

本发明涉及数据分析技术领域，尤其涉及一种知识抽取方法、装置、电子设备及存储介质。

背景技术

目前的知识抽取通常依赖于模板、触发词或者是监督学习的方式，需要人工进行规则的总结及数据的标注以形成规则库，并在规则库的基础上进行匹配。

上述方式不仅难以维护、可移植性差，且大量的规则模板都需要依赖各领域内的专家进行构建，数据标注所需人力大，标注数据的质量也不可控且综合成本过高，也不便于扩展新的关系和类别。

发明内容

鉴于以上内容，有必要提供一种知识抽取方法、装置、电子设备及存储介质，能够基于Attention机制加强每个词汇与其它词汇间的关联，根据关键词汇的权重，实现知识的自动抽取，提高知识抽取的效率及准确率。

一种知识抽取方法，所述知识抽取方法包括：

当接收到知识抽取指令时，获取源数据；

对所述源数据进行预处理，得到文本数据；

通过基于Bi-LSTM+CRF的序列标注模型识别所述文本数据中的实体，得到初始实体列表；

基于预先配置的知识图谱对所述初始实体列表进行扩展，得到候选实体列表；

采用基于Attention-DSSM算法训练的语义匹配模型对所述候选实体列表进行消歧处理，得到目标实体；

将所述目标实体链接到所述知识图谱的节点上；

基于所述节点上的信息进行知识抽取。

根据本发明优选实施例，所述对所述源数据进行预处理，得到文本数据包括：

当所述源数据为图片类型时，将所述源数据转换为初始文本，对所述初始文本进行过滤及清洗，得到过滤后的文本，基于UTF-8编码算法对所述过滤后的文本进行编码，得到所述文本数据；或者

当所述源数据为文本类型时，对所述源数据进行过滤及清洗，得到过滤后的文本，基于UTF-8编码算法对所述过滤后的文本进行编码，得到所述文本数据。

根据本发明优选实施例，所述知识抽取方法还包括：

根据预先定义的需求数据配置序列标注模式；

将所述序列标注模式添加到Bi-LSTM+CRF模型中，得到所述序列标注模型。

根据本发明优选实施例，所述通过基于Bi-LSTM+CRF的序列标注模型识别所述文本数据中的实体，得到初始实体列表包括：

将所述文本数据输入到所述基于Bi-LSTM+CRF的序列标注模型中，并获取Softmax层中每个序列位置上对应的各个标签的输出概率以及转移概率；

对于每个序列位置，计算各个标签的输出概率以及转移概率的和作为各个标签的分值；

将分值最高的标签确定为每个序列位置的输出标签；