[发明专利]场景图生成方法、装置、电子设备及存储介质

说明书

本公开关于一种场景图生成方法、装置、电子设备及存储介质，该方法包括获取目标中文语句的分词序列和分词序列中词语的词性信息；将分词序列和词性信息输入句法依存模型进行句法依存分析，得到包括具有依存关系的词语对和对应依存关系的词语关系数据；根据词性信息，识别分词序列中属于实体的词语；根据词语关系数据，确定依存关系为定中关系的第一目标词语对和依存关系为目标依存关系的第二目标词语对；基于第一目标词语对和属于实体的词语，生成实体属性信息；基于第二目标词语对，生成表征实体间关联关系的实体关系信息；基于实体属性信息和实体关系信息，生成目标中文语句对应的场景图。利用本公开实施例可以快速准确的生成中文语句的场景图。

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种场景图生成方法、装置、电子设备及存储介质。

背景技术

随着计算机视觉技术的发展，人们对场景的理解从分类、检测、分割发展到自然语言的描述，这对视觉场景有更高层次的理解和推理。不同于非结构化自然语言，场景图是对场景的结构化表示，更便于机器学习模型的处理。

相关技术中，往往先从英文句子生成句法依存树，再根据英文语法，将句法依存树中的关系转化为场景图中所需要的关系，但相关技术中提取场景图时所使用的规则都是基于英文的语法，不适用于中文。因此，需要一种针对中文语句生成场景图的方法。

发明内容

本公开提供一种场景图生成方法、装置、电子设备及存储介质，以至少解决相关技术中无法生成中文语句的场景图的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种场景图生成方法，包括：

获取目标中文语句的分词序列和所述分词序列中词语的词性信息；

将所述分词序列和所述词性信息输入句法依存模型进行句法依存分析，得到词语关系数据，所述词语关系数据包括具有依存关系的词语对和所述词语对对应的依存关系；

根据所述词性信息，识别所述分词序列中属于实体的词语；

根据所述词语关系数据，确定依存关系为定中关系的第一目标词语对和依存关系为目标依存关系的第二目标词语对；所述目标依存关系为对应的词语对包含实体关联词的依存关系，所述实体关联词为表征实体间关联关系的词语；

基于所述第一目标词语对和所述属于实体的词语，生成实体属性信息；

基于所述第二目标词语对，生成实体关系信息，所述实体关系信息表征两两实体间的关联关系；

基于所述实体属性信息和所述实体关系信息，生成所述目标中文语句对应的场景图。

可选的，所述第一目标词语对包括：包含核心词和依存词的词语对；所述基于所述第一目标词语对和所述属于实体的词语，生成实体属性信息包括：

根据所述属于实体的词语，从所述第一目标词语对中确定依存词属于实体的第三目标词语对；

以所述第三目标词语对中依存词为实体，所述第三目标词语对中核心词为对应实体的属性，生成所述实体属性信息。

可选的，所述关联关系包括动作关联关系，所述目标依存关系包括：主谓关系和动宾关系；第二目标词语对包括：依存关系为主谓关系的包含核心词和依存词的第一子词语对和依存关系为动宾关系的包含核心词和依存词的第二子词语对；

所述基于所述第二目标词语对，生成实体关系信息包括：

将每一第一子词语对中依存词与每一第二子词语对中核心词进行匹配处理，得到匹配词语对组，所述匹配词语对组包含的第一子词语对中的依存词和所述匹配词语对组包含的第二子词语对中的核心词一致；