[发明专利]一种基于数据探针的多模态数据感知方法及装置

说明书

本公开提出一种基于数据探针的多模态数据感知方法、装置及计算机设备，该方法包括：确定感知场景满足设定条件，并获取场景特征，基于数据探针获取场景中的多种初始模态数据，根据场景特征对多种初始模态数据分别进行数据转换，以得到多种待匹配模态数据，根据预设规则对多种待匹配模态数据分别进行匹配处理，以得到多种目标模态数据，根据多种目标模态数据，生成数据编码信息。通过本公开，实现基于数据探针对场景中的多种模态数据进行感知，实现对多种感知到的初始模态数据进行灵活的数据转换、匹配以及数据编码生成处理，有效提升对多种模态数据的数据探针和识别处理效率。

技术领域

本公开涉及分布式数据处理技术领域，尤其涉及一种基于数据探针的多模态数据感知方法及装置。

背景技术

随着互联网技术的发展，社会全领域的多模态数据皆发生了大规模的增长，多模态数据中通常存在机器语言和业务语言之间的语境衔接问题，需要对城市领域各数据源的多模态数据进行探测与识别。

相关技术中，对多模态数据的处理受到多模态数据的特征稀疏性和缺失性的影响，数据处理效果较差。

发明内容

本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本公开的目的在于提出一种基于数据探针的多模态数据感知方法、装置、计算机设备、存储介质及计算机程序产品，实现基于数据探针对场景中的多种模态数据之间进行感知，实现对多种感知到的初始模态数据进行灵活的数据转换、匹配以及数据编码生成处理，有效提升对多种模态数据的数据探针和识别处理效率。

本公开第一方面实施例提出的基于数据探针的多模态数据感知方法，包括：确定感知场景满足设定条件，并获取场景特征；基于数据探针获取所述场景中的多种初始模态数据；根据所述场景特征对所述多种初始模态数据分别进行数据转换，以得到多种待匹配模态数据；根据预设规则对所述多种待匹配模态数据分别进行匹配处理，以得到多种目标模态数据；根据所述多种目标模态数据，生成数据编码信息。

本公开第一方面实施例提出的基于数据探针的多模态数据感知方法，通过确定感知场景满足设定条件，并获取场景特征，基于数据探针获取所述场景中的多种初始模态数据，根据所述场景特征对所述多种初始模态数据分别进行数据转换，以得到多种待匹配模态数据，根据预设规则对所述多种待匹配模态数据分别进行匹配处理，以得到多种目标模态数据，根据所述多种目标模态数据，生成数据编码信息，实现基于数据探针对场景中的多种模态数据之间进行感知，实现对多种感知到的初始模态数据进行灵活的数据转换、匹配以及数据编码生成处理，有效提升对多种模态数据的数据探针和识别处理效率。

本公开第二方面实施例提出的基于数据探针的多模态数据感知装置，包括：第一确定模块，用于确定感知场景满足设定条件，并获取场景特征；第一获取模块，用于基于数据探针获取所述场景中的多种初始模态数据；转换模块，用于根据所述场景特征对所述多种初始模态数据分别进行数据转换，以得到多种待匹配模态数据；匹配模块，用于根据预设规则对所述多种待匹配模态数据分别进行匹配处理，以得到多种目标模态数据；生成模块，用于根据所述多种目标模态数据，生成数据编码信息。

本公开第二方面实施例提出的基于数据探针的多模态数据感知装置，通过确定感知场景满足设定条件，并获取场景特征，基于数据探针获取所述场景中的多种初始模态数据，根据所述场景特征对所述多种初始模态数据分别进行数据转换，以得到多种待匹配模态数据，根据预设规则对所述多种待匹配模态数据分别进行匹配处理，以得到多种目标模态数据，根据所述多种目标模态数据，生成数据编码信息，能够实现基于数据探针对场景中的多种模态数据之间进行感知，实现对多种感知到的初始模态数据进行灵活的数据转换、匹配以及数据编码生成处理，有效提升对多种模态数据的数据探针和识别处理效率。

本公开第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本公开第一方面实施例提出的基于数据探针的多模态数据感知方法。