[发明专利]一种基于语义的多模态时空数据关联方法

说明书

本发明公开了一种基于语义的多模态时空数据关联方法，属于地理空间信息系统技术领域。本发明利用所构建的本体模型对数据进行特征‑语义映射和概念化的语义表达，有效的对多模态时空数据的复杂语义信息进行统一格式的描述，解决了计算机难以理解数据语义内容信息的问题；同时，基于时空数据的本体语义表达，通过时间、空间和数据内容包含的对象三个因素建立时空数据之间的时间关联、空间关联和内容对象语义关联，有效的进行了多模态时空数据间的关联。本发明方法主要用于多模态时空数据的跨模态检索，为用户提供准确、全面的数据挂链关联处理结果，进而提升跨模态检索性能。

技术领域

本发明属于地理空间信息系统技术领域，特别是涉及一种基于语义的多模态时空数据关联模型。

背景技术

随着互联网技术的快速发展，时空数据的内容日益丰富、来源越来越广泛、存储格式多样化，不同数据间往往互相联系，针对海量时空数据关联查询的研究越来越重要。时空数据是具有时空特征、类型多样、模态复杂的混合数据，包括地理视频、影像、矢量地图、轨迹数据和定位数据等等，这些数据不仅包含丰富的时间、空间和语义信息，同时具有多维、多尺度、多时态特点以及多模态特性，其中多模态特性使得同一时空对象可能具有多种不同形态的数据描述，不同模态数据之间具有低层特征异构、高层语义相关的特点。如何深入地分析不同模态的时空数据之间存在的联系，在不同模态的时空数据之间建立关联，是实现对同一事件不同模态的时空数据进行跨模态检索的关键。

近年来，跨模态检索中针对数据关联的研究在计算机科学、图书情报学等领域得到高度关注，主要方法可以总结为四个方面：

(1)通过监督或无监督哈希学习方法学习不同模态数据潜在语义的共同哈希码来建立语义关联，经典的方法有聚集矩阵分解哈希(CMFH)和监督矩阵分解哈希(SMFH)，这些方法在下列文献中论述：Kumar Shaishav,Udupa Raghavendra.Learning hash functionsfor cross-view similarity search//Proceedings of the International JointConference on Artificial Intelligence.Barcelona,Spain,2011:1360-1365.Zhen Yi,Yeung Dit-Yan.Co-regularized hashing for multi modal data//Proceedings of TheThirtieth Annual Conference on Neural Information ProcessingSystems.Barcelona,Spain,2012:1753–1760.Shen Xiaobo,Shen Fumin,Sun Quansen,etal.Semi-paired discrete hashing:learning latent hash codes for semi-pairedcross-view retrieval.IEEE Transactions on cybernetics,2017,47(12):4275-4288.

(2)利用深度学习的特征抽取能力，在底层提取有效表示，在高层建立不同模态数据的语义关联，经典的方法有正则化深层神经网络(RE-DNN)和深度典型相关分析(DCCA)，这些方法在下列文献中有论述：WANG C,YANG H,MEINEL C.Deep semantic mapping forcross modal retrieval[C].in International Conference on Tools with ArtificialIntelligence,Vietrisul Mare,Italy,2015:234-241.ANDREW V,ARORA R,BILMES J,etal.Deep canonical correlation analysis[C].in International Conference onMachine Learning,Atlanta,USA.2013:1247-1255.