[发明专利]轨迹数据处理方法、装置和系统

说明书

本发明提出了一种轨迹数据处理方法、装置和系统。该方法包括：获取目标的轨迹点数据；以及合并存储所述目标的两个或多个轨迹点数据，以作为所述目标的轨迹片段数据。通过轨迹数据的片段存储，在数据存入的过程中自然完成轨迹构建和分段的部分操作，优化了存储的数据结构、节省了存储空间并有助于数据查询后的轨迹构建。进一步地，存储可以包括消息中间件的缓存和数据库的持久化，由此充分利用消息中间件的高并发特性，降低数据库的负担。

技术领域

本发明涉及数据库技术，尤其涉及一种轨迹数据处理方法、装置和系统。

背景技术

移动目标轨迹数据是一种非常重要的时空数据，在物流配送、导航、共享单车等领域扮演着非常重要的角色。图1A-1B示出了目标移动轨迹的显示例。具体地，图1A示出了经客户端用户查询显示的共享单车的骑行移动轨迹例。图1B示出了经客户端用户查询显示的物流配送显示例。

时空轨迹数据具有数据量大、更新频繁、实时性要求高等特点，对数据存储管理要求很高。在现有技术中，轨迹位置信息以点模型的方式由数据生产者(producer)写入数据存储系统，再由后者实现轨迹数据的缓存与分发。数据消费者(consumer)可以从上述数据存储系统中读取轨迹数据进行处理，并方便客户端的用户通过接口进行轨迹查询。

在高并发数据读写场景下，大吞吐量的I/O操作会造成数据存储系统负载升高，进而造成读写延迟。另外，将存储的点模型转换成轨迹数据会消耗大量的处理资源，难以满足轨迹数据处理与分析的实时性要求。

于是，需要一种优化轨迹数据存储管理的方案。

发明内容

为了解决如上至少一个问题，本发明提出了一种新的轨迹数据分块更新机制，其通过轨迹数据的片段化存储和读取，在保证高并发处理的同时，满足数据的高效检索与挖掘需求。进一步地，该方案可以通过消息中间件(例如，Kafka平台)与数据库的有机结合，充分利用消息中间件强大的高并发数据处理能力，实现轨迹数据的分块更新，满足用户对实时性查询和显示的需求。

根据本发明的一个方面，提出了一种轨迹数据处理方法，包括：获取目标的轨迹点数据；以及合并存储所述目标的两个或多个轨迹点数据，以作为所述目标的轨迹片段数据。由此，通过将轨迹数据从点模型存储转换为片段(线段模型)存储，降低轨迹数据的存储容量需求和存储复杂度，并能有助于后续对存储数据的处理。

优选地，轨迹片段的合并存储可以包括：在缓存装置中合并缓存所述目标对象的两个或多个轨迹点数据以作为所述目标对象的轨迹片段数据；以及将所述轨迹片段数据从所述缓存装置持久化存储至数据库。其中，缓存装置可以是消息中间件，例如Kafka平台。由此，通过消息中间件和数据库的配合，进一步提升轨迹片段数据的存储和处理效率。

优选地，将轨迹片段数据从缓存装置存储至数据库包括：基于预定规则，将所述消息中间件中合并存储的轨迹片段数据存储至所述数据，例如，可以每次存储预定时段内合并缓存的轨迹片段数据，或是每次存储包括预定数量轨迹点的合并缓存的轨迹片段数据。由此，能够充分利用消息中间件的高并发功能，缓解数据库的存储压力，避免不必要的数据持久化操作。

优选地，目标轨迹点数据需要被持续获取，由此进一步方便数据的分块存储。于是，合并存储可以包括：关联存储持续获取的目标的轨迹点位置数据。由此，通过关联存储，提高数据的存储和处理效率。

优选地，还可以关联存储持续获取的目标的轨迹点时间戳数据和/或轨迹点属性数据，以方便应对各种场景的需求。

优选地，合并存储所述目标的两个或多个轨迹点数据以作为所述目标的轨迹片段数据可以包括：将新读取的目标的轨迹点数据追加至现有轨迹片段数据之后，由此提升轨迹片段数据的可扩展能力。