[发明专利]一种数据处理方法、装置、计算机设备和存储介质

说明书

本发明公开了一种数据处理方法、装置、计算机设备和存储介质，该方法包括：接收追踪对象的对象数据，确定对象数据对应的当前节点的节点信息；根据节点信息从预先配置的计算规则中获取与当前节点对应的目标计算规则；解析目标计算规则，根据解析结果获取计算当前节点的当前阶段数据所需要的目标数据；根据目标计算规则以及目标数据计算生成当前节点的当前阶段数据。本发明通过将跟踪对象的计算逻辑抽象为可解析的数学表达式，实现计算逻辑配置化，可以快速根据表达式匹配数据并计算，通过使用分布式列式数据库作为存储介质实现快速读写，提高读取效率。

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据处理方法、装置、计算机设备和存储介质。

背景技术

目前基于海量数据实时跟踪轨迹信息并快速匹配上下文执行计算存在以下技术难点：

1、海量轨迹数据的结构化保存。一个追踪对象的生命周期会包含多个不同的阶段，每个阶段都会产生不同的轨迹信息，对象的整个生命周期可能会很长，仅使用实时流式计算执行器的内存无法缓存如此长周期的历史轨迹数据，故必须借助外部存储来保存历史数据，针对如此海量历史轨迹数据使用传统关系型数据库难以保存。

2、实时跟踪并快速匹配上下文。同一个追踪对象的每个阶段都可能触发对于此对象的历史轨迹信息的追踪及相关计算，需要一个完整的机制来保证如何实时快速匹配上下文并正确触发计算。

针对上述问题，现有技术中通常比较通用技术方案是针对每个轨迹追踪逻辑进行硬编码定制化开发，以及使用Hive作为存储介质保存海量历史轨迹数据。但是，一方面，当计算逻辑发生变化时，需要人工维护代码，成本较高，另一方面，Hive读取效率低下，适合准实时批量处理，时效性低。

因此，亟需提出一种新的数据处理方案，以解决上述问题。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种数据处理方法、装置、计算机设备和存储介质，以克服现有技术中针对每个轨迹追踪逻辑进行硬编码定制化开发，存在的需要人工维护代码，成本较高以及使用Hive作为存储介质保存海量历史轨迹数据，读取效率低下、时效性低等问题。

为解决上述一个或多个技术问题，本发明采用的技术方案是：

第一方面，提供了一种数据处理方法，该方法包括如下步骤：

接收追踪对象的对象数据，确定所述对象数据对应的当前节点的节点信息；

根据所述节点信息从预先配置的计算规则中获取与所述当前节点对应的目标计算规则；

解析所述目标计算规则，根据解析结果获取计算所述当前节点的当前阶段数据所需要的目标数据；

根据所述目标计算规则以及所述目标数据计算生成所述当前节点的当前阶段数据。

进一步的，所述解析所述目标计算规则，根据解析结果获取计算所述当前节点的当前阶段数据所需要的目标数据包括：

对所述目标计算规则进行解析，获取解析结果；

根据所述解析结果判断是否需要获取历史阶段数据，若不需要，则直接确定所述对象数据为目标数据，否则，获取对应的历史阶段数据，将获取到的所述历史阶段数据与所述对象数据确定为目标数据。

进一步的，所述获取对应的历史阶段数据包括：

查询缓存数据中是否存在所述历史阶段数据，若存在，则从所述缓存中获取所述历史阶段数据，否则将所述对象数据以及所述计算规则发送至分布式消息队列，以便后续执行数据补充流程。

进一步的，所述数据补充流程包括如下步骤：

接收并解析分布式消息队列发送来消息数据，获取所述消息数据中携带的对象数据以及目标计算规则；