[发明专利]一种交易数据的处理系统、处理方法、介质和设备

说明书

本发明提供一种交易数据的处理系统、处理方法、介质和设备，该方法包括：通过数据切割服务集群将原始交易数据切割成多片子原始交易数据并存储在共享磁盘对应的目录中；通过数据标准化服务集群监听并消费每片子原始交易数据并构建成具有顺序属性的交易链路数据，并写入第一消息队列集群中对应的缓存分片区，通过标准数据分发服务集群监听并消费交易链路数据集合并将其中的数据分发至第二消息队列集群中对应的缓存分片区，得到多片子交易链路数据集合并监听分发结果；当分发完毕后，通过第一交易数据处理服务集群监听并消费分子交易链路数据集合，按照其中的交易步骤执行数据处理。本发明能降低系统等待时间，提高交易数据处理效率。

技术领域

本发明涉及消费金融交易技术领域，尤其涉及一种交易数据的处理系统、处理方法、介质和设备。

背景技术

在日终账务处理时，对交易数据(比如结息数据)进行核算，是一种常见的处理方式。在传统技术中，针对交易数据的处理方式，一般是在日终作业时，将交易数据发送至单台服务器进行处理，但是，当交易数据量特别巨大时，下游的业务处理服务资源使用率暴增，导致拖垮整个集群的处理效率甚至系统到宕机。

再者，有更多变化较少的数据被频繁访问，增加了数据库的访问压力。

发明内容

有鉴于此，本发明实施例的目的在于提供一种交易数据的处理系统、处理方法、介质和设备，以解决现有技术数据处理效率低和数据库访问压力大的技术问题。

为了达到上述目的，第一方面，本发明实施例提供了一种交易数据的处理方法，所述方法包括如下步骤：

步骤1：通过数据切割服务集群对原始交易数据进行分片处理，将所述原始交易数据切割成多片子原始交易数据，并存储在共享磁盘中对应的目录；

步骤2：通过数据标准化服务集群监听并消费所述共享磁盘中的每片子原始交易数据，将所述每片子原始交易数据构建成具有顺序属性的交易链路数据，获得交易链路数据集合，并将所述交易链路数据集合写入第一消息队列集群中对应的缓存分片区；

步骤3：通过标准数据分发服务集群监听并消费所述第一消息队列集群中对应的缓存分片区中的交易链路数据集合，将所述交易链路数据集合中的数据分发至第二消息队列集群中对应的缓存分片区，得到多片子交易链路数据集合，并监听分发结果；

步骤4：当分发结果为分发完毕后，通过第一交易数据处理服务集群监听并消费分发至第二消息队列集群中的缓存分片区中的子交易链路数据集合，按照子交易链路数据集合中的交易步骤执行数据处理，并将执行数据处理的结果持久化至数据库。

在一些可能的实施方式中，步骤1具体包括：

步骤1.1：启动切割任务定时器，当满足切割条件时，所述切割任务定时器触发数据切割服务集群对原始交易数据进行切割；

步骤1.2：所述数据切割服务集群按照哈希取模的方式获得每行原始交易数据的分片索引；

步骤1.3：所述数据切割服务集群根据所述分片索引将每行原始交易数据分别写入第一消息队列集群中对应的缓存分片区，得到多片原始交易数据。

在一些可能的实施方式中，步骤2具体包括：

步骤2.1：数据标准化服务集群监听并消费所述共享磁盘中的每片子原始交易数据，对每片子原始交易数据进行标准化处理，得到标准交易数据；

步骤2.2：数据标准化服务集群对所述标准交易数据进行校验；

步骤2.3：数据标准化服务集群将校验合格的标准交易数据构建成具有顺序属性的交易链路数据集合；

步骤2.4：数据标准化服务集群将所述交易链路数据集合缓存在对应的第一消息队列集群中的缓存分片区。

在一些可能的实施方式中，步骤2.3还包括：