[发明专利]一种基于Redis的对账方法及系统

说明书

本发明公开了一种基于Redis的对账方法及系统，该方法包括：依托调度框架，定时触发对账任务初始化流程，生成对账任务；将对账任务写入延迟队列，定时拉取对账文件；解析对账文件并转换数据统一格式；拉取、清洗、过滤系统交易数据；通过Redis比对对账数据与系统交易数据，得出交集与差集，完成对账。本发明基于分布式调度框架和延迟队列的消息处理机制，具有开发难度低、代码入侵少、防止单点故障、时效性更高的优点，防止重复轮询和扫描数据库给予系统及数据库性能压力；本发明还基于Redis的数据对比，与传统对账方式相比，在数据量庞大时，耗时有明显的下降，同时也减轻了数据库的压力，减少了部署成本。

技术领域

本发明属于支付系统数据对账技术领域，具体涉及一种基于Redis的对账方法及系统。

背景技术

在非云架构应用中，传统支付系统针对日终对账文件存储都放于本地磁盘或者磁盘阵列中，同时，对于数据匹对采用关系数据库循环逐条进行。

此种方案存在以下问题：

1、存储方式存在单点故障，如果磁盘或者阵列发生异常，整个对账过程就会发生错误。

2、存储方式部署维护成本高，后续扩容比较困难；容灾能力差，磁盘发生故障时，数据很容易丢失。

3、传统存储是针对整个系统赋权，不能根据支付类型，支付渠道进行文件权限细分与文件隔离，基本上权限管理几乎趋近于零；并且文件存储路径、方式都依托于支付系统进行管理，与支付系统重耦合，同时磁盘或者阵列无高可用处理，在出现问题时，对系统影响较大。

4、数据匹配基于数据库逐条进行对比，性能低、耗时长，在数据量庞大时，对比时间不可控，长时间占用数据库I/O性能，如同一时间段存在对数据库的实时处理操作，会降低处理性能，从而对系统影响较大。

发明内容

本发明的目的在于提供一种基于Redis的对账方法及系统，以解决上述背景技术中提到的现有的日终对账方案中存在部署维护成本高、文件单点故障、容灾能力差，对账文件管理依托系统，依赖重、耦合高、文件隔离与权限控制能力几乎为零的问题。

本发明目的通过以下技术方案实现：

根据本发明的一个方面，提供一种基于Redis的对账方法，该方法包括以下步骤：

依托调度框架，定时触发对账任务初始化流程，根据各支付渠道对账文件配置模板生成对账任务；

将对账任务写入延迟队列，在符合拉取规则时触发延迟队列发送对应支付渠道对账文件拉取消息，拉取对账文件；

配置各渠道所拉取的对账文件类型、报文格式后，将各渠道对账数据转换为统一格式；

拉取与各渠道对账数据对应的系统交易数据，并对系统交易数据进行清洗过滤；

将相应的渠道对账数据与系统交易数据按照Redis对比指定格式分别推送至Redis集群两个集合中，然后对集合进行对比并生成对账结果。

进一步地，所述拉取对账文件后，还包括将拉取的对账文件存入MinIO，具体包括：

计算所拉取对账文件MD5值，并用MD5值作为MinIO对象名；

通过对象名调用MinIO封装方法对对账文件进行查重；

如果已存在则直接返回对账文件拉取成功；如果不存在则通过MinIO上传封装方法将对账文件上传至MinIO指定对象桶存储，对账文件上传成功后MinIO返回对象名，然后返回对账文件拉取成功；

更新相关数据与MinIO对象名进行关联。

进一步地，所述拉取对账文件若拉取失败，则拉取消息回滚至延迟队列消息队列中，延迟后再次触发，延迟时间可以配置。