[发明专利]一种联机交易消息去重方法、装置、介质、产品和设备

说明书

本公开涉及一种联机交易消息去重方法、装置、介质、产品和设备。在键值对数据库中缓存消息去重配置列表，利用第一向量表滤波器中的第一比特向量表，来存储已经接收到的联机交易消息指定主键值对应的哈希值。新接收到联机交易消息时，从键值对数据库中获得消息去重配置列表，确定对应的消息去重索引主键。确定主键值对应的第一哈希值是否已经被存储过，若确定已经被存储过，指示不对新的联机交易消息进行处理，实现消息去重。由于键值对数据库可以以较低延迟和较快的响应速度来提供消息去重配置列表，且向量表滤波器可以实现比特向量表的快速查找，因此，可以有效保证消息去重的时效性。

技术领域

本公开涉及数据处理技术领域，特别涉及一种联机交易消息去重方法、装置、介质、产品和设备。

背景技术

本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着信息系统的发展，联机交易系统间的消息交互方式越来越多源化。而随着区块链、Kafka分布式消息发布等技术的介入，对联机交易系统的组建提供了很大的便利，但同时也带来了消息重复的问题。例如，假设区块链有A、B两个节点，一笔联机交易的消息送到区块链A节点，区块链会通过共识机制将该消息同步到B节点，集群模式下A、B两个节点都会向下游发送该消息，由此会造成消息重复的问题。

对于联机交易系统，重复消息会带来不必要的误会。特别是对于账务交易，重复消息可能带来交易成功率的下降，甚至是错账，造成极大的麻烦。

目前的消息去重主要包括以下两种方案：

第一种方案：

使用数据库唯一约束技术。系统将接收到的每笔联机交易的消息存入数据库中，通过消息的一个属性或多个属性，建立消息的主键。如消息重复插入数据库会发生异常报错。

使用数据库唯一约束技术，如果不在系统中增加重复判断逻辑，会有数据库系统级别的错误日志抛出，如果系统中不对此类异常报错进行处理，错误将直接返回给用户，对用户体验是不友好的。如果系统中加入重复判断逻辑，同一系统中的不同联机交易主键可能会不一样，一方面造成了代码量大大增加，增加了开发者的工作量，另一方面因为代码分散，对系统的可维护性也会造成影响。同时频繁地与数据库进行交互，也无法保证联机交易消息去重的时效性。

第二种方案：

在系统中给所有的请求的统一资源定位符(URL)加一个拦截器，每次将请求的URL存入会话控制(Session),下次请求时验证URL的数据是否相同，如果相同则拒绝访问。

但是，基于Session增加拦截器具有一定的局限性，服务端会同时存在几种甚至几十种服务，若访问量较大，对服务端的性能有较高的要求，无法保证联机交易消息去重的时效性。同时由于服务器的内存不能在多台服务器之间共享，该方案的扩展性会受到影响。

因此，亟需提供一种联机交易消息去重机制，在进行消息去重时可以保证时效性。

发明内容

本公开实施例提供一种联机交易消息去重方法、装置、介质、产品和设备，用于解决进行联机交易消息去重时效性较差的问题。

第一方面，本公开提供了一种联机交易消息去重方法，所述方法包括：

若接收到一条联机交易消息，获取键值对数据库缓存的消息去重配置列表，所述消息去重配置列表中包括预先配置的至少一个联机交易类型编号、每个联机交易类型编号分别对应的至少一个消息去重索引主键；

根据所述联机交易消息对应的联机交易类型，从所述消息去重配置列表中查找对应的联机交易类型编号对应的至少一个消息去重索引主键；

根据查找出的至少一个消息去重索引主键，获得所述联机交易消息对应的每个主键值；