[发明专利]数据解析分发装置及高并发数据处理方法

说明书

本说明书实施例公开了一种数据解析分发装置及高并发数据处理方法，所述装置包括一个或者多个父线程、缓存队列管理器、缓存队列以及各缓存队列对应的子线程，所述缓存队列的数目与所述数据解析分发装置对应的下游系统应用数目相同，且各缓存队列与所述下游系统应用一一对应。所述父线程用于并列从上游服务器捞取待处理交易数据，并放入所述缓存队列中。所述子线程用于从对应的缓存队列中捞取待处理交易数据，并逻辑加工处理成相应下游系统应用接口格式的数据，以及将逻辑加工处理后的数据发送给相应的下游系统应用。利用本说明书各个实施例，可以稳定高效的实现异构系统间的高并发数据传输。

技术领域

本说明书实施例涉及计算机数据处理技术领域，特别地，涉及一种数据解析分发装置及高并发数据处理方法。

背景技术

随着银行IT系统功能的不断扩展，各种异构系统不断涌现，各系统之间的交互也越来越多，交易数据量翻倍增长，对交易数据处理实时性的要求也越来越高。提升硬件性能能够缓解这个需求，但是考虑到各项成本，不可能无限度的提高硬件配置。

目前，基于MQ中间件的消息解析处理应用基本都是集中式的部署在小型机上，很难同时具备可分布式部署，易扩展、高性能、可动态配置，不能够有效的支持传统应用系统与大数据系统等异构系统间的高效通信。随着业务和数据的急剧增长，特别是大数据技术的兴起，急切需要一种新高并发处理机制，以稳定高效的实现高并发消息的解析处理。

发明内容

本说明书实施例的目的是提供一种数据解析分发装置及高并发数据处理方法，可以稳定高效的实现异构系统间的高并发数据传输。

本说明书提供一种数据解析分发装置及高并发数据处理方法是包括如下方式实现的：

一种数据解析分发装置，所述装置包括一个或者多个父线程、缓存队列管理器、缓存队列以及各缓存队列对应的子线程，其中，

所述父线程用于并列从上游服务器捞取待处理交易数据；

所述缓存队列管理器与所述父线程一一对应，用于设置各缓存队列对应的子线程数目，以及将父线程捞取的待处理交易数据放入所述缓存队列中；

所述缓存队列的数目与所述数据解析分发装置对应的下游系统应用数目相同，且各缓存队列与所述下游系统应用一一对应；

所述子线程用于从对应的缓存队列中捞取待处理交易数据，并逻辑加工处理成相应下游系统应用接口格式的数据，以及将逻辑加工处理后的数据发送给相应的下游系统应用。

本说明书提供的所述装置的另一个实施例中，所述父线程以及子线程的数目根据数据解析分发处理装置布设的服务器的硬件配置及资源使用情况进行动态调整。

本说明书提供的所述装置的另一个实施例中，所述缓存队列及子线程中的数据根据预设资源动态释放机制进行清空处理，所述预设资源动态释放机制包括根据服务器内存使用情况及数据发送次数进行数据清空处理。

本说明书提供的所述装置的另一个实施例中，所述缓存队列管理器用于将父线程捞取的待处理交易数据根据预设策略放入所述缓存队列中，所述预设策略包括根据上游服务器参数及缓存队列存储空间动态调整放入缓存队列中的数据量。

另一方面，本说明书还提供一种基于上述任意一个实施例所述的数据解析分发装置的高并发数据处理方法，包括：

利用所述父线程并列从上游服务器捞取待处理交易数据，并通过所述缓存队列管理器将所述待处理交易数据放入缓存队列；

所述缓存队列的子线程从所述缓存队列中读取待处理交易数据，并将待处理交易数据进行逻辑加工处理，获得所述缓存队列对应的下游系统应用接口格式的数据；

所述缓存队列的子线程将逻辑加工处理后的数据根据数据的接口格式发送给对应的下游系统应用。