[发明专利]一种数据汇总文件的分发方法

说明书

本发明公开了一种数据汇总文件的分发方法，包括以下步骤：步骤一，中心机构处理业务将所有用户的数据写入单个总库文件下发至文件分发系统；步骤二，文件分发系统的FileScan模块扫描该文件，对文件进行处理；步骤三，FileSplit分拆模块启动多个进程，根据分发规则将文件拆分成一批次中间文件，步骤四，File Merge合并模块启动多个进程，根据分发规则将若干个中间文件合并写入用户文件，步骤五，FileDownTP模块为每个用户文件生成一条记录，将对应的数据文件放置到指定路径下，步骤六，通信前置读取文件任务记录库，根据记录内容将指定路径下的用户文件推送给用户。本发明解决行业技术人员的困惑，提升市场的整体效率，可指导相关系统在类似场景下实现高效可靠的文件分发功能。

技术领域

本发明涉及证券市场数据文件分发技术领域，具体涉及一种数据汇总文件的分发方法。

背景技术

当前证券市场中，交易结算等数据都是汇总至中心节点机构例如交易所和结算公司进行处理；处理结果例如清算数据、对账数据等都是通过数据文件的方式进行下发。随着市场的发展，日益增长的数据量对分发系统的性能提出很高的要求，以及如何支持大文件、如何将业务和文件处理解耦，是当前相关系统面临的几个主要问题, 而没有一种数据汇总文件的分发算法和实现方案指导相关系统在类似场景下实现高效可靠的文件分发功能。

为了解决上述技术问题，特提出一种新的技术方案。

发明内容

本发明的目的在于提供一种数据汇总文件的分发方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种数据汇总文件的分发方法，包括以下步骤：

步骤一，中心机构处理业务，并将所有用户的数据写入单个总库文件下发至文件分发系统；

步骤二，文件分发系统的FileScan模块扫描总库文件，并分析分发规则，随后启动FileSplit分拆模块和File Merge合并模块对文件进行处理；

步骤三，若分发规则指明该总库文件需要先进行分拆，则对总库文件进行分段，FileSplit分拆模块启动多个进程，每个进程处理文件的一个分段，根据分发规则将文件拆分成一批次中间文件；

步骤四，待所有Filesplit进程结束后，若分发规则指明该总库文件需要进行合并，则启动若干个File Merge进程进行并发处理，File Merge合并模块启动多个进程，每个进程处理一个分组的中间文件，根据分发规则将若干个中间文件合并写入用户文件；

步骤五，FileDownTP模块为每个用户文件生成一条记录，并写入文件任务记录库；同时，将对应的数据文件放置到指定路径下；

步骤六，当有用户连接到通信前置时，通信前置读取文件任务记录库，根据记录内容将指定路径下的用户文件推送给用户。

优选地，所述步骤一将所有用户的数据写入单个总库文件下发至文件分发系统所指的是，中心节点业务系统发送总库文件至数据文件目录，待文件完整后，放置OK标志文件。

优选地，所述步骤二文件分发系统的FileScan模块扫描总库文件，并分析分发规则所指的是，FileScan进程扫描数据文件目录，若发现OK标志文件，则开始处理对应的总库文件，通过解析OK标志文件的字段内容，确认分发规则。

优选地，所述步骤三FileSplit分拆模块启动多个进程，每个进程处理文件的一个分段，根据分发规则将文件拆分成一批次中间文件所指的是，启动若干个FileSplit进程进行并发处理，输出结果为一批分拆好的中间文件。

优选地，所述步骤四根据分发规则将若干个中间文件合并写入用户文件指的是，将该批次的中间文件逐个合并到对应的用户文件中。