[发明专利]交易数据流获取方法及装置

说明书

本发明提供了一种交易数据流获取方法及装置，涉及大数据处理领域，可应用于金融领域和其他领域，所述方法包含：接收交易信息，根据交易信息分析获得交易流程数据；采集后台数据库的监控数据，根据所述交易信息中的开始结束时间按主键提取的方式提取所述监控数据中对应时段的变化数据信息，并以所述变化数据信息的时间发生先后进行排序生成数据流集合；根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联生成交易数据流。

技术领域

本发明涉及大数据处理领域，可应用于金融领域和其他领域，尤指一种交易数据流获取方法及装置。

背景技术

一个计算机软件系统的前台交易，往往对应着后台数据库中复杂的数据流动和关联关系。交易流程与后台数据流的对应关系的梳理，在复杂的分布式系统中，尤其是架构复杂的联机交易系统中，一直都是难点。但这种对应关系的梳理，对于当前日益复杂的分布式架构下的联机交易系统，整体链路的梳理和问题排查、资产沉淀，都是非常有意义和有必要的。

目前在进行这类链路的梳理和对应关系的提取时，常用的几种方法主要有：一：(纯人工提取)人工业务逻辑梳理与人工数据流程梳理的结合，这种方法需要领域内对业务交易和数据架构都深入了解的专家，同时也需要大量的人工干预。二：(半自动提取)人工业务逻辑梳理与自动的数据架构匹配，这种方法相对于上一种方法，属于半自动化的方式，但是需要提前预知交易逻辑背后所对应的数据库的表、存储过程、索引等数据结构的情况，同样需要大量开发人员的知识积累和沉淀，且存在遗漏的可能。

发明内容

本发明目的在于提供一种交易数据流获取方法及装置，予以借助后台数据库自动生成的监控数据，通过时间链路采集、主键传递跟踪、噪声处理等技术的组合运用，形成一套无需人工干预，并且可以通过后台的学习机制，逐步完善和动态调整所匹配到的数据流，效率远高于传统的人工和半自动的实现方式，且避免了人工干预造成的数据遗漏。

为达上述目的，本发明所提供的交易数据流获取方法，具体包含：接收交易信息，根据交易信息分析获得交易流程数据；采集后台数据库的监控数据，根据所述交易信息中的开始结束时间按主键提取的方式提取所述监控数据中对应时段的变化数据信息，并以所述变化数据信息的时间发生先后进行排序生成数据流集合；根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联生成交易数据流。

在上述交易数据流获取方法中，优选的，根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联之前还包含：当所述数据流集合中存在交易链路数据流在传递过程中主键变化时，通过主键传递跟踪技术获取主键跳跃位置；根据所述主键跳跃位置将变化的主键与主键跳跃位置的主键关联后存入所述数据流集合。

在上述交易数据流获取方法中，优选的，根据交易信息分析获得交易流程数据包含：分析所述交易信息获得交易要素，对所述交易要素进行归类生成交易流程数据。

在上述交易数据流获取方法中，优选的，所述监控数据包含查询文本、执行时间和对应的表名。

在上述交易数据流获取方法中，优选的，根据所述交易信息中的开始结束时间按主键提取的方式提取所述监控数据中对应时段的变化数据信息包含：根据所述交易信息中的开始结束时间于所述监控数据中的数据表结构中获得主键信息；通过所述主键信息提取所述监控数据中对应时段的变化数据信息。

在上述交易数据流获取方法中，优选的，以所述变化数据信息的时间发生先后进行排序生成数据流集合包含：当所述变化数据信息分别来至于不同时间设置的数据库时，通过时间换算公式计算所述变化数据信息的标准时间；根据所述标准时间将所述变化数据信息的时间发生先后进行排序生成数据流集合。

在上述交易数据流获取方法中，优选的，根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联之前还包含：通过不同预设周期的业务要素采集提取与交易关联的相关信息，通过所述相关信息对所述数据流集合进行降噪处理。