[发明专利]一种增加日志大数据量排序方法

说明书

本发明涉及大数据ETL领域，具体提供了一种增加日志大数据量排序方法，多线程解析Redo日志后的多批次无序数据，通过路径文件命名、落盘和抓取的方式进行排序后，以正确有序的队列向后传输至目标源中，用于完成数据的同步。与现有技术相比，本发明的可以使用多线程解析，致使同步数据量达到T级别。满足绝大部分业务的增量需求，且该处理器配置简单、开发成本低、运行稳定、操作难度低，具有良好的推广价值。

技术领域

本发明涉及大数据ETL领域，具体提供一种增加日志大数据量排序方法。

背景技术

现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。目前来看，随着信息化越来越普遍，业务中的每天增量数据已经不仅仅局限于几百KB或者几百G的数据量，更多的业务增量redo日志日增数据量达到了T级别。于是这就产生了另一个问题，解析日志的速度达不到redo日志的产生速度。

由于要保证数据的一致性，即数据DML一致，之前解析redo日志文件是以单线程运行的，即按照redo日志的生成时间逐个解析。这种解析方式无法并发导致速度无法达到日志生成速度，从而多线程对日志的解析方案就呼之欲出。但是多线程的方式速度达到了，然而各个线程解析日志文件后的数据是杂乱无章的，如何将这些数据以正确有序的方式重新排列成了本领域技术人员面临的技术难题。

发明内容

本发明是针对上述现有技术的不足，提供一种实用性强的增加日志大数据量排序方法。

本发明解决其技术问题所采用的技术方案是：

一种增加日志大数据量排序方法，多线程解析Redo日志后的多批次无序数据，通过路径文件命名、落盘和抓取的方式进行排序后，以正确有序的队列向后传输至目标源中，用于完成数据的同步。

进一步的，解析Redo日志之前先需要在FetchOracleRedoLogFile获取某一时间段的所有redo日志文件名称，按照日志生成的时间给每个日志文件名称依次加上current.index(1,2,3...)属性。

进一步的，多线程解析Redo日志时，ExecuteOracleLogMiner为解析日志文件处理器，每个线程处理一个日志文件，每10000条生成一个数据流向后传输，同时设置上FragmentNumber与NextFragmentNumber属性，当FragmentNumber与NextFragmentNumber相同时，则说明该日志文件已解析完毕。

进一步的，多批无序数据使用处理器FetchRedoBySequential进行数据的传输，先查看所述处理器中有无该数据表保存的状态，如果状态中未查询到该数据表的状态，则采取初始化状态Initial sequence(1-1)。

作为优选，所述数据表中键列为用户名和数据表，值列为所期待的序号批次数据。

进一步的，所述处理器FetchRedoBySequential为单线程执行，若传输的数据流不能识别，则采取的逻辑即将其落盘，路径为用户所配置的路径(/indata/disk_0/nifi/datas+“/用户名/数据表/current.index”),文件名为FragmentNumber+NextFragmentNumber。

进一步的，当所期待的数据流传输来后，首先将其向后传输，其次，便去磁盘中扫描是否存在下一个数据流文件；数据流传输后，获取其NextFragmentNumber属性，这时分为两种情况：

1)、当FragmentNumber与NextFragmentNumber相同时，则说明当前current.index的日志文件已排序完毕，接下来扫描/indata/disk_0/nifi/datas/user1/tableA/current.index+1路径下的以1开头的文件名。