[发明专利]一种增加日志大数据量排序方法

权利要求书

1.一种增加日志大数据量排序方法，其特征在于，多线程解析Redo日志后的多批次无序数据，通过路径文件命名、落盘和抓取的方式进行排序后，以正确有序的队列向后传输至目标源中，用于完成数据的同步。

2.根据权利要求1所述的一种增加日志大数据量排序方法，其特征在于，解析Redo日志之前先需要在FetchOracleRedoLogFile获取某一时间段的所有redo日志文件名称，按照日志生成的时间给每个日志文件名称依次加上current.index(1,2,3...)属性。

3.根据权利要求2所述的一种增加日志大数据量排序方法，其特征在于，多线程解析Redo日志时，ExecuteOracleLogMiner为解析日志文件处理器，每个线程处理一个日志文件，每10000条生成一个数据流向后传输，同时设置上FragmentNumber与NextFragmentNumber属性，当FragmentNumber与NextFragmentNumber相同时，则说明该日志文件已解析完毕。

4.根据权利要求3所述的一种增加日志大数据量排序方法，其特征在于，多批无序数据使用处理器FetchRedoBySequential进行数据的传输，先查看所述处理器中有无该数据表保存的状态，如果状态中未查询到该数据表的状态，则采取初始化状态Initial sequence(1-1)。

5.根据权利要求4所述的一种增加日志大数据量排序方法，其特征在于，所述数据表中键列为用户名和数据表，值列为所期待的序号批次数据。

6.根据权利要求5所述的一种增加日志大数据量排序方法，其特征在于，所述处理器FetchRedoBySequential为单线程执行，若传输的数据流不能识别，则采取的逻辑即将其落盘，路径为用户所配置的路径(/indata/disk_0/nifi/datas+“/用户名/数据表/current.index”),文件名为FragmentNumber+NextFragmentNumber。

7.根据权利要求6所述的一种增加日志大数据量排序方法，其特征在于，当所期待的数据流传输来后，首先将其向后传输，其次，便去磁盘中扫描是否存在下一个数据流文件；数据流传输后，获取其NextFragmentNumber属性，这时分为两种情况：

1)、当FragmentNumber与NextFragmentNumber相同时，则说明当前current.index的日志文件已排序完毕，接下来扫描/indata/disk_0/nifi/datas/user1/tableA/current.index+1路径下的以1开头的文件名。

2)当FragmentNumber与NextFragmentNumber不同时。则说明当前current.index的日志文件还未排序完毕。扫描当前/indata/disk_0/nifi/datas/user1/tableA/current.index路径下的以NextFragmentNumber开头的文件名。

如若扫描到所期待的文件，则获取该文件并向后传输并循环上述1)、2)步骤直至扫描不到所期待文件，则说明所期待文件还未传输到该处理器。此时更新该处理器user1.tableA状态为所期待的数据流对应的属性(current.index+FragmentNumber)，等待着该数据流的流入。

8.根据权利要求7所述的一种增加日志大数据量排序方法，其特征在于，当从磁盘扫描文件，一个current.index路径扫描完毕后，则可以设置Delete Disk File属性为true来将这个路径删除。

9.根据权利要求8所述的一种增加日志大数据量排序方法，其特征在于，若从磁盘中取出文件出错时，抛出异常的同时，将状态更新到出错文件的前一批次状态并生成一个新的数据流回滚。