[发明专利]基于ETL的多线程数据处理方法

摘要

本发明公开了一种基于ETL的多线程数据处理方法，包括：将ETL的数据抽取过程分为明显的三个阶段，即抽取、发送和同步，并且使用各自独立的线程并行执行数据的抽取、发送和同步，以及出错数据的持久化步骤。本发明通过使用多线程处理框架，并行化了ETL数据抽取的过程，大幅提高了数据的吞吐量和抽取速率，以及硬件资源的利用率；还通过对数据的抽取、发送和同步过程中产生的出错数据的处理，提高了数据的容错性，降低了由于数据抽取过程中产生错误而导致整个ETL瘫痪的概率。

主权项

一种基于ETL的多线程数据处理方法，其特征在于，包括：将ETL的数据抽取过程分为明显的三个阶段，即抽取、发送和同步，并且使用各自独立的线程并行执行以下四个步骤：步骤10：由数据抽取单元启动一个抽取线程，通过规则实时抽取源表数据，并将数据封装后存放到待发送消息队列，如果抽取数据过程发生错误，则将出错的数据发送到出错数据消息队列；步骤11：由数据发送单元启动一个发送线程，循环检测待发送消息队列，当该队列中有需要发送的数据时，则将该数据发送到待同步消息队列，如果发送数据过程发生错误，则将出错的数据发送到出错数据消息队列；步骤12：由数据同步单元启动一个同步线程，循环检测待同步消息队列，当该队列中有需要同步的数据时，则解析该数据并同步目的表数据，如果同步数据过程发生错误，则将出错的数据发送到出错数据消息队列；步骤13：由出错数据持久化单元启动一个持久化线程，循环检测出错数据消息队列，当队列中有出错的数据时，将出错数据按照引起错误原因，即抽取数据错误、发送数据错误和同步数据错误进行保存。