[发明专利]基于ETL的多线程数据处理方法

权利要求书

1.一种基于ETL的多线程数据处理方法，其特征在于，包括：将ETL的数据抽取过程分为明显的三个阶段，即抽取、发送和同步，并且使用各自独立的线程并行执行以下四个步骤：

步骤10：由数据抽取单元启动一个抽取线程，通过规则实时抽取源表数据，并将数据封装后存放到待发送消息队列，如果抽取数据过程发生错误，则将出错的数据发送到出错数据消息队列；

步骤11：由数据发送单元启动一个发送线程，循环检测待发送消息队列，当该队列中有需要发送的数据时，则将该数据发送到待同步消息队列，如果发送数据过程发生错误，则将出错的数据发送到出错数据消息队列；

步骤12：由数据同步单元启动一个同步线程，循环检测待同步消息队列，当该队列中有需要同步的数据时，则解析该数据并同步目的表数据，如果同步数据过程发生错误，则将出错的数据发送到出错数据消息队列；

步骤13：由出错数据持久化单元启动一个持久化线程，循环检测出错数据消息队列，当队列中有出错的数据时，将出错数据按照引起错误原因，即抽取数据错误、发送数据错误和同步数据错误进行保存。

2.根据权利要求1所述的方法，其特征在于，步骤10中，所述通过规则实时抽取源表数据具体为：

通过SQL批处理查询语句实时抽取源表数据。

3.根据权利要求1所述的方法，其特征在于，步骤11中，所述将需要发送的数据发送到待同步消息队列具体为：

将需要发送的数据通过HTTP协议或TCP协议发送到待同步消息队列。

4.根据权利要求1所述的方法，其特征在于，步骤12中，所述解析需要同步的数据并同步目的表数据具体为：

通过SQL批处理方式解析需要同步的数据并同步目的表数据。

5.根据权利要求4所述的方法，其特征在于，所述同步目的表数据的具体操作包括：

插入、更新和删除数据。

6.根据权利要求1所述的方法，其特征在于，步骤13中，所述将出错数据按照引起错误原因，即抽取数据错误、发送数据错误和同步数据错误进行保存后还包括：

按照预设数据同步方式对所述出错的数据进行数据同步。