[发明专利]一种基于分布式多线程的大数据处理方法及系统

权利要求书

1.一种基于分布式多线程的大数据处理方法，其特征在于，包括系统服务器和若干智能执行终端，所述系统服务器包括数据库、优先级队列、生产者线程和消费者线程；该方法包括以下步骤：

S1：系统服务器接收所有待处理的数据任务，并存入数据库；及把从数据库中读取若干条数据任务放入到待处理任务的优先级队列中；

S2：系统服务器根据各个智能执行终端的运行状态，调取对应空闲状态的智能执行终端执行所述优先级队列中的待处理任务，且所述智能执行终端把自身的实时运行状态通知所述系统服务器；在执行过程中，若遇到错误则将错误数据任务返回至所述优先级队的首位，等待被调取执行即可。

2.根据权利要求1所述的一种基于分布式多线程的大数据处理方法，其特征在于，步骤S1具体包括以下步骤：

S11：系统服务器接收所有待处理的数据任务，并存入数据库；

S12：生产者线程实时扫描数据库，并判断优先级队列是否已满，若未满，则进行入队操作，从数据库中读取数据任务放入到所述优先级队列的队尾；如已满，则执行步骤S13；

S13：消费者线程根据所述优先级队列的实时情况，判断优先级队列是否已满，若已满，则进行出队操作，执行步骤S2；如未满，则进行入队操作即可。

3.根据权利要求1所述的一种基于分布式多线程的大数据处理方法，其特征在于，所述系统服务器包括多个服务器，每个服务器的调度策略公式为：

Num＝id％total

其中，Num表示被调度的服务器编号，第一台服务器记作0，第二台服务器记作1，其它服务器依次记录即可；id表示服务器id；％表示求余；total表述服务器的总数量。

4.根据权利要求1所述的一种基于分布式多线程的大数据处理方法，其特征在于，每个所述服务器包括一个优先级队列或者多个优先级队列，且各个优先级队列之间还设有队列间优先级。

5.根据权利要求1所述的一种基于分布式多线程的大数据处理方法，其特征在于，所述优先级队列的属性包括类型信息、大小信息。

6.根据权利要求1所述的一种基于分布式多线程的大数据处理方法，其特征在于，所述数据库中存储有数据任务的优先级和时间；所述数据任务的优先级为数据任务的重要程度，包括非常重要、一般重要和不重要。

7.基于权利要求1至6中任一所述的一种基于分布式多线程的大数据处理方法的系统，其特征在于，该系统包括系统服务器和若干智能执行终端，所述系统服务器包括数据库、优先级队列、生产者线程和消费者线程；

所述数据库，用于存储系统服务器接收的所有待处理的数据任务；

所述优先级队列，用于把从数据库中读取若干条数据任务放入到待处理任务的优先级队列中，等待智能执行终端来获取进行处理；

所述生产者线程，用于实时扫描数据库，并判断优先级队列是否已满，若未满，则进行入队操作，从数据库中读取数据任务放入到所述优先级队列的队尾；如已满，则执行消费者线程流程；

所述消费者线程，用于根据所述优先级队列的实时情况，判断优先级队列是否已满，若已满，则进行出队操作，执行后续调取智能执行终端的过程；如未满，则进行入队操作即可；

系统服务器接收所有待处理的数据任务，并存入数据库；及把从数据库中读取若干条数据任务放入到待处理任务的优先级队列中；系统服务器根据各个智能执行终端的运行状态，调取对应空闲状态的智能执行终端执行所述优先级队列中的待处理任务，且所述智能执行终端把自身的实时运行状态通知所述系统服务器；在执行过程中，若遇到错误则将错误数据任务返回至所述优先级队的首位，等待被调取执行即可。

8.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的一种基于分布式多线程的大数据处理方法。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的一种基于分布式多线程的大数据处理方法。