[发明专利]一种基于分布式多线程的大数据处理方法及系统

说明书

本发明公开了一种基于分布式多线程的大数据处理方法及系统，包括系统服务器和若干智能执行终端，所述系统服务器包括数据库、优先级队列、生产者线程和消费者线程；该方法包括：S1：系统服务器接收所有待处理的数据任务，并存入数据库；及把从数据库中读取若干条数据任务放入到待处理任务的优先级队列中；S2：系统服务器根据各个智能执行终端的运行状态，调取对应空闲状态的智能执行终端执行所述优先级队列中的待处理任务，且所述智能执行终端把自身的实时运行状态通知所述系统服务器；在执行过程中，若遇到错误则将错误数据任务返回至所述优先级队的首位，等待被调取执行即可。本发明提高了机器的复用率、降低机器的返工率。

技术领域

本发明涉及计算机技术领域，具体涉及一种基于分布式多线程的大数据处理方法及系统。

背景技术

以往对大数据的处理，为了提高效率，节省时间，采用的是多台机器同时运行处理，需要将数据均等分为机器的份数，每台机器独自处理分配的数据，这样完全性的机器叠加机制对机器的需求量随着数据的增加成倍数的增加，且对机器的复用率很低，容易造成不必要的成本浪费，同时每台机器在处理数据过程如遇到错误就会直接影响到这台机器对应的数据处理的稳定性以及准确性，从而影响整个数据处理的准确性。尤其，在多个智能供应链执行终端与系统服务器之间的数据交互与处理存在以下弊端：

(1)机器需求量大：机器和数据量是倍数的关系，数据量增大，机器就需要成倍数的增加。(2)机器复用率低：数据处理之前根据数据的数量和机器的数量对数据进行均等分组，每台机器按照相同逻辑处理分配给自己的数据，根据分配的数据类型和大小的不同，虽然数据量相同，但每台机器处理的时间各不相同，数据相对简单的机器处理时间较短，处理完成后被搁置，整个任务要等到最后一台机器完成，中间提前完成数据处理的机器只能等待，这样机器的复用率就很低。(3)任务返工率高：一次数据处理任务往往是将所有处理完成才能达到预期处理结果。数据越大，机器越多，处理任务的错误率就会高，一旦出错就将单台任务返工甚至整个任务返工，如此循环，数据出来的效率会大大降低。(4)复杂逻辑的数据处理适用性不强：对于复杂逻辑的数据处理，同一份数据处理的全部逻辑在一台机器上不能全部实现，要通过多台协作进行，这样传统的一条线的数据处理方式就不是很适用。

发明内容

本发明所要解决的技术问题是现有的针对供应链系统大数据处理的方法存在机器需求量大、机器复用率低、任务返工率高和复杂逻辑的数据处理适用性不强等问题。本发明目的在于提供一种基于分布式多线程的大数据处理方法及系统，实现复杂逻辑数据的处理，提升处理机器的复用率，降低处理任务的整体返工率，提升数据处理效率，降低数据处理成本。

本发明通过下述技术方案实现：

第一方面，本发明提供了一种基于分布式多线程的大数据处理方法，包括系统服务器和若干智能执行终端，所述系统服务器包括数据库、优先级队列、生产者线程和消费者线程；该方法包括以下步骤：

S1：系统服务器接收所有待处理的数据任务，并存入数据库；及把从数据库中读取若干条数据任务放入到待处理任务的优先级队列中，等待处理机器来获取进行处理；

S2：系统服务器根据各个智能执行终端的运行状态，调取对应空闲状态的智能执行终端执行所述优先级队列中的待处理任务，且所述智能执行终端把自身的实时运行状态通知所述系统服务器；在执行过程中，若遇到错误则将错误数据任务返回至所述优先级队的首位，等待被调取执行即可。

进一步地，步骤S1具体包括以下步骤：

S11：系统服务器接收所有待处理的数据任务，并存入数据库；

S12：生产者线程实时扫描数据库，并判断优先级队列是否已满，若未满，则进行入队操作，从数据库中读取数据任务放入到所述优先级队列的队尾；如已满，则执行步骤S13；

S13：消费者线程根据所述优先级队列的实时情况，判断优先级队列是否已满，若已满，则进行出队操作，执行步骤S2；如未满，则进行入队操作即可。