[发明专利]一种多线程处理数据的方法及装置

摘要

本发明提供一种多线程处理数据的方法及装置，用以实现多个线程同时对大量数据进行处理，合理利用线程的资源，减少线程的资源消耗，提高系统处理数据的效率。本发明方法包括对于当前采用多线程处理的数据组，当其中的任一数据处理结束时，从未处理的数据中选择一个数据，并添加到该数据组中；其中，一个线程处理一个数据；估算在第一次处理该数据组中任一数据结束时，处理该数据组中的数据所消耗的资源总量，若所述资源总量满足预设条件，则开始处理该组数据。

主权项

一种多线程处理数据的方法，其特征在于，该方法包括：对于当前采用多线程处理的数据组，当其中的任一数据处理结束时，从未处理的数据中选择一个数据，并添加到该数据组中；其中，一个线程处理一个数据；估算在第一次处理该数据组中任一数据结束时，处理该数据组中的数据所消耗的资源总量，若所述资源总量满足预设条件，则开始处理该组数据；其中，所述估算在第一次处理该数据组中任一数据结束时，处理该数据组中的数据所消耗的资源总量，包括：在第一次处理该数据组中任一数据结束时，确定截止此时处理该组数据中每一数据所消耗的资源量；对确定的截止此时处理该组数据中每一数据所消耗的资源量进行累加，得到资源总量；其中，对于该组数据中的每一数据，确定截止此时处理该数据所消耗的资源量，包括：获取预先设定的该数据对应的线程在处理该数据的过程中在时刻t所消耗的资源量达到的峰值M，以及处理该数据所需要消耗的时间T；其中，t小于或等于T，并且，在时刻t之前，该线程处理该数据所消耗的资源量与时间成正比；利用该线程处理该数据所消耗的资源量与时间成正比的比例关系，以及所述t、M、T的值，确定截止此时处理该数据所消耗的资源量。