[发明专利]一种多线程处理数据的方法及装置

权利要求书

1.一种多线程处理数据的方法，其特征在于，该方法包括：

对于当前采用多线程处理的数据组，当其中的任一数据处理结束时，从未处理的数据中选择一个数据，并添加到该数据组中；其中，一个线程处理一个数据；

估算在第一次处理该数据组中任一数据结束时，处理该数据组中的数据所消耗的资源总量，若所述资源总量满足预设条件，则开始处理该组数据；

其中，所述估算在第一次处理该数据组中任一数据结束时，处理该数据组中的数据所消耗的资源总量，包括：

在第一次处理该数据组中任一数据结束时，确定截止此时处理该组数据中每一数据所消耗的资源量；

对确定的截止此时处理该组数据中每一数据所消耗的资源量进行累加，得到资源总量；

其中，对于该组数据中的每一数据，确定截止此时处理该数据所消耗的资源量，包括：

获取预先设定的该数据对应的线程在处理该数据的过程中在时刻t所消耗的资源量达到的峰值M，以及处理该数据所需要消耗的时间T；其中，t小于或等于T，并且，在时刻t之前，该线程处理该数据所消耗的资源量与时间成正比；

利用该线程处理该数据所消耗的资源量与时间成正比的比例关系，以及所述t、M、T的值，确定截止此时处理该数据所消耗的资源量。

2.如权利要求1所述的方法，其特征在于，判断估算的所述资源总量是否满足预设条件的方法包括：

判断估算的所述资源总量是否大于预设的资源总量的最大值，如果是，则更新该组数据；否则，判断估算的所述资源总量是否小于预设的资源总量的最小值，如果是，则更新该组数据，否则，确定估算的所述资源总量满足预设条件。

3.如权利要求2所述的方法，其特征在于，该方法还包括：

当更新后的任意一组数据对应的估算出的资源总量均大于所述预设的资源总量的最大值时，若当前处理的数据组为首次组成的数据组时，则减少数据组中的数据个数，以及处理该组数据所需线程的个数，并重新估算在第一次处理该数据组中任一数据结束时，处理该数据组中的数据所消耗的资源总量，并判断该资源总量是否满足预设条件；或者，若当前处理的数据组不是首次组成的数据组，则当前处理数据结束的线程停止处理数据；

当更新后的任意一组数据对应的估算出的资源总量均小于所述预设的资源总量的最小值时，则从更新后的数据组中选择对应的估算出的资源总量最大的数据组进行数据处理。

4.如权利要求1所述的方法，其特征在于，在开始处理该组数据之后，当其中的任一数据处理结束时，重新从未处理的数据中选择一个数据，并添加到该数据组中，并估算在第一次处理该数据组中任一数据结束时，处理该数据组中的数据所消耗的资源总量，若所述资源总量满足预设条件，则重新开始处理该组数据。

5.一种多线程处理数据的装置，其特征在于，该装置包括：

选择单元，用于对于当前采用多线程处理的数据组，当其中的任一数据处理结束时，从未处理的数据中选择一个数据，并添加到该数据组中；其中，一个线程处理一个数据；

处理单元，用于估算在第一次处理该数据组中任一数据结束时，处理该数据组中的数据所消耗的资源总量，若所述资源总量满足预设条件，则开始处理该组数据；

其中，所述处理单元估算在第一次处理该数据组中任一数据结束时，处理该数据组中的数据所消耗的资源总量，具体用于：

在第一次处理该数据组中任一数据结束时，确定截止此时处理该组数据中每一数据所消耗的资源量；

对确定的截止此时处理该组数据中每一数据所消耗的资源量进行累加，得到资源总量；

其中，对于该组数据中的每一数据，所述处理单元在确定截止此时处理该数据所消耗的资源量时，具体用于：

获取预先设定的该数据对应的线程在处理该数据的过程中在时刻t所消耗的资源量达到的峰值M，以及处理该数据所需要消耗的时间T；其中，t小于或等于T，并且，在时刻t之前，该线程处理该数据所消耗的资源量与时间成正比；

利用该线程处理该数据所消耗的资源量与时间成正比的比例关系，以及所述t、M、T的值，确定截止此时处理该数据所消耗的资源量。