[发明专利]数据处理方法和装置

说明书

本申请提供数据处理方法和装置。该方法包括：针对多维度处理中的各维度处理，分别判断维度标识数量与预定线程数量之差的绝对值是否小于等于预定阈值；当判定维度标识数量与预定线程数量之差的绝对值小于等于预定阈值时，将各维度标识对应的处理都分别分配到预定数量的线程中的多个线程上执行，使得同一维度标识对应的处理在多个线程上并行完成。进一步地，当判定维度标识数量与预定线程数量之差的绝对值大于预定阈值时，将各维度标识对应的处理分别分配到预定数量的线程中的对应单一线程上执行，使得同一维度标识对应的处理在同一线程上完成。由此，能够使事件流数据的各并发处理尽可能同时完成，从而提高整个实时处理的效率，方便用户的使用。

技术领域

本申请涉及互联网领域，更具体地涉及一种用于事件流数据的多维度处理中的数据处理方法和装置。

背景技术

随着互联网的迅猛发展，网上数据交互越来越普遍，当前已经成为人们生活中的主要数据交互方式。

在网上数据交互的过程中，出于对网上海量的交互数据进行高效实时处理的需要，一般会利用事件流技术处理海量的交互数据。所谓事件流是指，同一数据源在不同时刻发生的同类事件构成时间上严格有序的流。即，将同类数据形成多个事件，当多个事件按一定顺序触发，就形成了事件流。针对事件流数据，可以执行在多个维度上的统计处理。

例如，针对网上业务交互过程中实时产生的物流订单事件的事件流数据，可以根据需要从诸如快递维度、卖家维度、买家维度等多个维度来对其进行统计处理。具体地，在每个维度上可以针对多个维度标识来分别进行统计。例如，可以统计不同快递在当日内配送的物流订单量以及不同物流订单状态下的统计量等快递维度上的信息，即不同快递ID（快递标识）下的这些信息。也可以统计不同卖家在当日内产生的物流订单量等卖家维度上的信息，即不同卖家ID（卖家标识）下的这些信息。也可以统计不同买家在当日内产生的物流订单量等买家维度上的信息，即不同买家ID（买家标识）下的这些信息。

针对实时产生的一个物流订单事件对应的事件流数据，通常需要同时执行上述多个维度上的处理。该多个维度上的处理因而通常被称为并发处理。当针对该事件流数据的所有并发处理都完成时，才认为对该事件流数据的处理完成，进而才可以继续针对下一事件流数据即下一物流订单事件执行类似处理。

然而，在一些并发处理中涉及的维度标识数量可能相差悬殊，例如快递通常只有十几个，而卖家和买家通常是上百万，因而在快递维度处理上的快递标识数量的数量级在十几个，而卖家或买家维度处理上的卖家或买家标识数量的数量级在百万级。根据现有工作机制，假设分配给每个并发处理的线程数量为128，则每个订单事件会分别按照卖家标识%（取模运算）128和快递标识%128的方式被统计处理，也就是，遵循的原则是将同一维度标识的处理分配到同一线程上处理。因此，由于卖家和买家标识数量在百万级，卖家和买家维度的统计处理会均匀分配到128个线程上处理，而快递标识数量只有十几个，所以快递维度的统计处理虽然被分配了128个线程，但实际使用中只用了十几个线程处理。因此，快递维度上的处理存在大量的空置线程，资源浪费。

尽管可以根据各并发处理的需要来分配不同数量的线程，以使得各维度上的处理不会出现空闲线程，但作为同一事件流数据的并发处理，由于快递维度上的处理只能在十几个线程上处理，相对于卖家或买家维度上的处理而言处理时间很长，因此，并发处理的处理时间相差悬殊，线程数少的处理会拖累整个实时统计处理的效率，从而也给整个实时处理带来无形的瓶颈。

因此，需求一种改进的数据处理方案来克服现有技术中的上述问题。

发明内容

本申请的目的就在于，提供一种改进的数据处理技术，来解决上述并发处理实际使用的线程数量不同导致的整个实时处理效率不高的问题。