[发明专利]一种数据处理方法和装置

说明书

本发明提供了一种数据处理方法和装置。该数据处理方法包括：接收数据分组；向数据分组指派相应代码，所述代码指定需要对数据分组执行的处理；以及根据所指派的代码，对数据分组执行处理。

技术领域

本发明涉及计算机数据处理领域，特别是计算机图像检测处理领域和计算机实时数据处理领域。

背景技术

在数据处理领域，特别是在图像数据处理领域，数据常以数据分组的形式进入数据处理装置。在一些特定领域，一个数据分组的处理不是以该数据分组到达数据处理装置的先后次序处理，而是以该数据分组和其他特定数据分组的关联性来决定该数据分组的处理时刻和处理流程。

例如，在Blecher等人的美国专利No.7,379,847中描述了使用任务管理进程(jobmanager)管理数据分组的处理时刻和处理流程。

在高速、实时、大数据量、多计算节点集群的应用场合，这种数据处理方式带来了许多挑战：数据分组之间的关联性迫使任务管理进程必须设计复杂的时序逻辑以处理数据分组之间复杂的时序关系；任务管理进程和计算节点之间基于消息的通讯机制又使管理这种时序关系更加复杂化；任务管理进程还需要优化计算节点和计算任务的分配。这些挑战都可能会造成数据处理系统整体效率的降低，或者发生互锁事件，导致系统的停滞。

图1是示出常规数据处理系统的示意图。在高速、实时、大容量基于图像的缺陷检测领域，数据处理系统100至少包括数据产生设备110和数据处理装置120。数据产生设备110可以是例如应用光学技术或电子束扫描技术对硅片进行检测的设备，其通常具备一个或更多个光学的或电子的传感器。任务书130为数据处理系统100规定了工件111上应该检测的区域112和检测算法。

由基于光学的或电子束的数据产生设备110产生数据分组(即图像数据)，并经由数据链路140传入数据处理装置120。数据处理装置120通常是多个计算节点121组成的集群式计算机系统。

根据任务书130的要求，数据产生设备110扫描工件111上某特定区域而产生的图像数据I_a送入数据处理装置120后，需与工件上另一特定区域的图像数据I_b进行比较，以进行缺陷检测。而数据产生设备，为保证其工作效率，并不保证顺序地产生图像数据I_a和图像数据I_b，而是有可能在扫描I_a之后，扫描多个其它图像以后再来扫描I_b。这种图像产生时序和图像处理时序的不同，对图像处理装置提出了协调两个时序的要求。

现行的解决方法是用任务管理进程来协调这两个不同的时序。

在高速、大数据量、并有实时性要求的应用场合，编写一个好的、优化的任务管理进程的是十分复杂的任务，很难在一个较宽数据量、计算节点数的范围内达到最好的效果。

发明内容

本发明的目的至少部分地在于提供一种高效的数据处理方法和装置。

根据本发明的第一方案，提供了一种数据处理方法，包括：接收数据分组；向数据分组指派相应代码，所述代码指定了需要对数据分组执行的处理；以及根据所指派的代码，对数据分组执行处理。

优选地，将指派了代码的、待处理的数据分组存入数据池。

优选地，如果数据分组的代码指定对该数据分组的单独处理，则直接对该数据分组进行处理。

优选地，如果数据分组的代码指定对该数据分组以及一个或更多个其他数据分组进行共同处理，则等待所述一个或更多个其他数据分组到达数据池，然后一并处理。

优选地，代码指定要对数据分组执行的处理序列以及各处理步骤所涉及的相关数据分组。

优选地，数据分组由数据产生装置根据任务书产生；代码是根据任务书来编写。