[发明专利]一种处理数据系统

说明书

【技术领域】

本发明涉及一种处理数据系统，特别涉及一种大规模数据处理方法。 

【背景技术】

超材料的设计与应用远超出一般材料，其复杂性和大规模数据的级别比一般材料高出几个数量级。如何快速地将超大规模的超材料单元结构的设计数据转化成工业标准的dxf或gerber文件，对超材料设计生产有着重大作用。 

由于超材料的加工制作涉及电路板加工技术，电路板生产制造行业在加工制造中使用最通用最广泛的电路板加工文件的格式包括dxf-Drawing Exchange File(图形交换文件)和gerber文件。dxf是Autodesk公司开发的用于AutoCAD与其它软件之间进行CAD数据交换的CAD数据文件格式，是一种基于矢量的ASCII文本格式，因此不同类型的计算机可通过交换dxf文件来达到交换图形的目的，由于dxf文件可读性好，用户可方便地对它进行修改，编程，达到从外部图形进行编辑，修改的目的。其作为基于CAD系统的加工信息文件而得到行业的广泛应用。gerber文件是一种国际标准的光绘格式文件，它包含RS-274-D和RS-274-X两种格式，它能够控制用于绘图的光束的状态，形状，粗细及在感光膜上具体的X，Y坐标感光，从而产生图像。 

目前，生成超大规模的dxf或gerber文件的方法是采用多线程技术。多线程技术是一种同时对多个任务进行控制的技术，可以同时进行多个转换任务，从而缩短转换设计数据所需时间。现有的采用多线程技术的转换方法正是将数据转换环节划分成多个子任务来完成，每个线程独立处理一个单元结构体，完成转换后将数据存入相应的数组，最后，再调用文件的IO函数将数组按dxf或gerber文件的标准写入一个文件。 

基于CPU(中央处理器，Central Processing Unit)的多线程虽然使得生成文件速度有一定提高，但对于CPU这种串行模拟并行的体系结构，要实现更大的加速是不太可能的，并行线程是由多个不同的CPU时间片模拟并执行的，不是真正意义上的并行执行，虽然多核处理器中可以做到真正的并行，但由于CPU核心数有限，加速效果相比多线程没有太多提高，从而限制了超材料设计的规模。这是由于CPU的特殊架构决定的。 

以往专注于3D图形处理的GPU(图形处理器，Graphic Processing Unit)，由于其在浮点运算、并行计算等通用计算方面，可以提供数十倍乃至于上百倍于CPU的性能而越来越受到通用计算与科学计算领域的重视。GPU加速的优势来自于GPU自身的硬件结构设计，如一定的并行性；高密集，高带宽的计算能力；同时减少GPU与CPU之间的数据通信。GPU计算的模式就是，在异构协同处理计算模型中将CPU与GPU结合起来加以利用。应用程序的串行部分在CPU上运行，而计算任务繁重的部分则由GPU来加速。从用户的角度来看，应用程序只是运行得更快了。因为应用程序利用了GPU的高性能来提升性能。 

根据图1以及图2所示，可以根据CPU与GPU(图形处理器，Graphic ProcessingUnit)的结构进行对比，GPU作为图形处理器，如图2所示，每一行结构中，第一列均为控制器和缓冲器，紧跟后面所有列为算术逻辑单元。可以得出GPU具有高度的并行性，相比CPU具有更多的算术逻辑单元，具有强大的单一运算能力。 

目前，如何利用计算机技术提高dxf和gerber文件的生成速度成了超材料设计生产环节中一个重要指标，对提高超材料设计效率有着至关重要的意义。 

【发明内容】

本发明针对现有技术只能对小规模数据量进行转化，无法做到对大规模数据量处理，提供一种可以进行大规模数据转化的方法。 

本发明提供一种数据处理方法，方法包括以下步骤： 

S1：在CPU端，获取待处理的超材料参数数据； 

S2：将超材料参数数据存入CPU端的固定内存； 

S3：在GPU端内存中声明超材料单元结构的指针，该指针映射到CPU端的固定内存； 

S4：CPU控制GPU内核函数使其调用指针，将多个超材料参数数据并行转换成相应的超材料单元结构。 

在本发明的优选实施方式中，还包括步骤S5：将S4中得到的超材料单元结构保存至实体数组。 

在本发明的优选实施方式中，还包括步骤S6：将实体数组输出至一个或多个标准文件中。 

在本发明的优选实施方式中，固定内存始终存在于物理内存中。