[发明专利]一种序列化文件解析装置及方法

说明书

技术领域

本发明属于文档数据处理技术领域，具体是一种序列化文件解析装置及方法。

背景技术

序列化文件是一种结构化的文本标签语言，主要有标签、标签值、属性、属性值、特殊处理指令、注释等构成，由于其开放性，可扩展性，语言严格等优势，目前已经广泛用于各种数据存储和数据通信领域。

序列化文件在信息世界的各个领域中发挥了越来越重要的作用，在未来的发展中将超过所有其他同种类的信息流，占据主导地位。序列化文件是以纯文本对数据进行编码的一种格式化文档，若想通过应用程序利用序列化文件，对序列化文件中的元素、属性及内容作进一步的操作，必须将所包含的结构化数据从纯文本文件中解析出来。因此，对序列化文件进行有效解析将是序列化文件应用的关键。根据解析方式的不同，可分为软件解析和硬件解析。软件解析可利用的模型有DOM、SAX/STAX等。硬件解析可利用的模型有VTD等。

软件解析对处理器的性能和内存的要求非常高，并且会占用系统大量资源，不易于开发人员的维护，可操作性差，速度慢，效率低，难以实现快速有效的解析，造成数据传输交换过慢，信息传播停滞。同时要处理大型序列化文件并对其进行复杂的查询、删除、增加等操作时，软件解析会导致遍历性能差、系统性能迅速下降等问题。由于软件解析存在瓶颈，硬件解析成为当前研究的热点之一。硬件解析，是利用专有硬件来对序列化文件进行解析。而随着芯片技术的提高，使得硬件解析成为可能。

发明内容

针对现有技术存在的问题，本发明提供一种序列化文件解析装置及方法。

本发明的技术方案是：

一种序列化文件解析装置，包括FPGA、PCI-E电路、加密电路、DDR2电路和电源电路；

所述PCI-E电路、加密电路和DDR2电路均与FPGA相连，PCI-E电路与计算机的PCI-E接口连接，电源电路分别连接FPGA、加密电路和DDR2电路。

所述FPGA用于将接收到的序列化文件分解成文件块并采用VTD模型进行解析得到序列化文件解析结果。

所述电源电路通过PCI-E接口从计算机获取供电。

所述电源电路用于为FPGA、加密电路和DDR2电路供电。

所述加密电路用于对FPGA中的数据进行加密操作。

采用所述的序列化文件解析装置的进行序列化文件解析的方法，包括如下步骤：

步骤1：计算机采用多线程池技术存储多个序列化文件，即将多个序列化文件存至线程池；

步骤2：计算机采用多线程并发传输方式，通过PCI-E接口将多个序列化文件传输至序列化文件解析装置；

步骤3：FPGA设置一段缓冲区，存储计算机传输的序列化文件；

步骤4：根据各序列化文件的大小及其解析优先级，定义解析属性；

所述解析属性是用于决定序列化文件解析顺序的属性值；

步骤5：FPGA根据定义的解析属性确定各序列化文件的解析顺序，并根据解析顺序将缓冲区的序列化文件进行排序；

步骤6：采用VTD模型同时解析缓冲区中的各个序列化文件，得到每个序列化文件的解析结果；

步骤6.1：根据序列化文件的大小或长度，将每一个序列化文件分解成若干文件块；

步骤6.2：对各序列化文件的所分解成的文件块建立VTD模型，对文件块进行解析，得到每个序列化文件的各个文件块的VTD记录，即每个序列化文件的各个文件块的解析结果；

步骤6.3：将各个文件块的VTD记录合并得到相应的序列化文件的VTD记录，即得到各序列化文件的解析结果；

步骤7：可以根据各序列化文件的解析结果对相应的序列化文件中的内容进行查看和XPath查询。

所述步骤6.2对各序列化文件的所分解成的文件块建立VTD模型，对文件块进行解析，得到每个序列化文件的各个文件块的VTD记录，具体步骤如下：

步骤6.2.1：将各序列化文件的文件块以二进制的方式读进内存；

步骤6.2.2：FPGA对内存中的文件块建立VTD模型，执行解析操作；

步骤6.2.3：FPGA对各序列化文件的文件块进行解析，得到各文件块的VTD记录，包括深度、索引、块内VTD索引和首个子元素LC索引；

步骤6.2.4：保存解析得到的各文件块的VTD记录，该VTD记录即为文件块的解析结果。

有益效果：