[发明专利]自定义的可序列化的数据结构、hadoop集群、服务器及其应用方法

权利要求书

1.一种自定义的可序列化的数据结构存储装置，其特征在于，包括数据内容与标记值类、标志值结构类、数据映射关系类，数据内容与标记值类、标志值结构类、数据映射关系类都使用Java语言实现，在数据的前端设置有数据源的标记内容；

所述数据内容与标记值类用于解析数据标记值和数据内容；

所述标志值结构类用于标记内容的读取、识别、写入，通过扫描xml格式的文件，加载一份对应的标记值，存储在内存中，后使用该标志值结构类的标记数据，用作数据识别；

所述数据映射关系类用于储存和加载数据标记内容与不同数据的源的映射关系，以及数据标记内容与对应的Protobuf编译之后的类的映射关系。

2.根据权利要求1所述的自定义的可序列化的数据结构存储装置，其特征在于，所述数据结构是基于Hadoop平台的Writable接口，可存储于Hadoop平台中、直接用于Hadoop平台上的数据读写的数据结构。

3.根据权利要求2所述的自定义的可序列化的数据结构存储装置，其特征在于，所述数据结构使用Protobuf语言定义数据结构。

4.根据权利要求1所述的自定义的可序列化的数据结构存储装置，其特征在于，所述数据结构的加载方法包括以下步骤：

(1)数据映射关系类初始化：建立一套从proto文件编译之后的数据字段类，并建立到数据标记内容的映射；

(2)加载数据：从读取的字节数据中，得到字节数据的数据标记内容，所述数据标记内容为所述字节数据的前端特定字节的内容，通过该标记内容，在数据映射关系类中找到其数据加载的类，通过查找后的数据加载的类，把所述字节数据中除去所述数据标记内容的剩下字节使用查到的数据加载类来加载成对应的数据类，最后返回一个Protobuf数据的子类。

5.根据权利要求1所述的自定义的可序列化的数据结构存储装置，其特征在于，在数据读取时，将数据转化为Json格式或Base64格式的数据进行读取。

6.根据权利要求1所述的自定义的可序列化的数据结构存储装置，其特征在于，还包括:

Protobuf反序列化类，用来指定Hive的反序列化类；

Protobuf结构对象分解读取类，用于表示每一次Hive在读取数据的过程中使用的分解读取类。

7.一种hadoop集群系统，其特征在于，包括如权利要求1～6中任意一项所述的自定义的可序列化的数据结构存储装置，所述自定义的可序列化的数据结构包括数据内容与标记值类、标志值结构类、数据映射关系类，数据内容与标记值类、标志值结构类、数据映射关系类都使用Java语言实现，在数据的前端设置有数据源的标记内容。

8.一种服务器，其特征在于，包括如权利要求7所述的hadoop集群系统，所述hadoop集群包括所述自定义的可序列化的数据结构，所述自定义的可序列化的数据结构包括数据内容与标记值类、标志值结构类、数据映射关系类，数据内容与标记值类、标志值结构类、数据映射关系类都使用Java语言实现，在数据的前端设置有数据源的标记内容。