[发明专利]一种树状结构数据处理方法及系统

说明书

本发明提出一种树状结构数据处理方法及系统(System for TrEE structured Data,STEED),涉及数据处理技术领域，该系统支持读取文本数据，并将其解析为行式或者列式的二进制格式数据，其中在解析的过程中，动态生成语法树，存储半结构化数据的定义；存储行式或列式的所述二进制格式数据，其中实现对行式或列式的所述二进制格式数据相互转换，以及将所述二进制格式数据直接输出为文本格式的JSON数据；基于所述二进制格式数据，对半结构化数据进行查询操作。

技术领域

本发明涉及数据处理技术领域，特别涉及一种树状结构数据处理方法及系统(System for TrEE structured Data，STEED)。

背景技术

随着计算机网络和大数据处理技术的发展，传统关系型数据已经越来越不能满足网络和大数据环境下对数据定义和使用的要求，而以JSON和Protocol Buffers为代表的半结构化数据因为既能够充分的表达编程语言中对象(Object)的数据，同时还能够根据数据的格式变化对原有的数据格式进行修改和扩充，故而其在实际环境中被广泛的使用。

树状结构数据的定义：

T_value＝T_primitive|T_object|T_array

T_primitive＝string|number|boolean||null

Record＝T_object

如上所示，树状结构数据定义如下：

1.树状结构数据中的值可以是以下的3种：

object结构的数值；array结构的数值；原子类型的数值；

2.object结构的数值由花括号包括，内部由多个键值对(key value pair)对构成，键值对的个数可以是任意多个，但是要求不能有重复的key存在在object结构的对象中；

3.array结构的数据由方括号包括，内部由多个值(value)构成，值的个数可是任意多个，且可能会有重复的值出现；

4.原子类型的数据可以是字符串(string)，数值(number)，布尔值(boolean)和空(null)等；

5.如上2中所述的键值对中，键的取值只能是(string)类型的。

6.每一个树状结构的数据都是object结构的。

常见的数据的来源由以下几个方面：

1)数据资料(Data Feeds)

以twitter为代表的在网络中使用JSON格式对数据进行传输。用户及相关API程序可以通过监听相应的端口获得相应的数据更新。由于其数据内容丰富、结构相对复杂、数据来源比较稳定并且提供的数据量足够大，故本发明的实验和数据分析的过程中主要基于twitter数据集。如下，本发明分析了对twitter数据中的嵌套层次和重复域的个数进行了相应的分析。

2)在线数据服务(Online Data Service)

使用JSON格式的数据进行在线的数据服务。常见的类型为传输客户端的相应操作内容和返回对应的操作结果等。本发明研究了不同来源的在线数据服务的半结构化数据，例如雅虎(Yahoo)，新浪微博和IMDB等。通常用户可以使