[发明专利]用于半结构化数据的可扩展分析平台

权利要求书

1.一种数据变换系统，其包括：

模式推断模块，所述模式推断模块被配置为：

动态地创建用于从第一数据源检索到的对象的累积模式，其中：

所述检索到的对象中的每一个包括(i)数据和(ii)描述所述数据的元数据，并且

动态地创建所述累积模式包括，针对所述检索到的对象中的每个对象，(i)从所述对象推断模式以及(ii)选择性地更新所述累积模式以便根据推断出的模式来描述所述对象；以及

收集关于所述检索到的对象的数据类型的统计信息；以及

基于关于数据类型的统计信息，确定检索到的对象的数据是否被正确地定类型；

导出模块，所述导出模块被配置用于根据所述累积模式将所述检索到的对象的所述数据输出到数据目的地系统。

2.如权利要求1所述的数据变换系统，其中所述数据目的地系统包括数据仓库。

3.如权利要求2所述的数据变换系统，其中所述数据仓库存储关系数据。

4.如权利要求3所述的数据变换系统，其中所述导出模块被配置用于将所述累积模式转换成关系模式并且根据所述关系模式将所述检索到的对象的所述数据输出到所述数据仓库。

5.如权利要求4所述的数据变换系统，其中所述导出模块被配置用于产生用于所述数据仓库的命令，所述命令更新所述数据仓库的模式以反映对所述关系模式做出的任何改变。

6.如权利要求4所述的数据变换系统，其中所述导出模块被配置用于根据所述关系模式从所述检索到的对象的所述数据创建至少一个中间文件，其中所述至少一个中间文件具有预定义的数据仓库格式。

7.如权利要求6所述的数据变换系统，其中导出模块被配置用于将所述至少一个中间文件批量加载到所述数据仓库中。

8.如权利要求1所述的数据变换系统，其还包括被配置用于以列式形式存储来自所述检索到的对象的所述数据的索引存储区。

9.如权利要求8所述的数据变换系统，其中所述导出模块被配置用于从所述索引存储区中的存储的所述数据生成基于行的数据。

10.如权利要求8所述的数据变换系统，其中所述模式推断模块被配置用于在所述索引存储区中创建时间索引，所述时间索引将时间值映射到所述检索到的对象的标识符。

11.如权利要求10所述的数据变换系统，其中针对所述检索到的对象中的每个检索到的对象，所述时间值指示(i)对应于所述检索到的对象的创建的事务时间或(ii)对应于所述检索到的对象的有效时间中的至少一个。

12.如权利要求8所述的数据变换系统，其还包括写入优化存储区，所述写入优化存储区被配置用于(i)高速缓存用于稍后存储在所述索引存储区中的附加对象并且(ii)响应于所述高速缓存的大小达到阈值，将所述附加对象封装在一起用于批量加载到所述索引存储区中。

13.如权利要求1所述的数据变换系统，其中所述模式推断模块被配置用于收集关于所述检索到的对象的所述元数据的统计信息。

14.如权利要求13所述的数据变换系统，其中所述模式推断模块被配置用于收集关于所述检索到的对象的数据类型的统计信息。

15.如权利要求14所述的数据变换系统，其中所述模式推断模块被配置用于响应于关于数据类型的所述统计信息，改写所述检索到的对象中的一些的所述数据。

16.如权利要求14所述的数据变换系统，其中所述模式推断模块被配置用于响应于关于数据类型的所述统计信息，将所述检索到的对象中的一些对象的所述数据作为可能未正确定类型来报告给用户。