[发明专利]一种分布式处理数据的系统及方法

权利要求书

1.一种分布式处理数据的系统，其特征在于，该系统包含：

数据获取模块，根据预设的抽取条件，从分布的数据源中抽取获得第一数据，根据预设的清洗转换规则，对第一数据进行数据清洗和转换，将数据清洗和转换后的第一数据装载到表格中，并加载到数据仓库模块；

数据仓库模块，按照预设的分表规则，对表格进行拆分，从拆分后的表格中提取第一数据，获得表格数据和第一数据，保存表格数据，按照预设的分区规则，对第一数据进行分类，并保存在相应的分区中；

数据访问模块，根据输入的指令，从数据仓库模块中读取表格数据和第一数据，将第一数据装载到表格数据对应的表格中，并输出包含第一数据的表格。

2.根据权利要求1所述的系统，其特征在于，所述数据获取模块包含：

数据抽取单元，根据预设的抽取条件，从分布的数据源中抽取获得第一数据，并输出至数据处理单元；

数据处理单元，根据预设的清洗转换规则，对第一数据进行数据清洗和转换，并输出至数据装载单元；

数据装载单元，对第一数据进行整理，将第一数据装载到表格中，加载包含第一数据的表格至数据仓库模块。

3.根据权利要求1所述的系统，其特征在于，所述数据仓库模块包含：

管理节点，根据外部输入的指令，启动或关闭SQL节点和数据节点，管理配置文件和日志文件，将数据节点上报的关键信息写入日志文件；

至少一个SQL节点，每一个SQL节点根据其保存的表格数据，与保存在表格中的第一数据的数据节点建立一对一的连接关系，SQL节点按照预设的分表规则，对表格进行拆分，从拆分后的表格中提取第一数据，获得表格数据和第一数据，输出第一数据至数据节点，保存拆分后的表格数据；

至少一个数据节点，从管理节点获取配置文件，检索获得配置数据，完成节点的配置，按照预设的分区规则，对第一数据进行分类并保存在相应的分区中。

4.根据权利要求3所述的系统，其特征在于，所述SQL节点还为表格数据建立与其对应的表索引，还为每一个拆分后的表格保存用以存放表结构的第一文件、用以存放表数据的第二文件及用以存表索引的第三文件。

5.根据权利要求3或4所述的系统，其特征在于，预设的分表规则为垂直分表规则或水平分表规则；

所述垂直分表规则为将一个(N1+N2)个字段的表Tab拆分成N1字段的第一子表Tab1和(N2+1)字段的第二子表Tab2；所述第二子表Tab2记载有与第一子表Tab2间的关联关系的主键信息；

所述水平分表规则为将表格中的第一数据按照预设的哈希Hash算法进行计算，根据计算结果对表格进行拆分。

6.根据权利要求3或4所述的系统，其特征在于，所述预设的分区规则为按范围分区、按列表list分区、按哈希HASH分区或按关键词KEY分区；

所述按范围分区为以字段中记载的数据为基础，将设定的连续数值范围作为与分区对应的分区文件中的数据的选择条件；

所述按列表list分区为以字段中记载的数据为基础，将设定的属性值作为与分区对应的分区文件中的数据的选择条件；

所述按哈希HASH分区为根据预设的分区数量对字段记载的数据进行哈希计算，将哈希计算结果作为与分区对应的分区文件中的数据的选择条件；

所述按关键词KEY分区为根据预设的表达式对字段记载的数据进行计算，将计算结果作为与分区对应的分区文件中的数据的选择条件。

7.根据权利要求4所述的系统，其特征在于，所述数据访问模块包含：

数据检索单元，根据输入的指令，从SQL节点中查找第三文件包含的表索引，获得第一文件及第二文件，将第一文件及第二文件输出至表格生成单元，读取与SQL节点建立连接关系的数据节点中保存的第一数据，并输出至表格生成单元；

表格生成单元，根据第一文件和第二文件，生成表格，将第一数据填入表格中并输出。