[发明专利]基于云计算的大数据分布式处理方法及系统

权利要求书

1.一种基于云计算的大数据分布式处理方法，其特征在于，其包括如下步骤：

S1、接收输入文件，根据输入文件大小进行输入分片，将各个输入分片分配一个映射任务，输入分片存储分片长度以及记录数据的位置的数组；

S2、通过预先编写的映射函数在数据存储节点上进行映射得到中间文件；

S3、合并中间文件中的重复键值，以降低映射输出文件冗余；并对合并后的键值进行序列化得到映射缓存文件；自动获取各个计算节点的计算负载值，根据计算节点的计算负载值将各个映射缓存文件分配到各个计算节点中；

S4、在内存中开辟环形内存缓冲区，环形内存缓冲区用于映射输出文件输出；在环形内存缓冲区中创建配置文件，在配置文件中配置内存缓冲区的内存占用阈值；在环形内存缓冲区中内存占用大于或等于占用阈值时，保护线程暂停将数据写入内存，并在内存中写入溢出文件，溢出文件确定写入磁盘的文件，并将环形内存缓冲区的文件写入磁盘直至所有的映射输出文件输出完毕；

S5、将所有的映射输出文件并存储到分布式文件存储系统上。

2.如权利要求1所述的基于云计算的大数据分布式处理方法，其特征在于，所述步骤S1中对输入文件大小进行输入分片包括：

建立关联关系表，将输入文件拆分为位置关系值、活动关系值、结构关系值、功能关系值、功能关系值、行为关系值以及其他关系值，并将各个输入文件的各个关系值的对应关系写入关联关系表中；

将各个关系值对应的数据划入输入分片中。

3.如权利要求2所述的基于云计算的大数据分布式处理方法，其特征在于，所述步骤S2包括：

通过预先编写的映射函数将输入分片按照映射任务进行映射，所述映射包括按照预先设置的数据格式将输入分片内容进行列表对齐，判断位置关系值、活动关系值、结构关系值、功能关系值、功能关系值、行为关系值以及其他关系值是否存在，如果各个关系值存在则直接保留，如果不存在某一项或某几项关系值，则缺失的关系值为空；各个关系的排列顺序均保持一致。

4.如权利要求3所述的基于云计算的大数据分布式处理方法，其特征在于，

所述步骤S5包括：

从关联关系表中查询各个映射输出文件对应的所有索引信息，将各个映射输出文件的每个对应一个段数据插入到段列表中；记录段数据的位置关系值、活动关系值、结构关系值、功能关系值、功能关系值、行为关系值以及其他关系值。

5.如权利要求3所述的基于云计算的大数据分布式处理方法，其特征在于，

所述步骤S2中对通过预先编写的映射函数将输入分片按照映射任务进行映射还包括根据关联关系表判断输入分片是否存在逻辑错误，如存在则丢弃该输入分片。

6.一种基于云计算的大数据分布式处理系统，其特征在于，其包括如下单元：

拆分单元，用于接收输入文件，根据输入文件大小进行输入分片，将各个输入分片分配一个映射任务，输入分片存储分片长度以及记录数据的位置的数组；

映射单元，用于通过预先编写的映射函数在数据存储节点上进行映射得到中间文件；

计算单元，用于合并中间文件中的重复键值，以降低映射输出文件冗余；并对合并后的键值进行序列化得到映射缓存文件；自动获取各个计算节点的计算负载值，根据计算节点的计算负载值将各个映射缓存文件分配到各个计算节点中；

输出单元，用于在内存中开辟环形内存缓冲区，环形内存缓冲区用于映射输出文件输出；在环形内存缓冲区中创建配置文件，在配置文件中配置内存缓冲区的内存占用阈值；在环形内存缓冲区中内存占用大于或等于占用阈值时，保护线程暂停将数据写入内存，并在内存中写入溢出文件，溢出文件确定写入磁盘的文件，并将环形内存缓冲区的文件写入磁盘直至所有的映射输出文件输出完毕；

合并存储单元，用于将所有的映射输出文件并存储到分布式文件存储系统上。