[发明专利]一种大数据处理方法及系统

权利要求书

1.一种大数据处理方法，其特征在于：所述处理方法包括：

通过内存交换的方式从业务系统中采集数据，并将数据转换为标准格式的数据，实现数据标准化；

对数据依次进行数据清洗和过滤的加工处理后，通过边缘计算的方式进行数据融合处理；

对进行融合处理后的数据通过虚拟化存储的方式进行存储后封装成相应的数据服务给用户使用。

2.根据权利要求1所述的一种大数据处理方法，其特征在于：所述通过边缘计算的方式进行数据融合处理包括：

数据处理主节点将数据划分成多个数据块，将每个数据块中的数据传输到分布式数据节点网络中，每一个分布式数据分节点接收并处理一个数据块中的数据；

每个分布式数据分节点对接收到的数据进行分析处理后再通过分布式数据节点网络传输回数据处理主节点中。

3.根据权利要求1所述的一种大数据处理方法，其特征在于：所述对数据依次进行数据清洗和过滤的加工处理包括：

对数据清洗包括依次进行缺失值清洗、格式内容清洗、逻辑错误清洗、非需求清洗和关联性验证处理；

根据需求设置数据过滤条件，组成数据过滤网格，并对经过数据清洗后的数据通过数据过滤网格进行过滤。

4.根据权利要求1所述的一种大数据处理方法，其特征在于：所述数据服务包括数据接口服务和数据加载服务；

所述数据接口服务为通过响应设计引擎根据设计需要服务的内容、参数和响应指令通过后台生成相应的代码后打包封装成相应的服务；

所述数据加载服务为获取用户的数据体系，将数据封装成符合用户体系的数据后将数据直接投放到用户的数据接收端或者数据使用端。

5.一种基于大数据处理方法的系统，其特征在于：它包括数据采集模块、数据处理模块、数据融合模块、存储模块和封装服务模块；

所述数据采集模块用于通过内存交换的方式从业务系统中采集数据；

所述数据处理模块用于将数据依次经过数据清洗和过滤的加工处理后进行格式标准化转换；

所述数据融合模块用于通过分布式数据节点网络对数据通过数据分节点进行边缘计算，最后再将计算后的数据汇集；

所述存储模块分为虚拟化存储和实地存储，虚拟化存储用于存储数据路径指向地址，实地存储用于存储数据本身；

所述封装服务模块用于将数据封装成接口服务形式和/或数据加载服务形式。

6.根据权利要求5所述的一种基于大数据处理方法的系统，其特征在于：所述数据处理模块包括数据清洗单元、数据过滤单元和标准化转换单元；

所述数据清洗单元用于依次进行缺失值清洗、格式内容清洗、逻辑错误清洗、非需求清洗和关联性验证处理；

所述数据过滤单元用于根据需求设置数据过滤条件，组成数据过滤网格，并对经过数据清洗后的数据通过数据过滤网格进行过滤；

所述标准化转换单元用于将通过所述数据清洗单元和数据过滤单元处理后的数据进行格式标准化转换。

7.根据权利要求5所述的一种基于大数据处理方法的系统，其特征在于：所述封装服务模块包括接口服务单元和数据加载服务单元；

所述接口服务单元通过响应设计引擎根据设计需要服务的内容、参数和响应指令通过后台生成相应的代码后打包封装成相应的服务；

所述数据加载服务单元通过获取用户的数据体系，将数据封装成符合用户体系的数据后将数据直接投放到用户的数据接收端或者数据使用端。