[发明专利]一种数据交换方法及平台

权利要求书

1.一种数据交换方法，其特征在于，包括：

根据目标数据库的存储格式对抽取的数据进行预处理，采用内存映射的方式，将经过预处理的数据映射到内存中的临时数据库；

采用多核多线程的方式，对所述临时数据库中的数据进行清洗和转换，将清洗和转换完成的数据存入内存中的临时目标数据库；

采用内存映射方式将内存中的临时数据库映射到目标数据库进行存储。

2.根据权利要求1所述的方法，其特征在于，在根据目标数据库的存储格式对抽取的数据进行预处理，采用内存映射的方式，将经过预处理的数据映射到内存中的临时数据库的步骤之前，还包括：

根据系统资源预先对数据交换方法设置可用的系统资源。

3.根据权利要求1所述的方法，其特征在于，所述根据目标数据库的存储格式对抽取的数据进行预处理的步骤之前，还包括：

从不同的数据源抽取不同格式的数据。

4.根据权利要求1所述的方法，其特征在于，所述根据目标数据库的存储格式对抽取的数据进行预处理，包括：

获取目标数据库的存储格式；

将抽取的数据根据目标数据的存储格式进行预处理，获取与目标数据库的存储格式相同的数据。

5.根据权利要求1所述的方法，其特征在于，对所述临时数据库中的数据进行清洗和转换，包括：

通过清洗去除临时数据库中的脏数据和不完整的数据；

对清洗后的数据，通过转换对临时数据库中的数据进行业务规则的计算和聚合。

6.一种数据交换平台，其特征在于，包括：

系统监控模块，用于对数据交换平台的运行进行监控；

系统管理模块，用于对数据交换平台的权限、配置进行管理；

数据操作模块，用于对抽取的数据进行预处理，将经过预处理的数据映射到内存中的临时数据库；采用多核多线程的方式，对所述临时数据库中的数据进行清洗和转换，将清洗和转换完成的数据存入内存中的临时目标数据库；

数据存储模块，用于采用内存映射方式将内存中的临时数据库加载至目标数据库进行存储；同时对已存储的数据进行管理和清理；

消息管理模块，用于发布订阅的服务；

服务集成模块，用于对数据交换平台提供的服务进行管理。

7.根据权利要求6所述的平台，其特征在于，所述系统监控模块，还包括：

通过日志存储数据交换平台的运行数据并提供查询服务；

为数据交换平台存储的数据提供报表统计功能。

8.根据权利要求6所述的平台，其特征在于，所述系统管理模块，还包括：

对用户定义的作业进行界面配置化的作业定义，分别对数转换作业和数据分发作业进行管理。

9.根据权利要求6所述的平台，其特征在于，所述数据操作模块，还包括：

对存入内存中的临时目标数据库中的数据进行压缩与加密。

10.根据权利要求6所述的平台，其特征在于，所述消息管理模块，用于发布订阅的服务，包括：

数据交换平台对存储的数据进行分类，在消息队列中建立适合的主题，将所述分类数据按照主题发送至数据订阅方。