[发明专利]一种离线数据的采集方法、装置、设备及存储介质

权利要求书

1.一种离线数据的采集方法，其特征在于，包括：

将离线数据进行拆分获得多份离线数据组，其中，每一份所述离线数据组小于第一预设容量；

将每一份所述离线数据组进行类型转换获得转换后的离线数据组，其中，所述转换后的离线数据组符合目标数据库的存储类型要求；

将每一份所述转换后的离线数据组进行合并获得采集数据；

其中，每一份所述离线数据组中的数据类型相同；

所述将离线数据进行拆分获得多份离线数据组之前，还包括：

确定所述离线数据大于第二预设容量，其中，所述第二预设容量大于所述第一预设容量；

将所述离线数据进行拦截；

所述将每一份所述离线数据组进行类型转换获得转换后的离线数据组，包括：

获取数据库配置列表，其中，所述数据库配置列表中包含每份所述离线数据组所对应的转换方式；

根据所述数据库配置列表将每一份所述离线数据组进行类型转换获得所述转换后的离线数据组；

所述获取数据库配置列表之前，还包括：

采用清洗工具将每一份所述离线数据组进行清洗；

所述根据所述数据库配置列表将每一份所述离线数据组进行类型转换获得所述转换后的离线数据组，具体包括：

根据所述数据库配置列表将每一份清洗后的所述离线数据组进行类型转换获得所述转换后的离线数据组。

2.根据权利要求1所述的方法，其特征在于，所述将每一份所述转换后的离线数据组进行合并获得采集数据之后，还包括：

对所述采集数据进行质量检测；

在确定所述采集数据符合所述目标数据库的标准时，将所述采集数据加载到所述目标数据库中。

3.根据权利要求2所述的方法，其特征在于，所述将所述采集数据加载到所述目标数据库中之后，还包括：

根据所述目标数据库的数据加载结果对日志表进行更新，其中，所述日志表用于实时记录所述目标数据库的数据变化。

4.一种离线数据的采集装置，其特征在于，包括：

离线数据组获得模块，用于将离线数据进行拆分获得多份离线数据组，其中，每一份所述离线数据组小于第一预设容量；

离线数据组转换模块，用于将每一份所述离线数据组进行类型转换获得转换后的离线数据组，其中，所述转换后的离线数据组符合目标数据库的存储类型要求；

采集数据获取模块，用于将每一份所述转换后的离线数据组进行合并获得采集数据；

每一份所述离线数据组中的数据类型相同；

所述将离线数据进行拆分获得多份离线数据组之前，还包括：

确定所述离线数据大于第二预设容量，其中，所述第二预设容量大于所述第一预设容量；

将所述离线数据进行拦截；

所述将每一份所述离线数据组进行类型转换获得转换后的离线数据组，包括：

获取数据库配置列表，其中，所述数据库配置列表中包含每份所述离线数据组所对应的转换方式；

根据所述数据库配置列表将每一份所述离线数据组进行类型转换获得所述转换后的离线数据组；

所述获取数据库配置列表之前，还包括：

采用清洗工具将每一份所述离线数据组进行清洗；

所述根据所述数据库配置列表将每一份所述离线数据组进行类型转换获得所述转换后的离线数据组，具体包括：

根据所述数据库配置列表将每一份清洗后的所述离线数据组进行类型转换获得所述转换后的离线数据组。

5.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一所述的方法。

6.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的方法。