[发明专利]一种离线数据的采集方法、装置、设备及存储介质

说明书

本发明实施例公开了一种离线数据的采集方法、装置、设备及存储介质。方法包括：将离线数据进行拆分获得多份离线数据组，其中，每一份离线数据组小于第一预设容量；将每一份离线数据组进行类型转换获得转换后的离线数据组，其中，转换后的离线数据组符合目标数据库的存储类型要求；将每一份转换后的离线数据组进行合并获得采集数据。本实施方式中通过将大容量离线数据进行拆分处理，可以减轻数据的处理压力，避免了由于处理的数据量太大而造成的系统崩溃，并且对拆分的每一份离线数据组转换成符合目标数据库存储类型要求的数据，而无需开发人员重复编码进行转换，减少了人力消耗，从而满足了用户对离线数据采集的需求。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种离线数据的采集方法、装置、设备及存储介质。

背景技术

目前行业积累了大量数据，数据的容量、种类和变化都在急剧增加，并且在进行数据处理时，为了提高数据处理的速度通常采用批处理方式进行处理。

发明人发现现有技术中至少存在如下问题：现有获取的技术中所采用的批处理方式通常由于数据量太大而造成系统崩溃，另外所获取的离线数据的数据格式还会存在不符合实际数据库的存储类型，还需要人工对获取的数据通过编译转换成与实际数据库匹配的数据类型，因此现有的离线数据采集方式不仅存在系统崩溃的风险还需要耗费大量的人力，从而不能满足用户的实际需求。

发明内容

本发明实施例提供了一种离线数据的采集方法、装置、设备及存储介质。以实现对离线数据的有效采集。

第一方面，本发明实施例提供了一种离线数据的采集方法，包括：

将离线数据进行拆分获得多份离线数据组，其中，每一份所述离线数据组小于第一预设容量；

将每一份所述离线数据组进行类型转换获得转换后的离线数据组，其中，所述转换后的离线数据组符合目标数据库的存储类型要求；

将每一份所述转换后的离线数据组进行合并获得采集数据。

第二方面，本发明实施例提供了一种离线数据的采集装置，包括：

离线数据组获得模块，用于将离线数据进行拆分获得多份离线数据组，其中，每一份所述离线数据组小于第一预设容量；

离线数据组转换模块，用于将每一份所述离线数据组进行类型转换获得转换后的离线数据组，其中，所述转换后的离线数据组符合目标数据库的存储类型要求；

采集数据获取模块，用于将每一份所述转换后的离线数据组进行合并获得采集数据。

第三方面，本发明实施例提供了一种设备，设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例中的方法。

第四方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例的方法。

本发明实施例的技术方案，通过将大容量离线数据进行拆分处理，可以减轻数据的处理压力，避免了由于处理的数据量太大而造成的系统崩溃，并且对拆分的每一份离线数据组转换成符合目标数据库存储类型要求的数据，而无需开发人员重复编码进行转换，减少了人力消耗，从而满足了用户对离线数据采集的需求。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。