[发明专利]一种内存优化的数据文件格式转化方法、装置及存储介质

说明书

本发明公开了一种内存优化的数据文件格式转化方法，可以确定出获取到的待转化数据文件中各数据的基本类型和与基本类型对应的子类型；然后依据各子类型确定出所需的目标内存空间；再将待转化数据文件进行格式转化得出目标格式文件，可将转化后的目标格式文件存储至目标存储空间。该方法，可在文件格式转化时，根据待转化数据文件中各数据的子类型确定出将数据读入到内存后需要占用的内存空间，能较准确地确定出需要的内存空间，与传统的按照各列数据基本类型的最大子类型直接给定内存空间相比，进而减少了计算机内存占用量，提高了内存使用率以及数据处理速度。另外，本发明还公开了一种内存优化的数据文件格式转化装置及存储介质，效果如上。

技术领域

本发明涉及文件格式转化领域，特别涉及一种内存优化的数据文件格式转化方法、装置及存储介质。

背景技术

随着电子科技的发展，传感器设备的数量持续增长，所接收的数据量呈爆炸式增长。与此同时，自云计算的概念被提出以来，云计算以其超大规模、虚拟化、高可扩展性等特点被各行各业广泛应用，尤其是在工业领域。伴随着数据量的剧增以及运算能力的增强，人工智能的发展也越来越快，层出不穷的机器学习算法因其能够从数据中自动分析获得规律、并利用规律对未知数据进行预测而得到广泛应用。借助云计算技术通过挖掘海量数据进行相关数据预测以降低人工成本、提高智能化程度已成为一种趋势。

在搭建机器学习处理平台时，平台需要与操作人员、数据、传感器进行交互。一方面，平台操作人员数量可能较多，需要对各类数据进行可视化查看；另一方面，对机器学习算法所需要的数据文件格式应当设立一定的标准，以方便多种算法处理；最后一方面，不同厂家生产的传感器设备有所差异，所接收数据的格式也会有所不同。

因此，为了方便操作人员可视化数据、方便机器学习算法分析处理数据，需要对传感器接收到的各种文件格式进行相互转换。目前，在进行数据文件格式转化时，通常是为转化后的数据设定最大的内存存储空间，也就是说，有多大的内存存储空间，就提供多大的内存存储空间；但是，可能有的数据转化后根本用不了那么大的内存存储空间，因此会出现计算机内存占用量大、内存使用率低以及在数据高并发的情况下，数据处理速度慢的情况。

由此可见，如何克服在数据文件格式转化时导致的计算机内存占用量大、内存使用率低以及数据处理速度慢的问题是本领域技术人员亟待解决的问题。

发明内容

本申请实施例提供了一种内存优化的数据文件格式转化方法、装置及存储介质，以解决现有技术中在数据文件格式转化时导致的计算机内存占用量大、内存使用率低以及数据处理速度慢的问题。

为解决上述技术问题，本发明提供了一种内存优化的数据文件格式转化方法，包括：

获取待转化数据文件，并将所述待转化数据文件中的数据读入到内存空间；

确定所述待转化数据文件中各数据的基本类型和与所述基本类型对应的子类型；

依据各所述子类型确定出所需的目标内存空间，并进行下转型；

对所述待转化数据文件进行格式转化以得出目标格式文件，并将所述目标格式文件存储至目标存储空间。

优选地，所述待转化数据文件的格式具体包括csv格式或xml格式或xlsx格式或xls格式或txt格式。

优选地，所述获取待转化数据文件，并将所述待转化数据文件中的数据读入到内存空间具体为：

采用pandas库获取所述待转化数据文件，并将所述待转化数据文件中的数据读入到所述内存空间。

优选地，所述确定所述待转化数据文件中各数据的基本类型和与所述基本类型对应的子类型具体为：

采用所述pandas库按列遍历所述待转化数据文件中各数据得出所述基本数据和所述子类型。