[发明专利]数据处理方法、装置、电子设备、存储介质及程序产品

说明书

本公开实施例公开了一种数据处理方法、装置、电子设备、存储介质及程序产品，所述方法包括：检测目标文件是否被操作；当检测到所述目标文件被操作时，获取目标文件操作时间；将所述目标文件操作时间发送给数据仓库组件，以使所述数据仓库组件对于所述目标文件操作时间进行存储。该技术方案无需增加一个时间字段来标记数据文件的加工时间，从而降低了操作复杂度、人工工作量和数据存储量，避免了时间字段的显式编程加工，进而减小了数据仓库的存储压力。

技术领域

本公开实施例涉及数据处理技术领域，具体涉及一种数据处理方法、装置、电子设备、存储介质及程序产品。

背景技术

hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化和加载等操作，以实现对于存储在Hadoop中的大规模数据的查询和分析。在利用hive进行数据提取、转化和加载等操作时，通常需要增加一个时间字段来标记数据文件的加工时间，但时间字段的设置增加了操作复杂度、人工工作量和数据存储量。

发明内容

本公开实施例提供一种数据处理方法、装置、电子设备、存储介质及程序产品。

第一方面，本公开实施例中提供了一种数据处理方法。

具体的，所述数据处理方法，包括：

检测目标文件是否被操作；

当检测到所述目标文件被操作时，获取目标文件操作时间；

将所述目标文件操作时间发送给数据仓库组件，以使所述数据仓库组件对于所述目标文件操作时间进行存储。

第二方面，本公开实施例中提供了一种数据处理方法。

具体的，所述数据处理方法，包括：

接收文件系统发送的目标文件操作时间；

确定预设数据写入格式；

将所述目标文件操作时间按照所述预设数据写入格式写入至文件时间虚拟列中。

结合第二方面，本公开实施例在第二方面的第一种实现方式中，还包括：

设置文件时间虚拟列。

结合第二方面和第二方面的第一种实现方式，本公开实施例在第二方面的第二种实现方式中，还包括：

设置所述文件时间虚拟列的开启参数，其中，所述开启参数包括开启和不开启。

结合第二方面、第二方面的第一种实现方式和第二方面的第二种实现方式，本公开在第二方面的第三种实现方式中，还包括：

响应于接收到文件时间虚拟列数据读写命令，确定所述文件时间虚拟列的开启参数是开启还是不开启；

当所述文件时间虚拟列的开启参数是开启时，根据所述文件时间虚拟列数据读写命令对于所述文件时间虚拟列进行数据读写；

当所述文件时间虚拟列的开启参数是不开启时，返回文件时间虚拟列数据不可用提示信息。

第三方面，本公开实施例中提供了一种数据处理方法。

具体的，所述数据处理方法，包括：

文件系统检测目标文件是否被操作，当检测到所述目标文件被操作时，获取目标文件操作时间，并将所述目标文件操作时间发送给数据仓库组件；

数据仓库组件接收文件系统发送的目标文件操作时间，确定预设数据写入格式，并将所述目标文件操作时间按照所述预设数据写入格式写入至文件时间虚拟列中。

结合第三方面，本公开实施例在第三方面的第一种实现方式中，还包括：

数据仓库组件设置文件时间虚拟列。