[发明专利]数据处理方法、装置、设备以及存储介质

权利要求书

1.一种数据处理方法，包括：

获取来自各数据源的目标数据，所述目标数据包括至少一种类型的数据；

对各所述目标数据中不同类型的数据分别进行格式转换，得到各所述目标数据的第一数据流，所述第一数据流的格式为预设目标格式；

对各所述第一数据流分别进行隐私计算处理，得到各所述目标数据的第二数据流；

基于各所述第二数据流，生成各所述目标数据的待存储数据；

分别确定与各所述目标数据中不同类型的数据相匹配的各输出格式转换器；

将各所述目标数据分别对应的所述第二数据流通过各所述输出格式转换器，得到各更新后的所述第二数据流；

其中，所述基于各所述第二数据流，生成各所述目标数据的待存储数据，包括：

基于各更新后的所述第二数据流，生成各所述目标数据的满足目标存储格式的所述待存储数据。

2.根据权利要求1所述的方法，其中，所述获取来自各数据源的目标数据，包括：

确定与各数据源分别适配的各解析器；

通过各所述解析器流式获取来自各数据源的所述目标数据。

3.根据权利要求1所述的方法，其中，所述预设目标格式为虚拟表格格式，所述对各所述目标数据中不同类型的数据分别进行格式转换，得到各所述目标数据的第一数据流，包括：

分别确定与各所述目标数据中不同类型的数据相匹配的各输入格式转换器；

通过各所述输入格式转换器，分别对各所述目标数据中不同类型的数据进行格式转换，得到各所述目标数据的用虚拟表格格式表示的第一数据流。

4.根据权利要求1所述的方法，其中，所述对各所述第一数据流分别进行隐私计算处理，得到各所述目标数据的第二数据流，包括：

对各所述第一数据流分别进行隐私计算处理，得到各所述第一数据流对应的经所述隐私计算处理后的数据；

基于各所述第一数据流对应的经所述隐私计算处理后的数据，得到各所述目标数据的所述第二数据流，所述第二数据流的格式为所述预设目标格式。

5.根据权利要求1所述的方法，还包括：

将各所述目标数据的所述待存储数据，分别按照预设存储方式进行存储。

6.根据权利要求5所述的方法，其中，所述将各所述目标数据的所述待存储数据，分别按照预设存储方式进行存储，包括：

将各所述目标数据的所述待存储数据，分别写入各数据源各自对应的内存的数据片中；

在各数据源各自对应的所述数据片中的数据大小达到预设阈值的情况下，将达到所述预设阈值的所述数据片中所存储的所述待存储数据上传至存储服务器。

7.根据权利要求6所述的方法，所述将各所述目标数据的所述待存储数据，分别按照预设存储方式进行存储，还包括：

在各数据源对应的各所述目标数据读取完毕的情况下，将各数据源各自对应的内存的所述数据片中的所述待存储数据上传至所述存储服务器。

8.根据权利要求6或7所述的方法，其中，所述将各所述目标数据的所述待存储数据，分别按照预设存储方式进行存储，还包括：

通过所述存储服务器将各所述数据源所对应的所有数据片的数据进行合并，得到各所述数据源的目标存储数据。

9.根据权利要求8所述的方法，还包括：

确定各数据源的目标数据库；

将各所述数据源的所述目标存储数据，存储至各所述数据源的所述目标数据库。

10.根据权利要求1所述的方法，还包括：

在数据处理的过程中发生异常的情况下，生成故障事件并逐层上报所述故障事件；

根据所述故障事件确定故障发生原因。