[发明专利]数据迁移方法、装置、电子设备和存储介质

说明书

本实施例公开了一种数据迁移方法、装置、设备、系统和计算机存储介质，该方法包括：接收所述Nifi集群的其它处理单元读取的字符分隔值CSV文件；将所述CSV文件的文本内容映射为Record记录；对所述Record记录进行预处理，得到预处理后的Record记录，将所述预处理后的Record记录存入数据库中。

技术领域

本申请涉及数据迁移技术领域，尤其涉及一种数据迁移方法、装置、电子设备和存储介质。

背景技术

在相关技术中，在Nifi集群中实现字符分割值(Comma-Separated Values，CSV)文件的数据迁移需要7个处理单元(processor)，涉及到文件的读取、过滤、文本与数据库字段映射、预处理等，每个处理单元在Nifi集群中独立行驶职能；在CSV文件的迁移过程中，每个处理单元均需要消耗大量的磁盘读写以及网络传输资源，这样，降低了CSV文件的数据迁移效率。

发明内容

本申请实施例提供一种数据迁移方法，可以减少在对CSV文件进行数据迁移时造成的磁盘读写和网络资源消耗，提升数据迁移的效率。

本申请实施例提供了一种数据迁移方法，所述方法包括：

接收所述Nifi集群的其它处理单元读取的CSV文件；

将所述CSV文件的文本内容映射为Record记录；

对所述Record记录进行预处理，得到预处理后的Record记录，将所述预处理后的Record记录存入数据库中。

在一些实施例中，所述对所述Record记录进行预处理，得到预处理后的Record记录，包括：

对所述Record记录中通过字段拼接得到的变量进行标识；

对已标识后的变量按照所述Nifi集群的表达式语言语法进行处理，得到所述预处理后的Record记录。

在一些实施例中，所述对所述Record记录中通过字段拼接得到的变量进行标识，包括：

对所述变量增加固定前缀，以实现对所述变量的标识。

在一些实施例中，所述对已标识的变量按照所述Nifi集群的表达式语言语法进行处理，得到所述预处理后的Record记录，包括：

按照所述表达式语言语法，对所述已标识的变量进行变量抽取和数据转换，得到所述预处理后的Record记录。

在一些实施例中，所述按照所述表达式语言语法，对所述已标识的变量进行变量抽取和数据转换，得到所述预处理后的Record记录，包括：

在onScheduled方法中将所述已标识的变量识别为使用所述表达式语言语法的变量；

在onTrigger方法被调用时，通过所述表达式语言语法对所述已标识的变量进行变量抽取和数据转换，得到所述预处理后的Record记录。

在一些实施例中，所述将所述CSV文件的文本内容映射为记录Record记录，包括：

采用所述Nifi集群的记录读取器，将所述CSV文件的文本内容映射为Record记录。

在一些实施例中，所述采用所述Nifi集群的记录读取器，将所述CSV文件的文本内容映射为记录Record记录，包括：

根据所述记录读取器中定义的Avro格式字段，将所述CSV文件的文本内容进行映射，得到所述Record记录。

本申请实施例还提供了一种数据迁移装置，，所述装置应用于Nifi集群中的业务处理单元中，所述装置包括：接收模块、第一处理模块和第二处理模块，其中，