[发明专利]数据迁移方法、装置、电子设备和存储介质

权利要求书

1.一种数据迁移方法，其特征在于，应用于Nifi集群中的业务处理单元中，所述方法包括：

接收所述Nifi集群的其它处理单元读取的字符分隔值CSV文件；

将所述CSV文件的文本内容映射为Record记录；

对所述Record记录进行预处理，得到预处理后的Record记录，将所述预处理后的Record记录存入数据库中。

2.根据权利要求1所述的数据迁移方法，其特征在于，所述对所述Record记录进行预处理，得到预处理后的Record记录，包括：

对所述Record记录中通过字段拼接得到的变量进行标识；

对已标识后的变量按照所述Nifi集群的表达式语言语法进行处理，得到所述预处理后的Record记录。

3.根据权利要求2所述的数据迁移方法，其特征在于，所述对所述Record记录中通过字段拼接得到的变量进行标识，包括：

对所述变量增加固定前缀，以实现对所述变量的标识。

4.根据权利要求2或3所述的数据迁移方法，其特征在于，所述对已标识的变量按照所述Nifi集群的表达式语言语法进行处理，得到所述预处理后的Record记录，包括：

按照所述表达式语言语法，对所述已标识的变量进行变量抽取和数据转换，得到所述预处理后的Record记录。

5.根据权利要求4所述的数据迁移方法，其特征在于，所述按照所述表达式语言语法，对所述已标识的变量进行变量抽取和数据转换，得到所述预处理后的Record记录，包括：

在onScheduled方法中将所述已标识的变量识别为使用所述表达式语言语法的变量；

在onTrigger方法被调用时，通过所述表达式语言语法对所述已标识的变量进行变量抽取和数据转换，得到所述预处理后的Record记录。

6.根据权利要求1所述的数据迁移方法，其特征在于，所述将所述CSV文件的文本内容映射为记录Record记录，包括：

采用所述Nifi集群的记录读取器，将所述CSV文件的文本内容映射为Record记录。

7.根据权利要求6所述的数据迁移方法，其特征在于，所述采用所述Nifi集群的记录读取器，将所述CSV文件的文本内容映射为记录Record记录，包括：

根据所述记录读取器中定义的Avro格式字段，将所述CSV文件的文本内容进行映射，得到所述Record记录。

8.一种数据迁移装置，其特征在于，所述装置应用于Nifi集群中的业务处理单元中，所述装置包括：接收模块、第一处理模块和第二处理模块，其中，

接收模块，用于接收所述Nifi集群的其它处理单元读取的字符分隔值CSV文件；

第一处理模块，用于将所述CSV文件的文本内容映射为Record记录；

第二处理模块，用于对所述Record记录进行预处理，得到预处理后的Record记录，将所述预处理后的Record记录存入数据库中。

9.一种电子设备，其特征在于，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，

所述处理器用于运行所述计算机程序以执行权利要求1至7任一项所述的数据迁移方法。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的数据迁移方法。