[发明专利]基于ETL的数据映射方法、装置、存储介质以及电子设备

权利要求书

1.一种基于ETL的数据映射方法，其特征在于，包括：

获取ETL过程中的抽取步骤所抽取到的源数据，其中，所述抽取步骤用于按照指定数据结构抽取数据；

按照目标映射表将所述源数据中目标字段下的第一数据映射为第二数据，其中，所述目标字段为所述指定数据结构中的字段；

在所述源数据中使用所述第二数据替换掉所述第一数据；

将替换后的所述源数据作为所述ETL过程中的转换步骤所要处理的目标数据，其中，所述转换步骤为所述抽取步骤的下一步骤。

2.根据权利要求1所述的方法，其特征在于，在按照目标映射表将所述源数据中目标字段下的第一数据映射为第二数据之前，所述方法还包括：

从所述目标映射表中提取字段标识，其中，所述字段标识用于指示所述源数据中待进行数据映射的字段；

获取所述源数据的每一个字段与所述字段标识之间的相似度；

将所述相似度符合条件的字段确定为所述目标字段。

3.根据权利要求1所述的方法，其特征在于，在按照目标映射表将所述源数据中目标字段下的第一数据映射为第二数据之前，所述方法还包括：

根据所述源数据的数据类型，确定所述目标映射表，其中，所述目标映射表中包含用于指示待进行数据映射的字段的字段标识、每一个所述字段标识下具有映射关系的第一数据与第二数据。

4.根据权利要求3所述的方法，其特征在于，所述根据所述源数据的数据类型，确定所述目标映射表包括以下至少之一：

根据所述源数据的语种，确定所述目标映射表；

根据所述源数据的数据长度，确定所述目标映射表；

根据所述源数据的所属标准，确定所述目标映射表。

5.根据权利要求1所述的方法，其特征在于，所述按照目标映射表将所述源数据中目标字段下的第一数据映射为第二数据包括：

将所述源数据中，所述目标映射表中的字段标识所指示的字段作为所述目标字段；

将所述目标字段下的每一个数据作为当前数据，从所述目标映射表中，与所述字段标识对应的映射关系下查找所述当前数据，将查找到的所述当前数据在所述映射关系下的映射数据作为所述第二数据。

6.根据权利要求1所述的方法，其特征在于，

在获取源数据之后，所述方法还包括：将所述源数据存入第一内存队列中；

所述按照目标映射表将所述源数据中目标字段下的第一数据映射为第二数据包括：从所述第一内存队列中获取所述源数据，将所述第一数据映射为所述第二数据；

所述将替换后的所述源数据作为所述ETL过程中的转换步骤所要处理的目标数据包括：将替换后的所述源数据存入第二内存队列，以使所述转换步骤从所述第二内存队列获取替换后的所述源数据。

7.根据权利要求1所述的方法，其特征在于，在按照目标映射表将所述源数据中目标字段下的第一数据映射为第二数据之前，所述方法还包括：

获取数据表；

根据映射指令中携带的原始字段和映射字段，确定所述数据表中的原始数据列和映射数据列；

将所述原始数据列确定为所述第一数据所在列，将所述映射数据列确定为所述第二数据所在列；

为所述原始字段和所述映射字段分配字段标识；

将所述字段标识、所述原始数据列和所述映射数据列作为所述目标映射表中的数据。

8.一种基于ETL的数据映射装置，其特征在于，包括：

获取模块，用于获取ETL过程中的抽取步骤所抽取到的源数据，其中，所述抽取步骤用于按照指定数据结构抽取数据；

映射模块，用于按照目标映射表将所述源数据中目标字段下的第一数据映射为第二数据，其中，所述目标字段为所述指定数据结构中的字段；

替换模块，用于在所述源数据中使用所述第二数据替换掉所述第一数据；

第一确定模块，用于将替换后的所述源数据作为所述ETL过程中的转换步骤所要处理的目标数据，其中，所述转换步骤为所述抽取步骤的下一步骤。