[发明专利]基于ETL的数据映射方法、装置、存储介质以及电子设备

说明书

本发明公开了一种基于ETL的数据映射方法、装置、存储介质以及电子设备。该方法包括：获取ETL过程中的抽取步骤所抽取到的源数据，其中，抽取步骤用于按照指定数据结构抽取数据；按照目标映射表将源数据中目标字段下的第一数据映射为第二数据，其中，目标字段为指定数据结构中的字段；在源数据中使用第二数据替换掉第一数据；将替换后的源数据作为ETL过程中的转换步骤所要处理的目标数据，其中，转换步骤为抽取步骤的下一步骤。本发明解决了通过ETL处理数据时，无法对大量数据进行替换的技术问题。

技术领域

本发明涉及计算机领域，具体而言，涉及一种基于ETL的数据映射方法、装置、存储介质以及电子设备。

背景技术

现有技术中，在使用ETL技术将数据从源端经过一系列处理保存到目的端的过程中，可能会涉及到数据的替换，例如数据A保存到目的端的话会出错或者不合规，因此，要替换为数据B。然而，现有技术中，是在ETL的采集脚本中通过代码完成编码转换，该技术仅仅能够是要少量的数据替换，不适用与大量数据的替换。

发明内容

本发明实施例提供了一种基于ETL的数据映射方法、装置、存储介质以及电子设备，以至少解决通过ETL处理数据时，无法对大量数据进行替换的技术问题。

根据本发明实施例的一个方面，提供了一种基于ETL的数据映射方法，包括：获取ETL过程中的抽取步骤所抽取到的源数据，其中，上述抽取步骤用于按照指定数据结构抽取数据；按照目标映射表将上述源数据中目标字段下的第一数据映射为第二数据，其中，上述目标字段为上述指定数据结构中的字段；在上述源数据中使用上述第二数据替换掉上述第一数据；将替换后的上述源数据作为上述ETL过程中的转换步骤所要处理的目标数据，其中，上述转换步骤为上述抽取步骤的下一步骤。

根据本发明实施例的另一方面，提供了一种基于ETL的数据映射装置，包括：获取模块，用于获取ETL过程中的抽取步骤所抽取到的源数据，其中，上述抽取步骤用于按照指定数据结构抽取数据；映射模块，用于按照目标映射表将上述源数据中目标字段下的第一数据映射为第二数据，其中，上述目标字段为上述指定数据结构中的字段；替换模块，用于在上述源数据中使用上述第二数据替换掉上述第一数据；第一确定模块，用于将替换后的上述源数据作为上述ETL过程中的转换步骤所要处理的目标数据，其中，上述转换步骤为上述抽取步骤的下一步骤。

作为一种可选的示例，上述装置还包括：提取模块，用于在按照目标映射表将上述源数据中的目标字段下的第一数据映射为第二数据之前，从上述目标映射表中提取字段标识，其中，上述字段标识用于指示上述源数据中待进行数据映射的字段；比对模块，用于获取上述源数据的每一个字段与上述字段标识之间的相似度；第二确定模块，用于将上述相似度符合条件的字段确定为上述目标字段。

作为一种可选的示例，上述装置还包括：第三确定模块，用于在按照目标映射表将上述源数据中的目标字段下的第一数据映射为第二数据之前，根据上述源数据的数据类型，确定上述目标映射表，其中，上述目标映射表中包含用于指示待进行数据映射的字段的字段标识、每一个上述字段标识下具有映射关系的第一数据与第二数据。

作为一种可选的示例，上述第三确定模块至少用于以下之一：根据上述源数据的语种，确定上述目标映射表；根据上述源数据的数据长度，确定上述目标映射表；根据上述源数据的所属标准，确定上述目标映射表。

作为一种可选的示例，上述映射模块包括：第二确定单元，用于将上述源数据中，上述目标映射表中的字段标识所指示的字段作为上述目标字段；第三确定单元，用于将上述目标字段下的每一个数据作为当前数据，从上述目标映射表中，与上述字段标识对应的映射关系下查找上述当前数据，将查找到的上述当前数据在上述映射关系下的映射数据作为上述第二数据。