[发明专利]一种脚本处理方法、装置及电子设备

说明书

本申请公开了一种脚本处理方法、装置及电子设备，可应用于人工智能领域或金融领域。确定数据提取脚本中所需访问的数据表，以及数据表的初始访问顺序，从初始访问顺序中，筛选出目标访问顺序，按照目标访问顺序对数据表进行拆分，得到数据表集合，将数据提取脚本按照数据表集合进行拆分，得到数据提取子脚本，按照数据表集合的排列顺序，依次执行数据提取子脚本。本发明中，将数据提取脚本按照数据表集合拆分得到数据提取子脚本，数据提取子脚本的数据量小于数据提取脚本，从而在执行数据提取子脚本时，能够降低数据提取子脚本的占用资源，从而提高数据提取子脚本的运行成功率，保证成功执行数据提取操作，进而能够进行产品运行效果的评估。

技术领域

本发明涉及数据处理领域，更具体的说，涉及一种脚本处理方法、装置及电子设备。

背景技术

在进行业务系统的产品运行效果的评估时，需要获取较多的历史业务数据，并基于历史业务数据进行效果评估。目前，业务系统仅能够保存较短时间内的业务数据。因此，在获取进行效果评估时的历史业务数据时，需要根据数据提取脚本从存储历史业务数据的数据湖中提取。

目前，在基于数据提取需求进行数据提取时，数据提取脚本的数据量较大，容易出现数据提取脚本运行失败的情况，进而导致数据提取操作失败，无法进行产品运行效果的评估。

发明内容

有鉴于此，本发明提供一种脚本处理方法、装置及电子设备，以解决数据提取脚本的数据量较大，容易出现数据提取脚本运行失败的情况，进而导致数据提取操作失败，无法进行产品运行效果的评估的问题。

为解决上述技术问题，本发明采用了如下技术方案：

一种脚本处理方法，应用于处理器，所述脚本处理方法包括：

获取数据提取脚本，并确定所述数据提取脚本中所需访问的数据表，以及所述数据表的初始访问顺序；

将所述数据表中的数据量最小的数据表作为待处理数据表；

从所述初始访问顺序中，筛选出所述待处理数据表的顺序号最小的初始访问顺序，并作为目标访问顺序；

按照所述目标访问顺序，对所述数据表进行拆分，得到数据表集合；所述数据表集合中的数据表之间的累计连接效率值初次大于预设阈值；

将所述数据提取脚本按照所述数据表集合进行拆分，得到数据提取子脚本；

按照所述数据表集合的排列顺序，依次执行所述数据提取子脚本。

可选地，确定所述数据提取脚本中所需访问的数据表，以及所述数据表的初始访问顺序，包括：

识别所述数据提取脚本中的数据表，并分析得到所述数据表之间的逻辑关系；

基于所述逻辑关系，确定出所述数据表的初始访问顺序。

可选地，按照所述目标访问顺序，对所述数据表进行拆分，得到数据表集合，包括：

按照所述目标访问顺序，对数据表进行排序；

计算相邻两个数据表的连接效率值；

按照预设拆分原则，对所述数据表进行拆分，得到数据表集合；所述预设拆分原则为所述数据表集合中的相邻两个数据表的连接效率值之和大于预设阈值。

可选地，计算相邻两个数据表的连接效率值，包括：

获取相邻两个数据表的属性值；

获取所述处理器的资源信息；

调用预设数据处理模型对所述相邻两个数据表的属性值和所述资源信息进行处理，得到相邻两个数据表的连接效率值。

可选地，将所述数据提取脚本按照所述数据表集合进行拆分，得到数据提取子脚本，包括：