[发明专利]基于表达式的大数据处理方法、装置、电子设备、存储介质

说明书

本发明提供一种基于表达式的大数据处理方法、装置、电子设备、存储介质，基于表达式的大数据处理方法包括：将表达式解析为树形结构，其中，所述树形结构的叶子节点为参数类型，所述树形结构的父节点为用以计算下属子节点的函数类型；以及自距离所述树形结构的根节点路径最长的叶子节点开始向根节点递归计算，获得所述表达式的计算结果。本发明提供的方法及装置可以提高表达式可扩展性和可复用性。

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种基于表达式的大数据处理方法、装置、电子设备、存储介质。

背景技术

随着互联网的快速发展，大数据计算需求的不断增加，市场上有很多的大数据计算框架，主要分为偏向批量计算以及流式计算框架，在现有应用中也有不少的使用。

现有的大数据计算中，通常在大数据框架规范以及功能内进行生产工作。然而，这样的方式会有如下缺陷：

1)在大数据计算中，函数和函数之间通过直接引用的方式，根据特殊需求定制的函数与其它通用函数没有较好的隔离性，运维效率低，可扩展可复用能力低；

2)大数据计算往往基于代码化，维护、修改需专业人员来操作，人工成本高，且对频繁修改的需求反应能力低。

发明内容

本发明为了克服上述相关技术存在的缺陷，提供一种基于表达式的大数据处理方法、装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本发明的一个方面，提供基于表达式的大数据处理方法，包括：

将表达式解析为树形结构，其中，所述树形结构的叶子节点为参数类型，所述树形结构的父节点为用以计算下属子节点的函数类型；以及

自距离所述树形结构的根节点路径最长的叶子节点开始向根节点递归计算，获得所述表达式的计算结果。

可选地，所述自距离所述树形结构的根节点路径最长的叶子节点开始向根节点递归计算，获得所述表达式的计算结果包括：

对每个父节点，当该父节点的子节点皆为叶子节点时，对该父节点的多个叶子节点执行该父节点的函数计算，并将该父节点的计算结果作为一叶子节点替代以该父节点为根节点的子树。

可选地，还包括：

生成一规则链，所述规则链包括多个节点，多个所述节点之间具有依赖关系，每个所述节点为一所述表达式；

按所述规则链的多个节点之间的依赖关系的顺序，依次计算各节点的表达式的计算结果，其中，至少部分节点的表达式的计算结果作为依赖该节点的节点的表达式的至少部分参数。

可选地，所述按所述规则链的多个节点之间的依赖关系的顺序，依次计算各节点的表达式的计算结果包括：

将临时上下文作为当前节点的表达式的部分参数，计算当前节点的表达式的计算结果；以及

将前节点的表达式的计算结果覆盖所述临时上下文。

可选地，所述将前节点的表达式的计算结果覆盖所述临时上下文之后，还包括：

通过一异步消息中间件提供一指示对依赖当前节点的下一节点进行计算的指示消息。

可选地，若当前节点的计算失败，则利用所述临时上下文再次对当前节点的计算进行重试。

可选地，若当前节点的重试次数大于预定阈值时，对所述规则链的计算进行重试。

可选地，所述规则链的起始节点为一触发表示式，根据所述触发表示式的计算结果触发所述规则链的计算。