[发明专利]结构化数据处理方法及系统

说明书

本发明实施例提供一种结构化数据处理方法及系统，属于计算机技术领域。所述结构化数据处理方法包括：建立多维原始结构化数据集中每一维度的数据与用于标记数据类型的标记信息的对应关系；获取语言执行脚本或函数及其所需的目标标记信息；根据所述对应关系，获取所述多维原始结构化数据集中的每一子集的与所述目标标记信息对应的每一维度的目标数据；以及获取基于所述语言执行脚本或函数处理所述每一子集的每一维度的目标数据的处理结果数据。所述结构化数据处理方法实现了多场景下的语言调用并处理数据。

技术领域

本发明涉及计算机技术领域，具体地涉及一种结构化数据处理方法、系统、存储介质及处理器。

背景技术

随着企业数据总量的提升，对于现有数据总量中有价值结构化数据的挖掘变得越来越重要，相关技术中，为了实现有价值结构化数据的挖掘，需要建立私有的商业智能(BI，Business Intelligence)系统或使用云端BI产品，上述的BI系统或产品均采用面向服务的技术架构开发，且均无法原生的支持专注于数据处理的语言集成。其中，所述BI产品是一套完整的解决方案，用于将企业不同部门或者系统的数据进行高效整合分析，以强有力的数据支撑，为企业经营者提供更理智的企业决策或商业方案。

在相关技术中可以通过本地搭建语言运行固定环境(语言脚本、函数、参数个数、顺序、所述语言脚本的执行逻辑、代理服务返回值的处理方式均固定)，再使用命令行的方式动态执行语言脚本及函数，该相关技术虽然间接达成集成语言的目的，但是其也仅能够在已知单一场景下执行语言脚本、函数及所需参数数据的调用，当使用场景增加，语言脚本、函数及其参数需求均改变时，相关技术便无法满足需要。

发明内容

本发明实施例的目的是提供一种结构化数据处理方法及系统，该结构化数据处理方法及系统实现了多场景下的语言调用并处理数据。

为了实现上述目的，本发明实施例提供一种结构化数据处理方法，该结构化数据处理方法包括：建立多维原始结构化数据集中每一维度的数据与用于标记数据类型的标记信息的对应关系；获取用于进行结构化数据处理的语言执行脚本或函数及其进行所述结构化数据处理所需的目标标记信息；根据所述对应关系，获取所述多维原始结构化数据集中的每一子集的与所述目标标记信息对应的每一维度的目标数据；以及获取基于所述语言执行脚本或函数处理所述每一子集的每一维度的目标数据而得到的相应处理结果数据。

优选地，所述获取所述多维原始结构化数据集中与所述目标标记信息对应的每一维度的目标数据包括：获取预设定的目标子集个数及子集获取顺序；以及根据所述子集获取顺序，获取所述多维原始结构化数据集的每一子集中的与所述目标标记信息对应的每一维度的目标数据；其中，每获取到一个所述目标数据，确定当前所获取到的子集个数，并判断所确定的子集个数与所述预设定的目标子集个数是否相等，若相等，则确定获取到所有子集的目标数据，否则继续获取下一个所述目标数据，直到所确定的子集个数与所述预设定的目标子集个数相等。

优选地，在所述获取所述多维原始结构化数据集中与所述目标标记信息对应的每一维度的目标数据之后，该结构化数据处理方法还包括：获取所述多维原始结构化数据集中每一维度的剩余数据，其中所述剩余数据被配置为所述多维原始结构化数据集中除每一维度的目标数据之外的所有数据；以及基于所述每一维度的剩余数据及预设定的合并条件，建立满足所述合并条件的维度组，其中所述合并条件用于实现存在相同的所述剩余数据的合并；并且，所述获取基于所述语言执行脚本或函数处理所述每一维度的目标数据的处理结果数据包括：针对所建立的维度组，获取基于所述语言执行脚本或函数分别处理所述维度组的每一目标数据的处理结果数据；或针对单个维度，获取基于所述语言执行脚本或函数处理所述单个维度的目标数据的处理结果数据。

优选地，在所述获取基于所述语言执行脚本处理所述每一维度的目标数据的处理结果数据之后，该结构化数据处理方法还包括：获取每一所述处理结果数据对应的目标数据所在所述多维原始结构化数据集中的子集；将每一所述处理结果数据填充至其对应的目标数据所在所述多维原始结构化数据集的子集中。