[发明专利]一种数据处理的方法及装置

说明书

本发明提供了一种数据处理的方法及装置，其中，该数据处理的方法通过针对每一待处理数据，获取该待处理数据包含的逻辑事件的布尔变量值，按照预设的逻辑事件顺序生成该待处理数据对应的布尔变量行，合并具有相同布尔变量值的布尔变量行，基于合并处理的布尔变量行，生成待运算位图，依据预设的目标逻辑运算符对应的目标运算位图，从所述待运算位图中提取所述目标运算位图对应的待运算位图，依据所述目标逻辑运算符对提取的所述待运算位图进行逻辑运算。可以提高数据的处理效率。

技术领域

本发明涉及数据分析技术领域，具体而言，涉及一种数据处理的方法及装置。

背景技术

近年来，随着大数据、云计算技术的不断发展，如何高效地处理大数据成为数据处理以及分析领域中的一个突出问题。在处理大数据时，常需要求解亿万量级数据的逻辑运算结果。例如，对于一个m行n列的大数据矩阵，其中n列对应的是n种逻辑事件，这n种逻辑事件对应的取值为0或1，若需要求解该矩阵中第一列∧第四列的结果值为真(1)对应的数据。

为求解所述结果为真的数据，现有技术主要通过分布式计算引擎将矩阵中的数据行进行分区，进而依据第一列∧第四列的布尔表达式，在各分区内对数据行中的数据逐一进行逻辑运算，将逻辑运算的结果进行汇总，得到该矩阵中第一列∧第四列的结果为真的数据。但该数据处理的方法，由于需要对矩阵中的每一行数据逐一进行逻辑运算，导致数据计算量庞大，数据处理效率较低。

发明内容

有鉴于此，本发明的目的在于提供一种数据处理的方法及装置，以提高对数据的处理效率。

第一方面，本发明实施例提供了数据处理的方法，所述方法包括：

针对每一待处理数据，获取该待处理数据包含的逻辑事件的布尔变量值，按照预设的逻辑事件顺序生成该待处理数据对应的布尔变量行；

合并具有相同布尔变量值的布尔变量行；

基于合并处理的布尔变量行，生成待运算位图；

依据预设的目标逻辑运算符对应的目标运算位图，从所述待运算位图中提取所述目标运算位图对应的待运算位图，依据所述目标逻辑运算符对提取的所述待运算位图进行逻辑运算。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，在所述针对每一待处理数据，获取该待处理数据包含的逻辑事件的布尔变量值之前，所述方法还包括：

获取所有待处理数据包含的逻辑事件；

依据获取的所述逻辑事件，构建表征所述逻辑事件顺序的逻辑事件行；

所述逻辑事件行的列数量为所有待处理数据中包含的无重复的逻辑事件数。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述按照预设的逻辑事件顺序生成该待处理数据对应的布尔变量行，包括：

遍历所述待处理数据包含的逻辑事件，针对每一逻辑事件，从所述逻辑事件行中，获取该逻辑事件所在的列，将该逻辑事件对应的布尔变量值填充至获取的列；

依据填充有布尔变量值的列，得到所述待处理数据对应的布尔变量行。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述合并具有相同布尔变量值的布尔变量行，包括：

遍历各布尔变量行，获取每列的布尔变量值均相同的布尔变量行；

保留其中一布尔变量行，获取该保留的布尔变量行对应的标识；

将获取的剩余布尔变量行对应的待处理数据对应的标识添加至获取的标识中。