[发明专利]一种数据处理的方法及系统

说明书

本申请实施例提供一种数据库中的数据处理的方法。通过选取多个聚合间隔，根据多个聚合间隔对数据库中的至少一条数据进行聚合，使得数据库中存储的数据簇具有不同属性值跨度的数据范围。从而在根据数据库中存储的数据簇查询聚合值时，在保证查询范围的精确度的同时，提高聚合值查询的实时性。

技术领域

本申请涉及信息技术领域，尤其涉及一种数据处理的方法与系统。

背景技术

在金融、电商、公安等领域，存在欺诈监测、精准营销推荐、罪案灾情预测等场景。这些场景下，用户要求对进入数据库的数据进行实时分析处理。例如，在金融交易实时风控中，每笔交易发生时，要求风控计算平台在毫秒级时延要求下，实时计算出所有交易在56天时间窗口内的聚合值，包括交易总金额、交易平方和、交易总条数等，用于做进一步的复杂分析，如规则推理，模型评分等。数据产生时，数据的价值随着时间的流逝而降低，因此，需要在数据出现时即刻对其进行处理，而不是缓存起来成一批处理，数据库对数据处理的即刻性尤为重要。

与此同时，前述场景下的数据具有规模较大，且持续不断到达的特点，其特点更是构成对其处理的即刻性的挑战。为了实时处理持续不断的大规模数据，并向用户实时地提供数据库中数据的聚合值，需要在数据库接收到查询请求之前，对数据库中的数据进行聚合处理。如何对数据库中的数据进行聚合处理，从而保证聚合值的查询请求的实时性、查询范围的精确性是数据库系统亟待解决的问题。

发明内容

第一方面，本申请实施例提供一种数据库中的数据处理的方法。该方法包括：获取至少一条数据，每条数据包括至少一个属性。根据M个聚合间隔，分别对该至少一条数据的第一目标属性的属性值进行聚合计算得到T个数据簇，其中，该M个聚合间隔各不相同，每个数据簇包括聚合值，每个数据簇的聚合值为根据本数据簇所对应的聚合间隔针对该第一目标属性的属性值聚合计算得到，其中，该M为大于等于2的整数，T≥M。存储该T个数据簇。

通过选取多个聚合间隔，根据多个聚合间隔对数据库中的至少一条数据进行聚合，使得数据库中存储的数据簇具有不同属性值跨度的数据范围。从而在根据数据库中存储的数据簇查询聚合值时，在保证查询范围的精确度的同时，提高聚合值查询的实时性。

结合第一方面，在第一方面的第一种可能的实现方式中，该方法还包括：预先设置M个聚合层，每个聚合层对应一个聚合间隔，该T个数据簇归属该M个聚合层，该M个聚合间隔的任意两个相邻的聚合间隔具有父子关系，父聚合间隔为子聚合间隔的整数倍。

M个聚合间隔有多种选取方法。可查询的查询范围的精度取决于最小的聚合间隔，最小聚合间隔的父聚合间隔用于进一步降低聚合运算所需时间，提高聚合值查询的实时性。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，该获取至少一条数据包括：接收数据流中的第N条数据，N为大于等于1的整数。该根据M个聚合间隔，分别对该至少一条数据的第一目标属性的属性值进行聚合计算得到T个数据簇，包括：根据该第N条数据的第一目标属性的属性值，确定该第N条数据在该M个聚合层中分别对应的M个数据簇；如果该数据库中已经生成该第N条数据在第m个聚合层对应的数据簇，则根据该第N条数据的第一目标属性的属性值对该已经生成的数据簇的聚合值进行刷新，m为变量且取值范围为1≤m≤M；如果该数据库中未生成该第N条数据在第m个聚合层对应的数据簇，对该第N条数据的第一目标属性的属性值进行聚合计算生成数据簇。

接收到每条数据时进行聚合运算，每接收一条数据，仅需做M次聚合运算，降低了聚合运算的计算量，节省了数据库系统的计算资源，进一步提高了查询的实时性。