[发明专利]数据的处理方法、装置及系统

说明书

本申请公开了一种数据的处理方法、装置及系统。其中，该方法包括：服务器接收客户端输出的一组或多组操作数据；服务器按照预设的时间窗口长度对每组操作数据中的数据进行筛选，以获取一组或多组备份数据；将所有的备份数据保存至服务器的内存中。通过本申请，能够实现降低数据库的处理压力，提高服务器系统的性能。

技术领域

本申请涉及计算机领域，具体而言，涉及一种数据的处理方法、装置及系统。

背景技术

在现有的电子商务网上行为的活动中，服务器需要记录并保存用户历史行为的相关操作数据，比如用户登陆的IP、交易的金额等等。这些记录的数据可以用于许多分析工作，例如，为了规避商业风险，可以对这些操作数据进行保存，并采用实时统计分析的手段来判断用户是否有不正当的行为，例如如果检测到某个用户一天的商务登陆次数在1万次以上，则可以估计此用户很有可能是采用了机器登陆的暴力登陆手段，需要加以控制。其他的场景例如网络游戏等，也有类似针对历史行为的操作数据的处理需求。此外，这些场景也有线下处理数据的需求，即通过线下对历史行为数据的处理和分析来寻找一些规律，为决策提供支持。所有这些的根本目的就是要通过对历史行为数据的统计和分析来发现用户行为的问题和风险。

现有技术通常利用数据库对用户历史行为的操作数据进行存储，从而对所有操作数据的统计和分析也是基于对数据库的查询进行处理的。具体的，在将所有的操作数据都保存在数据库中之后，可以采用sql语句对数据库中的数据进行查询以对用户的历史行为进行统计，然后对查询到的查询结果集进行相应的计算，但当查询结果的数据量较大的时候，这种处理方式会导致数据库压力过大，响应速度过慢。由此可知，基于数据库的数据查询方法在数据量小的情况下可以正常运作，但是一旦数据量大的时候数据库就会承受较大的压力，查询的效率也越来越不能满足实施处理的需求，实际运用中会有很大的困难。这种方法在数据量较大的时候会遇到性能上的瓶颈。

目前针对相关技术中在处理大量的历史行为数据时查询速度过慢，导致数据库压力过大、服务器性能差的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中在处理大量的历史行为数据时查询速度过慢，导致数据库压力过大、服务器性能差的问题，而提出本申请，为此，本申请的主要目的在于提供一种数据的处理方法、装置及系统，以解决上述问题。

为了实现上述目的，根据本申请的一个方面，提供了一种数据的处理方法，该方法包括：服务器接收客户端输出的一组或多组操作数据；服务器按照预设的时间窗口长度对每组操作数据中的数据进行筛选，以获取一组或多组备份数据；将所有的备份数据保存至服务器的内存中。

进一步地，每组备份数据的属性包括：关键字、数据字段、时间窗口以及计算函数，且每组备份数据对应唯一的一类计算函数，计算函数按照类型划分包括普通算术函数、比较函数以及统计函数，其中，在将所有的备份数据保存至服务器的内存中之后，方法还包括：接收用于查询的查询条件，查询条件包括：查询时间、查询属性对以及复杂计算函数，查询属性对包括关键字和数据字段；根据计算函数的类型对复杂计算函数进行划分，得到一类或多类计算函数；根据查询属性对以及当前得到的每类计算函数在内存中进行查询操作，以获取N组备份数据；对获取到的每组备份数据按照其对应的一类计算函数进行计算处理，并对计算结果进行合并以获取计算结果。

进一步地，对获取到的每组备份数据按照其对应的计算函数进行计算处理，并对计算结果进行合并以获取计算结果包括：步骤A，获取第一组备份数据中每个数据的时间窗口；步骤B，根据时间窗口对查询时间进行划分，以获取一个或多个连续的时间区间作为有效时间区间；步骤C，通过第一组备份数据对应的计算函数对每个有效时间区间内的数据进行计算处理，并对每个数据的计算结果进行合计得到第一组备份数据的第一处理结果；步骤D，对获取到的每组备份数据执行步骤A到步骤C，以获取每组备份数据的处理结果，将所有的处理结果进行合并后得到计算结果。