[发明专利]数据处理方法和数据处理系统

说明书

本发明公开了一种数据处理方法和数据处理系统。该方法包括：根据设置的业务策略，对采集的用户行为数据进行汇聚形成多个规范数据，每个规范数据包括第一维度数据、第二维度数据和与所述第二维度数据对应的其余用户行为数据；采用环形调度方法，将所述规范数据中的其余用户行为数据分配到对应的服务器。采用本发明的方案，避免了服务器扩容时影响用户体验；采用本发明的方案，当出现数据热点现象、数据过热或增加新资源时，提高了系统效率；采用本发明的方案，新增服务器可动态补充进集群，有利于系统扩展和效率提升。

技术领域

本发明涉及通信技术领域，特别涉及一种数据处理方法和数据处理系统。

背景技术

近年来，随着网络和大数据技术的高速发展，运营商的业务越来越多的向数据业务倾斜，海量数据实时存储和分析在运营商业务领域里的影响也越来越大。因此，如何保障数据安全，业务稳定，确保在数据安全上出现问题时能对业务造成最小程度的冲击，已成为一项很重要的议题。

但是，传统的方法存在如下技术问题：

1、在数据服务器很多的系统中，批量增加一批服务器会造成系统整体需要做数据负载均衡，数据同步的时间很长造成，在最开始增加机器的一段时间里会延缓业务处理，使扩容时出现一个需要同步的窗口期，影响用户体验；

2、对于海量数据实时分析中，出现数据热点现象时或由于数据过热造成部分处理单元下线，无法实时调配已有资源进行补充，或是增加新资源后造成整体数据重新分布，严重影响系统效率；

3、设备扩容复杂，特别是多种异构系统组成联合集群时，由于各系统的负载均衡方法不同，新增服务器无法动态补充进集群，需要和业务紧绑定，不利于扩展和效率提升。

发明内容

本发明提供一种数据处理方法和数据处理系统，用于避免服务器扩容时影响用户体验，提高系统效率，有利于系统扩展和效率提升。

为实现上述目的，本发明提供了一种数据处理方法，包括：

根据设置的业务策略，对采集的用户行为数据进行汇聚形成多个规范数据，每个规范数据包括第一维度数据、第二维度数据和与所述第二维度数据对应的其余用户行为数据；

采用环形调度方法，将所述规范数据中的其余用户行为数据分配到对应的服务器。

可选地，所述对采集的用户行为数据进行汇聚形成多个规范数据包括：

将第一维度数据相同的用户行为数据进行归并形成多个规范数据。

可选地，所述采用环形调度方法，将所述规范数据中的其余用户行为数据分配到对应的服务器包括：

根据服务器的编号、环形数据模板的大小和服务器的数量，生成服务器在服务器组中的第一权重值；

根据规范数据的第一维度数据的编号、环形数据模板的大小和服务器的数量，生成规范数据对应的服务器组的范围；

判断规范数据对应的服务器的范围包括的服务器的数量大于或者等于1；

若判断出规范数据对应的服务器组的范围大于1，根据第二维度数据的编号和规范数据对应的服务器组的范围中的最大值，生成与第二维度数据对应的第二权重值；根据与第二维度数据对应的第二权重值和第一权重值，从规范数据对应的服务器组的范围中确定出与第二维度数据对应的服务器；将该规范数据中的与第二维度数据对应的其余用户行为数据放置于与第二维度数据对应的服务器上。

可选地，若判断出规范数据对应的服务器组的范围等于1，将该规范数据放置于该规范数据对应的服务器组的范围中的服务器上。

可选地，所述根据服务器的编号、环形数据模板的大小和服务器的数量，生成服务器在服务器组中的第一权重值之前还包括：