[发明专利]一种数据处理方法、装置以及电子设备

说明书

本发明实施例提供了一种数据处理方法、装置以及电子设备，其中，所述数据处理方法包括：按照预设时间周期，获取当前时间段内代理服务Agent中缓存的待导流数据的第一数据量；获取所述当前时间段相邻的上一时间段内，所述Agent中缓存的待导流数据的第二数据量；根据所述第一数据量与所述第二数据量，确定所述Agent的个数变更方式，所述个数变更方式包括，删除、增加或不变；按照所述Agent的个数变更方式，对应变更当前接入Agent的个数。本发明实施例实现了合理使用Agent进行数据导流，减少资源浪费。

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据处理方法、装置以及电子设备。

背景技术

在实际生产中，经常遇到需要把数据流导流到另一个存储系统中的情况。现有技术中，可以通过代理服务Agent将数据流从一个系统导流到另一个存储系统。为了保证数据导流的实时性，通常将数据流的流量顶点值设为导流的固定吞吐量值，即按照该固定吞吐量值设置需要的Agent的个数，且该Agent的个数是一成不变的。

然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：

实际导流过程中，数据流的流量大小是不断变化的，可能随着在线用户的数量变化呈现周期性变化，或者因为其他原因发生变化。而进行数据导流使用的Agent是固定不变的，这可能导致Agent资源浪费。

发明内容

本发明实施例的目的在于提供一种数据处理方法、装置以及电子设备，以实现合理使用Agent进行数据导流，减少资源浪费。具体技术方案如下：

为达到上述发明目的，本发明实施例公开了一种数据处理方法，包括：

按照预设时间周期，获取当前时间段内代理服务Agent中缓存的待导流数据的第一数据量；

获取所述当前时间段相邻的上一时间段内，所述Agent中缓存的待导流数据的第二数据量；

根据所述第一数据量与所述第二数据量，确定所述Agent的个数变更方式，所述个数变更方式包括，删除、增加或不变；

按照所述Agent的个数变更方式，对应变更当前接入Agent的个数。

可选地，在所述Agent中缓存待导流数据的过程包括：

将获取的待导流数据发送到接收方的过程中，当获取待导流数据的速率大于发送待导流数据的速率时，在所述Agent中缓存待导流数据。

可选地，所述根据所述第一数据量与所述第二数据量，确定所述Agent的个数变更方式，包括：

将所述第一数据量与所述第二数据量做差值运算，并将所述差值运算结果与所述Agent的吞吐量做商运算，得到所述第一数据量与所述第二数据量之间的函数关系；

根据所述函数关系，确定所述Agent的个数变更方式。

可选地，所述根据所述函数关系，确定所述Agent的个数变更方式，包括：

计算所述函数关系的结果值；

当所述结果值为正数时，确定所述Agent的个数变更方式为增加对应个数的Agent；

或者，当所述结果值为零且所述第一数据量等于所述第二数据量不为零时，确定所述Agent的个数变更方式为不变；

或者，当所述结果值为零且所述第一数据量等于所述第二数据量为零时，确定所述Agent的个数变更方式为删除一个Agent；

或者，当所述结果值为负数时，确定所述Agent的个数变更方式为删除对应个数的Agent。

为达到上述发明目的，本发明实施例还公开了一种数据处理装置，包括：