[发明专利]交易量实时监测方法与系统

权利要求书

1.一种交易量实时监测方法，其特征在于，基于交易量实时监测系统，所述交易量实时监测系统包括：数据通道、流计算平台和训练平台；所述数据通道用于接收交易数据；所述交易数据是用户或上游系统发起交易时的采集的；

所述交易量实时监测方法包括：

所述流计算平台获取所述数据通道中的实时交易数据并统计出实时交易量；

所述流计算平台将所述实时交易数据和交易量数据存至数据通道和数据库；所述训练平台用于进行离线机器学习模型训练，得到初始的机器学习模型，并根据所述数据库中数据进行周期性的机器学习模型训练；其中，在任一周期的训练过程中，所述训练平台获取所述数据通道中预设时间范围内的数据，根据获取的数据训练所述初始的机器学习模型或上一周期训练得到的机器学习模型，将训练好的机器学习模型和模型参数发布至所述流计算平台；所述预设时间范围的终点为所述任一周期的开始时刻；

所述流计算平台使用所述实时交易数据作为自定义算子的输入，输出对未来N个时间切片的交易量预测结果；N为正整数；所述自定义算子包括所述流计算平台定期加载的、最新训练好的机器学习模型和模型参数；

所述流计算平台将所述实时交易量，与相应的交易量预测结果进行偏差度计算；

若偏差度大于预定值时，所述流计算平台推送预警信号；所述相应的交易量预测结果包括：当前时刻所对应的时间切片的交易量预测结果。

2.如权利要求1所述的方法，其特征在于，

所述数据通道中的交易数据为交易日志；

所述流计算平台部署有第一至第三流计算作业；

所述获取所述数据通道中的实时交易数据并统计出交易量数据包括：

第一流计算作业从所述数据通道中获取交易日志，从获取的交易日志筛选出预设维度的交易日志，对筛选出的交易日志进行时间切片和预处理，以加工出时间序列数据流；所述预处理至少包括：统计每一时间切片内的交易量；所述时间序列数据流包括：按时间切片分布的交易量；

所述使用所述实时交易数据作为自定义算子的输入，输出对未来N个时间切片的交易量预测结果包括：

第二流计算作业使用所述时间序列数据流作为输入，将加载的、最新训练好的机器学习模型和模型参数嵌入为自定义算子，由所述时间序列数据流触发进行实时预测，并输出预测交易量数据流；所述预测交易量数据流包括：未来N个时间切片的预测交易量；

所述将所述实时交易量，与相应的交易量预测结果进行偏差度计算包括：

第三流计算作业拉取所述第一流计算作业加工的时间序列数据流，按时间切片与第二流计算作业的预测交易量数据流，进行偏差度计算。

3.如权利要求1或2所述的方法，其特征在于，离线机器学习模型训练的训练过程或任一周期的训练过程包括：

所述训练平台获取历史交易数据和对应的历史交易量数据作为样本；

将样本划分至训练集、验证集和测试集；

向机器学习模型输入所述训练集中的样本由机器学习模型进行N个时间切片的交易量预测，得到交易量预测值；

根据N个时间切片的交易量预测值和时间相对应的历史交易量数据，使用L2正则化的加权交叉熵损失函数计算样本的损失值；在所述加权交叉熵损失函数中，负样本的权重高于正样本的权重；所述负样本包括：交易量预测值与相应的历史交易量数据的偏差度大于预设值的样本；

根据计算出的损失值进行参数调整。

4.如权利要求3所述的方法，其特征在于，所述训练过程还包括：

接收对负样本的人工复核结果；所述人工复核结果用于表征所述负样本是真正的负样本，或者，是被误识别为负样本的正样本；

根据所述人工复核结果，对所述训练集中的样本进行标识；标识后的训练集中的样本用于下一次迭代训练使用。

5.如权利要求3所述的方法，其特征在于，训练过程还包括：

对训练得到的机器学习模型的预测有效性进行验证。