[发明专利]交易量实时监测方法与系统

说明书

本发明实施例提供交易量实时监测方法与系统，可实时对交易量进行统计，并预测未来的交易量，得到交易量预测值，然后对同一时刻的真实交易量和交易量预测值进行偏差度计算，当偏差超过预定值时，进行实时预警，方便运营人员及时发现异常，并作出应急处置，避免巨额经济损失。并且，在本发明实施例中，机器学习模型的训练，以及交易量的预测是同时在生产上运行的。一方面，训练平台周期性获取数据库中的数据，以训练更新机器学习模型，并将训练好的机器学习模型和模型参数发布至流计算平台；另一方面，流计算平台定期加载最新的机器学习模型和模型参数进行实时交易量的预测。这样可对机器学习模型进行快速迭代，对业务和交易的实际变化适应更快速。

技术领域

本发明涉及大数据处理技术领域，特别涉及交易量实时监测方法与系统。

背景技术

随着线上产品和业务的不断发展，一些恶意交易行为(例如攻击、“薅羊毛”)随之而来，并有愈演愈烈的趋势。这些被攻击或薅羊毛的线上产品或业务在遭受非正常申请时，都会在短时间内出现明显异常的交易量波动；而如果能够快速检测出异常的交易量波动，就可以为应对恶意交易行为争取更多时间，也能挽回巨大的经济损失。

发明内容

有鉴于此，本发明实施例提供交易量实时监测方法与系统，以快速检测出异常的交易量波动。

为实现上述目的，本发明实施例提供如下技术方案：

一种交易量实时监测方法，基于交易量实时监测系统，所述交易量实时监测系统包括：数据通道、流计算平台和训练平台；所述数据通道用于接收交易数据；所述交易数据是用户或上游系统发起交易时的采集的；

所述交易量实时监测方法包括：

所述流计算平台获取所述数据通道中的实时交易数据并统计出实时交易量；

所述流计算平台将所述实时交易数据和交易量数据存至数据通道和数据库；所述训练平台用于进行离线机器学习模型训练，得到初始的机器学习模型，并根据所述数据库中数据进行周期性的机器学习模型训练；其中，在任一周期的训练过程中，所述训练平台获取所述数据通道中预设时间范围内的数据，根据获取的数据训练所述初始的机器学习模型或上一周期训练得到的机器学习模型，将训练好的机器学习模型和模型参数发布至所述流计算平台；所述预设时间范围的终点为所述任一周期的开始时刻；

所述流计算平台使用所述实时交易数据作为自定义算子的输入，输出对未来N个时间切片的交易量预测结果；N为正整数；所述自定义算子包括所述流计算平台定期加载的、最新训练好的机器学习模型和模型参数；

所述流计算平台将所述实时交易量，与相应的交易量预测结果进行偏差度计算；

若偏差度大于预定值时，所述流计算平台推送预警信号；所述相应的交易量预测结果包括：当前时刻所对应的时间切片的交易量预测结果。

可选的，所述数据通道中的交易数据为交易日志；所述流计算平台部署有第一至第三流计算作业；所述获取所述数据通道中的实时交易数据并统计出交易量数据包括：第一流计算作业从所述数据通道中获取交易日志，从获取的交易日志筛选出预设维度的交易日志，对筛选出的交易日志进行时间切片和预处理，以加工出时间序列数据流；所述预处理至少包括：统计每一时间切片内的交易量；所述时间序列数据流包括：按时间切片分布的交易量；所述使用所述实时交易数据作为自定义算子的输入，输出对未来N个时间切片的交易量预测结果包括：第二流计算作业使用所述时间序列数据流作为输入，将加载的、最新训练好的机器学习模型和模型参数嵌入为自定义算子，由所述时间序列数据流触发进行实时预测，并输出预测交易量数据流；所述预测交易量数据流包括：未来N个时间切片的预测交易量；所述将所述实时交易量，与相应的交易量预测结果进行偏差度计算包括：第三流计算作业拉取所述第一流计算作业加工的时间序列数据流，按时间切片与第二流计算作业的预测交易量数据流，进行偏差度计算。