[发明专利]发现数据异动的方法和系统

说明书

本公开涉及一种发现数据异动的方法和系统，所述方法包括：接收源自业务场景的数据序列；对所述数据序列应用滑动窗；确定所述滑动窗内的数据的中位数；将所述滑动窗内的数据的每一数据点与所述中位数相比较以确定所述数据点是否在所述中位数的上浮阈值和下浮阈值的范围内，从而确定是否存在数据异动；以及以特定步长在所述数据序列上滑动所述滑动窗以取下一组数据并重复以上确定中位数和确定是否存在数据异动的步骤，其中所述滑动窗的大小、所述步长、所述上浮阈值以及所述下浮阈值中的至少一者是因源自不同业务场景的数据而异的。

技术领域

本发明涉及发现数据异动的方法和系统。

背景技术

随着计算机技术的不断进步和发展，其不断延伸进入社会生活的各个方面，产生了各种智能自助系统、智能问答系统等等，使得各种业务进入了数字化和电子化的时代。例如，智能问答系统一般被用于向用户提供帮助和服务，从而节约人力资源、提高信息处理的自动化并降低运行成本。

对于智能问答系统而言，受限时活动类业务或者新业务上线的影响，用户咨询量可能会暴增；受系统异常影响，用户咨询量可能会骤减。这种数据异动情况对于智能问答系统所提供的服务而言可能是不利的。因此，需要实时发现诸如咨询量变化之类的数据异动，并且据此找出异动原因，以便采取相应的应对策略。

现有的实时监控平台仅限于使用简单的规则来发现异动，一般有如下两种方式：1、数据量同比或者环比超过一定的幅度，则认为是异动；2、通过均值加上几倍标准差的方式来寻找异动。这两种方式的共同缺点在于其逻辑是固定的，不能够随着时间变化来自动优化。

例如，对于第一种方式(即，同比环比超出一定幅度)而言，缺点在于：1、需要设定一个固定的阈值，阈值大小没有参考标准；2、如果当天发生异常，上升幅度高于设定的阈值，被认为是异动；但是当第二天恢复正常的时候，会因为下降的幅度过大，也会被认为是异动，产生误报的情况。

对于第二种方式(即，均值加上标准差)而言，缺点在于：1、统计学常用的确定异动的方式仅仅适用于服从正态分布的数据情况，因而其使用场景受限；2、如果某个异常点与正常点偏离过大，则会拉高均值，从而使其他偏离不是那么大的异常点被认为是正常点，从而产生漏报的情况。

因而，需要对现有技术的上述以及其他缺陷的改进方案。

发明内容

根据本公开的第一方面，提供了一种发现数据异动的方法，包括：接收源自业务场景的数据序列；对所述数据序列应用滑动窗；确定所述滑动窗内的数据的中位数；将所述滑动窗内的数据的每一数据点与所述中位数相比较以确定所述数据点是否在所述中位数的上浮阈值和下浮阈值的范围内，从而确定是否存在数据异动；以及以特定步长在所述数据序列上滑动所述滑动窗以取下一组数据并重复以上确定中位数和确定是否存在数据异动的步骤，其中所述滑动窗的大小、所述步长、所述上浮阈值以及所述下浮阈值中的至少一者是因源自不同业务场景的数据而异的。

根据一实施例，所述方法包括在所述数据点减去所述中位数所得的差值同所述中位数之比大于所述中位数的上浮阈值，或者所述中位数减去所述数据点的差值同所述中位数之比大于所述中位数的下浮阈值时，确定该数据点是异动数据点。

根据另一实施例，所述方法还包括在确定存在数据异动后，记录和/或向用户通知这一数据异动。

根据又一实施例，所述方法还包括从所述用户接收对数据异动的反馈并基于所述反馈来调整所述滑动窗的大小、所述步长、所述上浮阈值以及所述下浮阈值中的至少一者。

根据又一实施例，所述方法还包括在接收到来自所述用户的与数据异动召回有关的反馈后，调整所述滑动窗的大小、所述步长、所述上浮阈值以及所述下浮阈值中的至少一者，以使得不再将该数据点确定为异动数据点。

根据又一实施例，所述滑动窗的大小、所述步长、所述上浮阈值以及所述下浮阈值是预定义的或者是基于历史数据通过训练过程来获得的。