[发明专利]一种复杂时序事件检测方法及装置

说明书

本发明公开了一种复杂时序事件检测方法及装置，用以解决现有的事件检测的准确性低的问题。所述复杂时序事件检测方法，包括：对接收的每一条待检测数据标注系统时间戳，其中，所述待检测数据携带有记录时间戳；确定当前时间周期的水位线；将所述当前时间周期内的记录时间大于所述水位线的待检测数据缓存至优先队列中，并按照记录时间的先后顺序对所述优先队列中的待检测数据进行重排序；每当所述水位线更新时，将所述优先队列中记录时间小于所述更新后的水位线的待检测数据从所述优先队列中移出；根据预设的规则森林以及从所述优先队列中移出的每一条待检测数据的系统时间和记录时间对从所述优先队列中移出的每一条待检测数据进行检测。

技术领域

本发明涉及信息安全技术领域，尤其涉及一种复杂时序事件检测方法及装置。

背景技术

复杂事件检测是通过关联、聚合、时序等方式发现海量数据集中用户定义的有意义的事件的方法。在信息安全技术领域中，复杂时序事件(即有时序关系的复杂事件)的检测尤为重要。例如“Redis未授权漏洞利用成功并SSH(Secure Shell，安全外壳协议)登录”事件，只有当发生了“Redis未授权漏洞利用”告警之后，再出现SSH端口的较长时长的会话连接或者“SSH登录尝试”告警，才可以证明攻击者利用了相应漏洞并且成功登录，如果会话连接或者“SSH登录尝试”告警出现在“Redis未授权漏洞利用”告警之前，或者多种类型的日志交替出现，则有可能是存在误报或者属于扫描事件的几率比较大。

复杂时序事件检测的一种通用的方式为在数据命中前置条件时写入缓存，后续出现的数据与缓存的前置条件进行比对，判断是否满足时序关系。然而，数据在经过各分布式组件如Kafka(分布式消息队列)时，由于存在多个分区且仅能保证各个分区内部有序，则整体数据是存在局部乱序的，如何在数据局部乱序的情况下识别出时序事件为一个难点。另外，由于接入的数据源复杂多样，实时数据和延迟数据混杂在一起，如何合理处理前置条件的超时问题为另一个难点。无论是存在数据局部乱序，还是不能合理处理前置条件的超时问题，均会影响事件检测的准确性。

发明内容

为了解决现有的事件检测的准确性低的问题，本发明实施例提供了一种复杂时序事件检测方法及装置。

第一方面，本发明实施例提供了一种复杂时序事件检测方法，包括：

对接收的每一条待检测数据标注系统时间戳，其中，所述待检测数据携带有记录时间戳，所述系统时间用于表征接收所述待检测数据时的时间，所述记录时间用于表征所述待检测数据生成的时间；

确定当前时间周期的水位线，所述水位线用于表征时间标准；

将所述当前时间周期内的记录时间大于所述水位线的待检测数据缓存至优先队列中，并按照记录时间的先后顺序对所述优先队列中的待检测数据进行重排序；

每当所述水位线更新时，将所述优先队列中记录时间小于所述更新后的水位线的待检测数据从所述优先队列中移出；

根据预设的规则森林以及从所述优先队列中移出的每一条待检测数据的系统时间和记录时间对从所述优先队列中移出的每一条待检测数据进行检测，其中，所述规则森林为根据预设的各时序规则的子项和时序关系生成的，所述规则森林的每颗规则树从根节点到叶子节点的分支路径对应一个时序规则。