[发明专利]基于海量数据全文检索的行为异常识别方法及装置

摘要

一种基于海量数据全文检索的行为异常识别方法及装置，方法包括步骤；接收分布式应用服务集群发送的日志，并进行暂存；将暂存的日志通过消息通道发送给订阅端，订阅端实时消费发来的消息，将实时数据和离线数据存入数据存储模块；通过机器学习方式将实时数据输入异常检测模型进行异常检测学习训练，生成异常识别中间结果；结合异常维度规则信息，根据异常识别中间结果以及异常用户设备ID对应的离线数据，通过全文检索与统计算法计算输出异常识别结果数据。将无监控学习与有监控学习相结合，提高了分析的灵活度，加强了异常识别的合理性，适用于分布式高频度非结构化数据异常行为自动分析场景，能做到PB级海量数据异常识别并及时止损。