[发明专利]用于在企业网络中检测异常主机的机器学习系统

摘要

本发明公开了一种用于在企业网络中检测异常主机的机器学习系统。所述机器学习系统包括数据收集子系统、数据处理子系统、三阶段机器学习子系统和标记报警子系统，所述四个子系统顺次衔接，所述数据收集子系统收集企业网络中各类安全信息后，传递给所述数据处理子系统，所述数据处理子系统对数据进行标准化和特征提取处理后，将特征向量传递给所述三阶段机器学习子系统，所述三阶段机器学习子系统对安全信息进行逐级求精的甄别和筛选，将异常主机的信息传递给所述标记报警子系统，所述标记报警子系统对异常主机进行标记，对达到报警要求的异常主机和安全事件进行报警。所述机器学习系统能够解决现有技术存在的报警量大、虚警率高的问题。

主权项

1.一种用于在企业网络中检测异常主机的机器学习系统，其特征在于：所述机器学习系统包括数据收集子系统、数据处理子系统、三阶段机器学习子系统和标记报警子系统，所述四个子系统顺次衔接，所述数据收集子系统收集到企业网络中各类与安全相关的信息之后，传递给所述数据处理子系统，所述数据处理子系统对数据进行标准化处理和特征提取处理后，将提取的特征向量传递给所述三阶段机器学习子系统，将异常主机的信息传递给所述标记报警子系统，所述标记报警子系统对异常主机进行标记，根据预先确定的报警策略，对达到报警要求的异常主机和安全事件进行报警，供安全处理中心进行安全审计；其中，所述数据收集子系统用于收集与企业网络相关的所有安全日志数据，包括结构化数据、半结构化数据和/或非结构化数据；所述数据收集子系统包括若干个数据代理和一个数据解析模块，每个数据代理负责从对应的应用系统中收集安全相关的数据，数据解析模块负责对各数据代理收集的安全数据进行处理和解析，并将解析结果传递给所述数据处理子系统；其中，所述数据处理子系统包括IP/主机映射模块、数据标准化处理模块和特征向量提取模块；所述IP/主机映射模块依据所述数据收集子系统传递过来的安全日志数据，实现IP地址与主机之间的相互映射，生成主机级别的视图；所述数据标准化处理模块按照事先设定的处理规则，对由所述IP/主机映射模块传递过来的数据进行标准化处理，保证数据的一致性和准确性；所述特征向量提取模块针对所述主机视图中的每台主机和/或服务器，根据所获得的安全数据，生成反映主机安全状态的特征向量，其中，每项特征数据构成特征向量的一个特征项；其中，所述三阶段机器学习子系统包括三个相互衔接的学习阶段，第一阶段采用多个无监督学习结果的汇总修正，这一阶段利用地理空间信息来检测异常，并为第二阶段的学习生成标签；第二阶段采用贝叶斯学习，结合隐马尔可夫模型，利用主机的时间信息，为第三阶段的学习生成标签；第三阶段是深层神经网络DNN学习，利用空间信息检测异常；所述第二阶段学习和第三阶段学习使用监督学习并相互更新，用第二阶段学习的输出作为第三阶段学习的输入，将第三阶段学习的输出反馈给第二阶段学习作为输入，进行迭代运算。