[发明专利]日志的分析方法及系统

说明书

本发明涉及日志监控领域，提供一种日志的分析方法，包括步骤：根据预设的采集代理获取待监测系统的至少一个日志文件，其中，每个日志文件包括对应的操作人ID；将所述日志文件发送给预设的服务器，并对所述日志文件进行分片存储；对每个日志文件进行字段解析，得到每个日志文件中的多个目标字段值，并根据多个目标字段值判断与每个日志文件对应的操作人ID是否符合预设的告警规则，其中，所述告警规则包括第一告警规则、第二告警规则和第三告警规则；当所述操作人ID符合所述告警规则时，发送相应的告警信息给风控平台，以使所述风控平台对所述操作人ID执行阻断操作。通过本发明实施例，能够对外网环境的爬虫行为进行实时监测和阻断。

技术领域

本发明实施例涉及日志监控领域，尤其涉及一种日志的分析方法、系统、计算机设备及存储介质。

背景技术

现有的业务系统中，需要给公司的合作伙伴、业务员和供应商等开通拥有业务系统权限的账号，但是由于这些账号通过外网登录，无法对其进行实时监控。若外网的账号通过爬虫爬取业务系统，现有技术无法对其实时进行监控，只能事后通过日志分析来识别外网账号的爬虫行为。即使发现进行中的爬虫行为，如果爬虫有维持会话功能，也无法及时遏止爬虫行为。

因此，本方案旨在解决现有技术中无法对外网环境的爬虫行为进行实时监测和阻断的问题。

发明内容

有鉴于此，本发明实施例提供了一种日志的分析方法、系统、计算机设备及计算机可读存储介质，能够对外网环境的爬虫行为进行实时监测和阻断。

本发明实施例是通过下述技术方案来解决上述技术问题：

一种日志的分析方法，包括：

根据预设的采集代理获取待监测系统的至少一个日志文件，其中，每个日志文件包括对应的操作人ID；

将所述日志文件发送给预设的服务器，并对所述日志文件进行分片存储；

对每个日志文件进行字段解析，得到每个日志文件中的多个目标字段值，并根据多个目标字段值判断与每个日志文件对应的操作人ID是否符合预设的告警规则，其中，所述告警规则包括第一告警规则、第二告警规则和第三告警规则；

当所述操作人ID符合所述告警规则时，发送相应的告警信息给风控平台，以使所述风控平台对所述操作人ID执行阻断操作。

进一步地，所述对每个日志文件进行字段解析，得到每个日志文件中的多个目标字段值，并根据多个目标字段值判断与每个日志文件对应的操作人ID是否符合预设的告警规则，包括：

根据字段提取器对每个日志文件中的字段进行提取，以得到多个目标字段值，其中，所述目标字段值的数据类型至少包括：源IP、请求时间、操作人ID和请求链接；

计算预设时间段内每个操作人ID的数量，并将每个操作人ID的数量与预设的阈值进行比较；

若目标操作人ID的数量大于所述阈值，则判断所述目标操作人ID符合所述第一告警规则。

进一步地，所述根据字段提取器对每个日志文件中的字段进行提取，以得到多个目标字段值之后，还包括：

将所述请求链接与预设的告警请求链接进行比对，若所述请求链接中存在与所述告警请求链接相同的目标请求链接，则判定与所述目标请求链接对应的目标操作人ID符合所述第二告警规则。

进一步地，所述根据字段提取器对每个日志文件中的字段进行提取，以得到多个目标字段值之后，还包括：

基于决策树算法、所述第一告警规则和所述第二告警规则建立安全模型；

根据符合所述第一告警规则或所述第二告警规则的字段值及预设的样本数据对所述安全模型进行训练，以调整所述安全模型的参数；