[发明专利]日志自动搜索方法及系统

说明书

一种日志自动搜索方法及系统，涉及软件开发和测试领域，可应用于金融领域和其他领域，所述方法包含：根据用户提供日志搜索信息和预设的强化学习模型通过预设的搜索池中决策确定搜索策略；根据所述搜索策略对日志数据库中日志文件进行筛选搜索获得搜索结果；根据搜索结果与所述日志搜索信息的匹配度校正所述强化学习模型获得所述决策模型；获取待搜索日志信息，根据所述待搜索日志信息通过所述决策模型于日志数据库中筛选获得对应的目标日志。

技术领域

本发明涉及软件开发和测试领域，可应用于金融领域和其他领域，尤指一种日志自动搜索方法及系统。

背景技术

在软件系统的开发测试过程中，很多程序问题的发现和溯源都依赖于程序在执行过程中记录的日志。甚至于在生产环境中，很多生产问题的实时监控和报警都依赖于日志信息。

由于软件系统的请求量和并发度的不断提高，集中式架构的软件系统已经不足以支持正常的业务需求。现有大型软件系统大都使用分布式架构，或者在向分布式架构转型进程中。在分布式架构系统中，程序运行时的日志信息分散到了集群中的众多服务器中，如何在日志海洋中快速准确找到所需要日志信息，成为每个程序员的必修课。

现有日志搜索方法中，较多使用跟随服务全流程的流程ID(tranceId)进行相关日志搜索，将匹配到这个tranceId的日志信息认为是搜索命中的信息，这种方法虽然能命中全流程日志信息，但是一个服务全流程的日志信息过于冗余，开发测试的时候有时候只需要全流程中某个节点的日志信息，需要二次搜索，且这种方法日志量过大，会增加搜索和下载日志的时间消耗；在此基础上，也有一些搜索方法结合tranceId和事件编号(eventNo)搜索服务全流程中某个节点的信息，这种搜索方法需要服务中每个节点记录上游调用方传递过来的eventNo作为该节点的关联事件编号(relatedEventNo)，而该节点需要生成新的事件编号(eventNo′)，这种方式类似于双向链表，可以根据eventNo搜索到某个节点和其上下游的日志信息，这种方法能够较为精确地命中节点日志，与tranceId结合能从该节点的日志信息进行发散，搜索到需要的日志。

上述方法的搜索流程虽然能搜索到较为全面具体的日志信息，但是属于重复的认为动作，需要程序员由eventNo出发，搜索到所有分布式机器中带有该eventNo的日志，再从日志信息中的tranceId搜索全部的日志信息进行分析。这种搜索方法日志搜索的时间比较长，冗余的日志信息也增大了程序员分析日志查找问题的精力损耗。

发明内容

本发明目的在于提供一种日志自动搜索方法及系统，通过深度强化模型DQN(DeepQ-Learning)对日志搜索的操作进行学习，使用海量日志信息进行训练，使得该模型能自动对日志进行搜索，有效地降低了搜索日志过程中地搜索时间，降低搜索内容的冗余程度，解放人力，自动搜索到准确的日志信息。

为达上述目的，本发明所提供的日志自动搜索方法所述方法包含：根据用户提供日志搜索信息和预设的强化学习模型通过预设的搜索池中决策确定搜索策略；根据所述搜索策略对日志数据库中日志文件进行筛选搜索获得搜索结果；根据搜索结果与所述日志搜索信息的匹配度校正所述强化学习模型获得所述决策模型；获取待搜索日志信息，根据所述待搜索日志信息通过所述决策模型于日志数据库中筛选获得对应的目标日志。

在上述日志自动搜索方法中，优选的，所述搜索策略包含通过关键信息全局搜索日志文件策略、通过关键信息二分法搜索日志文件策略、通过多个关键信息进行链式搜索日志文件策略和通过多个关键信息依次单个冗余搜索并取日志文件交集策略。

在上述日志自动搜索方法中，优选的，获取待搜索日志信息包含：将服务器的日志文件下载并存储至预定的日志数据库。

在上述日志自动搜索方法中，优选的，将服务器的日志文件下载并存储至预定的日志数据库还包含：通过所述决策模型于多个预设的下载策略中确定当前应用的下载策略，根据确定的下载策略于所述服务器中下载日志文件。