[发明专利]一种面向海量流式数据的分布式实时规则推理方法和装置

说明书

本发明涉及一种面向海量流式数据的分布式实时规则推理方法和装置。该方法包括：建立规则集对应的规则图；将规则图转化成数据操作图；根据数据操作图生成推理作业；根据截止期设置推理作业的优先级，将推理作业按照优先级递减顺序放入推理作业就绪队列；选择优先级最高的推理作业，创建推理任务，分配并执行推理任务；推理作业执行结束时将其从推理作业就绪队列中删除，并判断推理作业就绪队列是否为空队列：若不是空队列则继续执行；若是空队列则表示已完成输入事实与所有规则的匹配。本发明可在分布式环境下完成海量实时数据与规则的匹配，并使规则尽量在其截止期前完成，可用于具有时间约束的物联网应用，从而提高了实时物联网应用的智能化。

技术领域

本发明属于规则系统和实时技术领域，具体涉及一种面向海量流式数据的分布式实时规则推理方法和装置。

背景技术

规则推理将领域知识表示为规则，通过规则与事实的匹配，触发并执行规则，从而进行自动决策。它已被广泛应用于医疗诊断、地质勘探、智能决策等各种专家系统中。

近几年来，实时系统对智能化的需求日益增加，它们需要能够感知外部环境，并对其进行自动响应。在这种情况下，实时系统需要具有强大的推理能力，可以通过一系列传感器采集外部环境数据，对连续不断的事件流进行监视，从中识别出需要关注的场景，并进行自动决策，从而实时地执行动作对识别出的场景做出响应。因此，规则推理也开始应用于生产过程监控、高速列车在线故障诊断、电网自愈控制以及金融交易风险预警等实时系统。由于实时系统具有时间约束，系统中的任务需要在其截止期前完成，因此，规则推理中的规则也必须具有截止期(在这里，从与某条规则相关联的所有数据被系统接收开始到该规则所定义的动作完成之间的时间间隔被定义为该规则的推理延迟，而规则推理延迟的上限则被定义为该规则的截止期)。例如，在工厂仓库的火灾监测中，当温度过高、湿度过低和烟雾浓度异常时，则判断可能发生火灾并发出报警信息。由于系统从接收到温度湿度烟雾等数据到推理出火灾是否发生，并发出警报需要在10秒内进行完成，那么相应规则的截止期即为10秒。

随着物联网技术的普及，实时物联网应用，例如智能报警、车联网以及智能家居监控等在工业界的应用越来越广泛。此时，实时系统需要处理物联网应用中采集节点不间断产生的实时数据流，因此，规则推理必须具备处理这些海量实时数据的能力，且规则也需要尽可能地在其截止期前完成。

传统规则推理系统，例如CLIPS,DROOLS，都缺少对规则的并行处理能力，其规则匹配效率无法应对物联网环境下的海量实时数据，甚至会使规则无法及时匹配，造成数据流阻塞，从而导致数据丢失和事件漏判。虽然，专利CN107145949A利用计算机的多核资源，设计了多核环境下的实时规则推理方法，使规则的匹配效率得到了一定程度的提高，但规则推理依然被限制在本地，其性能仍然难以满足海量实时数据处理所带来的庞大资源需求。

虽然，学者们已经提出了一些面向流式数据的分布式实时推理方法(张琦.基于MapReduce的分布式规则匹配系统的研究与实现[D].浙江大学，2011.Yi Chen,BehzadBordbar.DRESS:A Rule Engine on Spark for Event Stream Processing.BDCAT2016.)。但这些方法都没有考虑规则截止期，会导致大量的规则截止期错失，从而使上层实时物联网应用的时间约束无法得到满足。

发明内容

针对规则推理系统现有技术的不足，本发明提供一种新的面向海量流式数据的分布式实时规则推理方法和装置，该方法可在分布式环境下完成海量实时数据与规则的匹配，使规则尽可能地在其截止期前执行完毕。

本发明的一种面向海量流式数据的分布式实时规则推理方法，包括以下步骤：

1)建立规则集所对应的规则图；

2)将规则图转化成相应的数据操作图；

3)根据数据操作图生成推理作业；