[发明专利]一种铁路数据状态评估方法及系统

说明书

本发明实施例提供一种铁路数据状态评估方法及系统，该方法包括：收集系统运行时产生的与待处理数据相对应的外部特征参数集；将外部特征参数集输入至冷热状态分析模型，获取冷热状态分析模型输出的冷热状态分析结果；其中，冷热状态分析模型是基于隐马尔可夫模型建立，并利用外部特征参数集样本以及与所述外部特征参数集样本对应的冷热状态分析结果标签训练后得到的。本发明实施例提供的铁路数据状态评估方法及系统，利用隐马尔可夫模型建立的冷热状态分析模型，通过数据外部特征参数准确地预测数据的内部状态，并根据内部状态梳理铁路现有业务系统及数据使用模式，确定铁路分类分级存储方案，很大程度上提高了铁路系统的数据服务能力。

技术领域

本发明涉及计算机技术领域，尤其涉及一种铁路数据状态评估方法及系统。

背景技术

近年来，随着铁路信息化建设的逐步深入，系统覆盖面越来越广，积累的数据量越来越大。据初步统计，铁路数据总量已达PB级，日增长量超TB级。目前，我国铁路系统业已建立涵盖车、机、工、电、辆各专业的PB级大数据湖，实现了铁路数据的大集中、统一管理、按需搬运，消除了跨行业、跨专业、跨系统信息孤岛和数据鸿沟。铁路数据湖主要包括：铁路总公司统建的各专业数据资源、需向各业务系统或用户提供面向业务分析的各种数据资源以及计算资源等，同专业和跨专业的数据存储、分配和提取是数据资产湖的研究重点和难点之一。

目前，采用的数据按需分区存储，本质上是一个离散的匹配方法，由于业务系统使用数据的复杂性，管理者很难对业务系统抽取数据和使用数据实际状态进行准确地评估和预测。例如：常用的阈值监测法，其往往需要人为预先设定阈值，导致自适应性差，主观性强，且业务系统包含多个子系统，每个子系统又可由多个特征参数表征，仅凭部分参数无法准确地推断系统数据使用实际状态。因此，该办法有着很大的局限性。

另外，现今热门的基于人工神经网络进行数据处理的方法，利用一组已知类别的样本，调整模型分类器的参数，使其达到最佳的分类性能。但采用该方法对业务系统数据使用状态评估缺点较为明显：1)很难获取已知类别的样本，即业务系统抽取数据特征很难通过人工或者经验判断其所反映的真实状态；2)无法建立起数据使用过去、现在和未来状态之间的联系。

再者，也有不少学者提出利用隐马尔可夫模型开展状态评估及预测，但大多面向实体机器或网络安全等方面，目前暂无应用于数据领域的研究，更未针对铁路大数据自身的特点进行过研究。

综上所述，亟需提供一种先进、高效的，且针对铁路数据特点的状态评估方法，以优化数据存储方式，提高铁路系统业务数据使用及检索效率。

发明内容

本发明实施例提供一种铁路数据状态评估方法及系统，用以解决现有技术中对于铁路数据存储方式落后缺陷，实现数据冷温热存储划分，优化数据存储设备和业务分析执行效率。

第一方面，本发明实施例提供一种铁路数据状态评估方法，包括：收集系统运行时产生的与待处理数据相对应的外部特征参数集；将外部特征参数集输入至冷热状态分析模型，获取冷热状态分析模型输出的冷热状态分析结果；其中，冷热状态分析模型是基于隐马尔可夫模型建立，并利用外部特征参数集样本以及与外部特征参数集样本对应的冷热状态分析结果标签训练后得到的。

进一步地，在取冷热状态分析模型输出的冷热状态分析结果之后，还包括：基于铁路数据的温度以及业务类别，将数据湖存储区域划分为冷数据区、温数据区和热数据区；根据冷热状态分析结果将待处理数据归入冷数据区、温数据区或热数据区。

进一步地，隐马尔可夫模型用五元组{S,O,A,B_i,π}表示，其中，S为隐含状态分类集合，O为模型输出的观测值集合，A表示隐含状态概率转移矩阵，B表示观测转移概率矩阵，π表示初始状态分布。

进一步地，上述隐含状态分类集合S为：

S＝(s₁,s₂,s₃)