[发明专利]一种海量实时舱位运价结果数据快速差异更新存储的方法

说明书

本发明涉及一种海量实时舱位运价结果数据快速差异更新存储的方法，其步骤：1）由GDS主动推送的海量舱位及运价结果数据经负载分发后，进行GDS主动推送数据更新；2）主动查询GDS舱位数据经内网分发后，进行主动查询GDS数据更新；3）自主运价计算数据经内网分发后，进行自主运价计算数据更新；4）经更新后的GDS主动推送数据、主动查询GDS舱位数据和自主运价计算数据存入持久化数据库后，并存入缓存和历史数据库中，完成海量实时舱位运价结果数据快速差异更新存储。本发明对历史数据进行增量变化存储，使数据可还原，易于描绘变化趋势。

技术领域

本发明涉及一种实时存储更新海量动态数据的方法，特别是关于一种在计算机领域中应用的海量实时舱位运价结果数据快速差异更新存储的方法。

背景技术

目前，全球航司舱位运价数据来源，一部分是来自各GDS（全球分销商）的数据，一部分是来自自主运价计算。无论数据来自哪一部分，最终在使用上如果需要达到近似实时的效果，都需要预先计算、缓存，务求查询使用时直接命中缓存结果。在数据量巨大，有需要实时检索的情况下，就需要用到现在一些通用的服务器端缓存技术。现有的技术都无法进行差异化更新，导致更新量大，当中航班无变化的属于无效更新，浪费时间与资源。

发明内容

针对上述问题，本发明的目的是提供一种海量实时舱位运价结果数据快速差异更新存储的方法，该方法对历史数据进行增量变化存储，使数据可还原，易于描绘变化趋势。

为实现上述目的，本发明采取以下技术方案：一种海量实时舱位运价结果数据快速差异更新存储的方法，其特征在于包括以下步骤：1）由GDS主动推送的海量舱位及运价结果数据经负载分发后，进行GDS主动推送数据更新；2）主动查询GDS舱位数据经内网分发后，进行主动查询GDS数据更新；3）自主运价计算数据经内网分发后，进行自主运价计算数据更新；4）经更新后的GDS主动推送数据、主动查询GDS舱位数据和自主运价计算数据存入持久化数据库后，并存入缓存和历史数据库中，完成海量实时舱位运价结果数据快速差异更新存储。

进一步，所述步骤1）中，GDS主动推送数据更新方法如下：（1）在与各GDS网络通讯状况良好稳定的节点建立数据中转服务，该数据中转服务接收GDS主动推送的数据后对接收到的数据进行并行读取，并按照负载分发策略进行特征分发； （2）在负载分发策略下将数据分发至存储服务器，由存储服务器将接收到的海量数据转换成有共同特点的数据后，再分发至后台若干台业务服务器内；（3）采用每台服务器均对接收到的数据进行特征检测，采用bloom filter对数据进行过滤，判断数据特征是否存在，即判断数据是否有变化，若数据无变化，则在bloom filter中命中已加入的数据特征，判断为无变化，结束更新；如果数据有变化，则由bloom filter过滤出来，进入下一步进行数据更新；（4）首先更新数据持久化部分，采用非关系结构化数据库，然后更新数据缓存部分：从数据持久化部分读取最近的数据，根据数据的时间戳判断已存储的数据与即将存储的数据哪个比较新，如果已存储的数据比即将存储的数据新，则抛弃当前操作，结束更新；如果即将存储的数据比已存储的数据新，则将即将存储的数据存入持久化数据库，并存入缓存；（5）判断数据更新过程是否成功，若更新成功，则将最新的数据存入历史数据库；若更新失败，则数据回滚并抛弃当前操作，结束更新。

进一步，所述步骤（1）中，负载分发策略采用一致性hash策略。

进一步，所述步骤2）中，主动查询GDS舱位数据更新方法如下：（1）读取主动查询GDS舱位数据，经内网分发至存储服务器进行存储；（2）在存储服务器内读取已有舱位数据，并判断当前的舱位数据是否比已有舱位数据新，若已有舱位数据比当前舱位数据新，则更新结束；反之，若当前舱位数据比已有舱位数据新，则将当前舱位数据存入持久化数据库，并覆盖历史数据，存入缓存；（3）判断数据更新过程是否成功，若更新成功，则将最新的数据存入历史数据库；若更新失败，则数据回滚并抛弃当前操作，结束更新。

进一步，所述步骤（2）中，根据需要按等级高低进行优先级排序，优先级低的不覆盖优先级高的。