[发明专利]一种数据处理方法和装置

说明书

本申请提供一种数据处理方法和装置，涉及数据处理技术领域。通过建立统一的数据订单模型，接收数据查询请求，根据数据查询请求携带的索引字段查询分级数据库，如第一子数据库，第一子数据库包括来自不同订单数据中的多个第一数据字段，属于同一订单数据的数据字段之间存在关联关系；当索引字段与多个第一数据字段中的一个第一数据字段匹配时，根据关联关系从第一子数据库中获取目标订单数据包括的第一数据字段。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法和装置。

背景技术

目前，通信行业的业务订单系统众多，不同省份、不同渠道、不同系统的订单模型各有不同，订单流程也大不相同，通信运营商无法统一管理全部订单，实现全部订单的统一收集、处理和查看等，不同的订单需要各省份、各渠道自行汇总上报，从而无法保证数据的及时性、准确性和有效性，同时也为后续的订单数据维护等带来了很大困难。

另外，随着社会发展和用户需求的不断变化，业务订单的订单模型也在不断更新。面对汇总的海量订单数据，不同订单模型之间的关系结构复杂，关联关系众多，如何在海量订单数据中，实现高效、高频次的实时数据查询是当前亟待解决的问题。

发明内容

本申请的实施例提供一种数据处理方法和装置，用于解决现有数据模型差异大，无法统一处理和呈现的问题，以及海量订单数据对数据查询检索的要求的满足。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，提供一种数据处理的方法，该方法包括：接收数据查询请求，所述数据查询请求携带索引字段，所述数据查询请求用于查询目标订单数据；根据所述索引字段查询分类数据库，所述分类数据库包括第一子数据库，所述第一子数据库包括来自不同订单数据中的多个第一数据字段，所述分类数据库中属于同一订单数据的数据字段之间存在关联关系，所述数据字段包括所述第一数据字段；当所述索引字段与所述多个第一数据字段中的一个第一数据字段匹配时，根据所述关联关系从所述第一子数据库中获取所述目标订单数据包括的第一数据字段，所述目标订单数据为所述匹配的第一数据字段所属的订单数据；根据所述目标订单数据包括的第一数据字段和第一订单模型，输出所述目标订单数据，所述第一订单模型是基于所述多个第一数据字段训练得到的。

在第一方面的一种可能的实现方式中，所述分类数据库还包括第二子数据库，所述第二子数据库包括来自所述不同订单数据中的多个第二数据字段，所述多个第二数据字段的优先级低于所述多个第一数据字段的优先级，所述方法还包括：根据所述匹配的第一数据字段和所述关联关系从所述第二子数据库中获取所述目标订单数据包括的第二数据字段；其中，根据所述目标订单数据包括的第二数据字段和第二订单模型，更新输出的所述目标订单数据，所述第二订单模型是基于所述多个第二数据字段训练得到的。

在第一方面的一种可能的实现方式，所述多个第一数据字段的优先级和所述多个第二数据字段的优先级与所述数据字段的重要程度和/或所述数据字段所在的订单数据的类型有关。

在第一方面的一种可能的实现方式，所述方法还包括：确定所述多个第一数据字段中每个第一数据字段的访问频率；当某个第一数据字段的访问频率小于第一频率阈值时，降低所述第一数据字段的优先级，并将所述第一数据字段移动至所述第二子数据库。

在第一方面的一种可能的实现方式中，所述方法还包括：确定所述多个第二数据字段中每个第二数据字段的访问频率；当某个第二数据字段的访问频率大于第二频率阈值时，提高所述第二数据字段的优先级，并将所述第二数据字段移动至所述第一子数据库。

在第一方面的一种可能的实现方式中，所述方法还包括：当所述第一子数据库包括的所述多个第一数据字段发生变化时，根据变化后的多个第一数据字段更新所述第一订单模型。

在第一方面的一种可能的实现方式中，所述方法还包括：当所述第二子数据库包括的所述多个第二数据字段发生变化时，根据变化后的多个第二数据字段更新所述第二订单模型。