[发明专利]数据电商的一种高效的技术框架

说明书

技术领域

本发明涉及异构非结构化数据融合、大数据分类标准化、RESTAPI接口与权限、数据电商交易支付服务和数据接口流量计费5个技术领域，具体是数据电商的一种高效的技术框架。

背景技术

当今已经是数据大爆炸的时代，各个行业面临着大部分的问题：

1、集中管理互联网数据。从无规则、无行业分类的互联网获取到针对性的行业价值的信息。

2、海量数据的存储，快速读写与容灾。

3、集群管理维护难。原有系统没有一个从硬件到软件到服务状态的整体监控和管理系统。

4、数据分享。通过文件方式、数据库等重型方式分享数据，并且需要用户自己开发实现数据API调用。

5、数据交易。数据资源雷同于矿产资源是可以被交易买卖的，需要将数据以可度量的服务方式对外提供支付功能。

6、数据接口计费。传统的模式只是按文件的形式给第三方提供数据，一次性付费，无法实施更新客户已交付的数据。

发明内容

为了解决以上的问题，本发明提出了数据电商的一种高效的技术框架；本发明是以大数据开放技术和电商交易技术为基础，以互联网模式为第三方和大众用户提供数据服务的一种技术框架（称DataMall框架），该方法用以填补了市面互联网大数据分享和交易平台数据成果使用的部分短板。解决了互联网混合结构数据整理与汇总、面向大众的数据开放、数据交易支付、数据权限控制、以及数据服务计费等难题。

这种数据电商所依赖的技术框架包含五个子模块，分别为：混合数据结构的数据整理汇总（dGather）模块、数据REST开放服务（dOpen）模块、数据权限控制（dAuth）模块、数据商品交易服务（dTrade）模块和数据服务计费（dCharge）模块。其中，dGather数据整理汇总模块、dOpen开放模块和dAuth数据权限控制三部分被定义为DataMall框架数据端（dmall-Data）：负责数据电商数据整合，并提供给用户可以使用数据的方式；dTrade模块和dCharge模块统称定义为DataMall框架销售端(dmall-Sale)：负责将可以使用的数据销售给大众用户，并且对数据的使用方式进行计费。

本发明目的是基于“大数据数据工厂、开放数据接口、电商模式交易数据、按实际使用付费”的思路完成大数据的数据交易。将客户定义的一个数据需求，进行智能的匹配采；将定义好的一个需求主题经过本发明的dmall-data系统进行多任务化为任务集合，集合中任意一个任务可再按维度细化成子任务，按照主从心跳模式由调度节点分配给执行节点执行汇总，对于执行完采集的节点，调度节点主动进行整理，采取分布式存储，并与行业内部组织数据进行整合分析的技术。同时，将采集到的互联网数据通过dOpen系统结合dAuth权限方式以轻量级方式分享给用户，以可度量的dCharge服务方式对外提供dTrade支付交易。

DataMall框架技术实现思路分如下步骤：

步骤1、dGather根据配置参数，自动匹配行业模板及其汇总方法，并回馈给客户以验证是否符合要求。如果不符合，提供给用户自定义数据管理和汇总方法。

步骤2：确定汇总任务模板，dGather中<适配功能>首先接收到这个模板，将模板分解为多个汇总任务，并将每个任务分配给调度监

控集群。

步骤3：汇总整理调度节点根据任务进行按维度划分，并负责将各个子任务分配给执行节点，同时监控执行情况。对于异常进行动态迁移到正常执行节点。调度节点与执行节点依赖MapReduce计算模型。

步骤4：第三方用户如果想获取DMall的数据服务请求，首先通过dAuth进行权限认证，验证是否为合法用户，是否有相应的数据权限。

步骤5：通过dAdapter将用户的请求分解并适配到对应主题所在的节点上，系统将汇总后的结构反馈给用户。

步骤6：汇总到开放库的数据通过dOpen模块开放为第三方接口，同时接入dTrade在线商城交易，完成数据商品推送到用户。

步骤7：用户拿到交易数据商品以后，可以通过API接口的方式访问数据，数据将以json、dmp文件、sql文件等方式返回。同时，系统通过dCharge计费模块实现数据商品的流量付费功能。

本发明的有益效果是：

数据商品交易