[发明专利]一种大数据引擎统一接入系统及方法

权利要求书

1.一种大数据引擎统一接入系统，其特征在于，该系统包括服务端，所述服务端包括：

数据服务SDK，其提供标准化的SDK，用于包括接收用户的数据服务请求，向计算引擎发送用户的数据服务请求，并获取计算引擎的数据服务响应的结果集；

统一路由接入层，其用于接收所述数据服务SDK发送的数据服务请求，根据标准化的URL，识别后端服务，统一进行路由分发，将所述数据服务请求发送至计算引擎进行处理；

计算引擎接入层，其用于解析由所述统一路由接入层分发的数据服务请求，并根据不同种类的数据服务请求选择适于处理所述数据服务请求的计算引擎，所述计算引擎根据所述数据服务请求返回响应结果；

引擎管理器，其用于根据对接的不同框架的计算引擎，选择与所述计算引擎相对应的引擎管理器，不同的计算引擎的引擎管理器适配多版本的引擎创建和回收。

2.根据权利要求1所述的系统，其特征在于，所述数据服务SDK同时支持异步和同步响应结果集，对于结果集的操作包括：迭代输出、下载文件和返回结果集地址。

3.根据权利要求1所述的系统，其特征在于，所述统一路由接入层还包括对所述数据服务SDK发送的数据服务请求进行权限验证、访问审计和参数合法性校验。

4.根据权利要求1所述的系统，其特征在于，所述计算引擎接入层还包括对解析后的数据服务请求进行参数合法性校验和数据权限校验。

5.根据权利要求1所述的系统，其特征在于，所述系统还包括服务注册中心，不同的数据服务请求采用所述服务注册中心进行数据服务的注册和发现。

6.根据权利要求1所述的系统，其特征在于，所述系统根据不同的数据服务请求创建并启动不同的数据服务进程，不同的数据服务进程之间采用RPC引擎进行通讯。

7.根据权利要求1所述的系统，其特征在于，所述计算引擎接入层对数据服务请求进行解释包括对数据服务请求进行语法解析，识别出依赖的数据源信息；所述计算引擎接入层根据所述数据源信息进行预测，选择适用于处理所述数据服务请求的计算引擎。

8.根据权利要求1所述的系统，其特征在于，所述系统采用容器化进行资源管理，包括：所述系统根据不同种类的数据服务请求选择适用处理所述数据服务请求的计算引擎，所述计算引擎通过预估响应所述数据服务请求所需的资源消耗进行容器化申请，数据服务请求响应结束后并对资源进行自动回收。

9.根据权利要求1所述的系统，其特征在于，所述系统还包括客户端，所述客户端用于权限验证和提交数据服务请求，所述客户端进行权限验证通过定时获取服务端配置进行控制；数据服务请求首先通过所述客户端进行权限验证，然后将所述数据服务请求发送至服务端，所述服务端根据所述数据服务请求进行服务端文件权限的再次验证。

10.一种大数据引擎统一接入方法，其特征在于，该方法包括：

提交并获取若干数据服务请求；

分别解析所述若干数据服务请求，并获取每个所述数据服务请求依赖的数据源信息；

根据所述数据服务请求的数据源信息选择适于处理所述数据服务请求的计算引擎，并通过统一路由分发将若干所述数据服务请求分发至相应的适于处理所述数据服务请求的计算引擎进行处理，处理完成后返回服务响应结果。