[发明专利]数据平台权限控制方法、装置和设备

说明书

本发明实施例公开了一种数据平台权限控制方法、装置和设备。该方法可以包括：接收用户发来的数据操作请求。当数据操作请求的类型为spark‑sql操作引擎数据操作请求类型时，根据数据操作转换关系配置表将数据操作请求的类型转换为hive操作引擎数据操作请求类型。获取用户的数据操作权限，匹配数据操作请求中请求的数据操作权限与用户的数据操作权限。当用户的数据操作权限包括数据操作请求中请求的数据操作权限时，将数据操作请求发送至分布式文件系统。上述数据平台权限控制方法、装置和设备能够高效地进行数据平台的权限控制，并且便于维护、升级和使用。

技术领域

本发明属于计算机技术领域，尤其涉及一种数据平台权限控制方法、装置和设备。

背景技术

大数据平台，例如，Hadoop大数据平台，由于能够充分利用集群的能力进行高速运算和存储，已经为大多数企业所用。

目前基于Hadoop大数据平台的对外服务平台(Platform as a Service，PaaS)的服务权限控制主要有两种实现方式：

一种是透明数据访问层方式：在大数据平台上，使用统一的透明数据访问层对外部提供操作和查询服务，透明数据访问层提供服务接口给PaaS系统。用户在PaaS发起操作，PaaS调用透明数据访问层对用户发起的访问请求做校验(校验包含语法合法性和权限是否满足操作类型等)，如校验通过，透明数据访问层调用某种操作引擎(如hive\spark-sql)向大数据平台发起用户请求的操作(主要是数据查询、数据管理等)，并把操作结果通过服务接口返回给PaaS，由PaaS展示给用户。

另一种是开放操作引擎方式：在大数据平台上，集成了各类数据操作引擎(如hive\spark-sql等)，并把各类的操作引擎直接(hive\spark-sql等)开放给PaaS，用户在PaaS发起操作，PaaS把操作透传给操作引擎，由操作引擎校验访问请求(校验包含语法合法性、权限是否满足操作类型等)。如校验通过，操作引擎直接向大数据平台发起操作请求，最后把结果反馈给PaaS，由PaaS将结果展示给用户。用户在PaaS上可以根据使用习惯，选择一种或者多种操作引擎来发起操作。

但是，开发透明数据访问层的PaaS权限控制存在以下问题：

一方面，存在语义和语法解析不够准确的问题，其后期升级和维护的成本也较高。因为透明数据访问层需要在用户发起访问时校验合法性，校验包含多种内容，涉及业务规范、管理流程和接口标准等。如用户身份是否合法、访问请求是否正确、是否对访问的资源具有相符合的权限、以及操作语法是否正确等。对这些内容做校验，需要对用户发起的请求内容做专门语法、内容、和语义解析，而且一旦出现解析或者转换错误，可能造成数据泄露和数据误操作等隐患，其维护成本和升级开发代价都比较高的。

另一方面，自定义的透明数据访问层有自定义的一套访问方法和操作语法，用户需要先学习才能使用，存在一定的使用门槛和学习代价。

开放操作引擎的PaaS权限控制虽然能解决上述问题，但是依然存在不同操作引擎间权限管理差异的问题。

比如在hive\spark-sql混搭的Hadoop大数据平台中，hive引擎是通过元数据来控制用户操作权限(如用户需要访问某个表只需要获取表访问权限)，而spark-sql是用hdfs的文件权限控制用户操作(如用户需要访问某个表需要获取表的全部数据存储文件的访问权限)，两种引擎权限管理方式不一致，同时开放给PaaS会使用户在PaaS做数据提取分析时，需要先知晓要访问的表是具有hive权限还是spark-sql的权限，降低了用户使用效率。并且，系统管理员为用户授权，需要对hive和spark-sql分别做操作，增加了操作难度，降低工作效率，同时增加管理上的复杂度。在生产场景中，某些业务表文件数量非常多，并以非常快的速度生成新的数据文件，spark-sql需要挨个将每个文件的权限授予给多个用户，会非常耗时，用户获得权限的及时性也得不到保障。

发明内容