[发明专利]基于SQL的数据抽取的方法及设备

说明书

本申请的目的是提供一种基于SQL的数据抽取的方法及设备，本申请通过读取SQL查询语句，得到源数据库中的源数据，将所述源数据存放在临时表中；根据数据的脱敏算法对所述临时表中数据进行脱敏，得到脱敏后的数据；将所述脱敏后的数据按照表映射关系存放至目标数据表中。通过SQL语句限定数据源从而实现抽取效果，灵活限制数据来源，实现多表的复杂结合，并简化了配置过程。

技术领域

本申请涉及计算机领域，尤其涉及一种基于SQL的数据抽取的方法及设备。

背景技术

目前，大数据应用广泛的同时，个人信息保护受到了前所未有的挑战。人们在享受数据分析给自己生活带来的贴切服务的同时，也深受个人信息泄露甚至被骚扰的困扰，因此对于数据的脱敏使用就显得尤为重要。普通的抽取或者脱敏操作，都是对源数据库的整张表进行操作，在数据源的选取上缺乏灵活性，如果想要限制抽取的字段、数据的排序方式或者想要将多张表的内容抽取到一张表，就需要增加专门的配置，操作起来比较繁琐。

发明内容

本申请的一个目的是提供一种基于SQL的数据抽取的方法及设备，解决现有技术中在数据脱敏及抽取过程中对数据源的选择上不够灵活的问题。

根据本申请的一个方面，提供了一种基于SQL的数据抽取的方法，该方法包括：

读取SQL查询语句，得到源数据库中的源数据，将所述源数据存放在临时表中；

根据数据的脱敏算法对所述临时表中数据进行脱敏，得到脱敏后的数据；

将所述脱敏后的数据按照表映射关系存放至目标数据表中。

进一步地，读取SQL查询语句之前，包括：

选择源数据库连接，进行编写对应的SQL查询语句；

配置所述临时表中数据的脱敏算法以及配置临时表与目标数据表之间的表映射关系。

进一步地，进行编写对应的SQL查询语句，包括：

根据选择的源数据库连接确定待抽取的数据表、字段、数据内容以及排序方式；

根据所述待抽取的数据表、字段、数据内容以及排序方式编写对应的SQL查询语句。

进一步地，配置所述临时表中数据的脱敏算法以及配置临时表与目标数据表之间的表映射关系，包括：

根据所述临时表中数据包含的各字段配置该数据对应的脱敏算法；

选择目标数据库的用户以及目标数据表，根据所述用户以及目标数据表建立与所述临时表之间的表映射关系。

进一步地，读取SQL查询语句，得到源数据库中的源数据，将所述源数据存放在临时表中，包括：

读取每一源数据库对应的多个SQL查询语句，获取每一SQL查询语句的查询结果，将每一查询结果存储在对应的临时表中。

根据本申请又一个方面，还提供了一种基于SQL的数据抽取的设备，该设备包括：

一个或多个处理器；以及

存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如前述所述方法的操作。

根据本申请再一个方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如前述所述的方法。

与现有技术相比，本申请通过读取SQL查询语句，得到源数据库中的源数据，将所述源数据存放在临时表中；根据数据的脱敏算法对所述临时表中数据进行脱敏，得到脱敏后的数据；将所述脱敏后的数据按照表映射关系存放至目标数据表中。通过SQL语句限定数据源从而实现抽取效果，灵活限制数据来源，实现多表的复杂结合，并简化了配置过程。