[发明专利]数据采集方法、装置、设备及计算机可读存储介质

说明书

本发明公开一种数据采集方法、装置、设备及计算机可读存储介质，所述方法包括：当接收到基于预设采集口径上传的自助报表时，读取自助报表的目标匹配字段以及预设采集口径的类型标识；判断目标匹配字段是否和类型标识对应，若和类型标识对应，则根据自助报表，生成待采集报表；当接收到包含待采集字段的指令时，则根据目标匹配字段在待采集报表中对应数据列的采集依据信息，采集与各待采集字段对应的字段数据，并将各字段数据返回到所述待采集报表的空白列。本方案将基于大数据处理技术所采集到的字段数据返回到待采集报表的空白列进行存储，使所采集得到的数据和待采集报表中的原有数据均存在于待采集报表中，简化了采集过程，提高了采集效率。

技术领域

本发明主要涉及数据处理技术领域，具体地说，涉及一种数据采集方法、装置、设备及计算机可读存储介质。

背景技术

目前，在对大量数据进行采集时，通常将包含有采集依据的数据表作为采集报表，进而根据该采集报表中的采集依据进行所需要采集数据的采集；如对多个用户的年龄进行采集，则将包含有多个用户姓名的数据表作为采集报表，以对与各用户姓名对应的用户年龄进行采集。

但是，在根据采集报表进行采集的过程中，仅保留其中的采集依据，而将其他的数据删除；如对于上述包含有多个姓名的数据表中，还包括有用户电话号码，在采集过程中，仅依据其中的用户姓名进行采集，而将其中的用户电话号码进行删除。如此一来，导致了采集报表中原有数据的丢失；而为了保留原有的数据，在采集之前先对采集报表中的各数据进行备份操作，采集之后再由人工将采集到的数据添加到备份的采集报表中，对两者进行合并；数据采集的过程繁琐，采集效率低。

发明内容

本发明的主要目的是提供一种数据采集方法、装置、设备及计算机可读存储介质，旨在解决现有技术中数据采集过程繁琐，采集效率低的问题。

为实现上述目的，本发明提供一种数据采集方法，所述数据采集方法包括以下步骤：

当接收到基于预设采集口径上传的自助报表时，读取所述自助报表的目标匹配字段以及所述预设采集口径的类型标识；

判断所述目标匹配字段是否和所述类型标识对应，若和所述类型标识对应，则根据所述自助报表，生成待采集报表；

当接收到包含待采集字段的指令时，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据，并将各所述字段数据返回到所述待采集报表的空白列。

优选地，所述根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据的步骤包括：

读取各所述待采集字段中的字段标识，并将各所述字段标识和各预设敏感标识对比，判断各所述待采集字段中是否具有敏感字段；

若具有敏感字段，则根据所述自助报表对应用户账户的采集权限，以及所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据；

若不具有敏感字段，则读取所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，并将各所述采集依据信息和预设数据库对比，采集与各所述待采集字段对应的字段数据。

优选地，所述根据所述自助报表对应用户账户的采集权限，以及所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据的步骤包括：

读取所述用户账户的账户标识，并根据所述账户标识确定所述用户账户是否具有对所述敏感字段进行采集的采集权限；

当具有对所述敏感字段进行采集的采集权限时，则执行读取所述目标匹配字段在所述待采集报表中对应数据的采集依据信息的步骤；