[发明专利]数据采集方法、装置、设备及计算机可读存储介质

说明书

本发明公开一种数据采集方法、装置、设备及计算机可读存储介质，所述方法包括：当接收到需求采集文档时，读取需求采集文档中的筛选范围信息和需求字段信息；调用预设自助报表，并将筛选范围信息以及各需求字段信息分别和各预设自助报表的报表范围信息以及报表字段信息对比，生成需求采集文档和各预设自助报表之间的匹配度；根据各匹配度，确定各预设自助报表中的多个目标自助报表，并将多个目标自助报表返回到所述需求采集文档对应的用户账户，以进行数据采集。本方案基于大数据处理技术生成的匹配度表征了各预设自助报表对需求采集文档所要采集数据的适用程度，从中确定适用程度高的多个目标自助报表进行数据采集，使得所采集的数据更为准确。

技术领域

本发明主要涉及数据处理技术领域，具体地说，涉及一种数据采集方法、装置、设备及计算机可读存储介质。

背景技术

目前，为了对各种类型的数据进行批量采集，通常设置有自助采集报表，在对某些数据有采集需求时，由人工判断该各个数据对应的各个字段是否均存在于某一张自助采集报表中，若均存在某一张自助采集报表中，则调用该自助采集报表进行采集。

但是各个自助采集报表会随着时间更新，更新前后的自助采集报表所适用的数据采集类型发生变化，容易导致所调用的自助采集报表不适合对所需要采集的数据进行采集，进而使得所采集的数据不准确。

发明内容

本发明的主要目的是提供一种数据采集方法、装置、设备及计算机可读存储介质，旨在解决现有技术中对数据采集的不准确的问题。

为实现上述目的，本发明提供一种数据采集方法，所述数据采集方法包括以下步骤：

当接收到需求采集文档时，读取所述需求采集文档中的筛选范围信息和需求字段信息；

调用预设自助报表，并将所述筛选范围信息以及各所述需求字段信息分别和各所述预设自助报表的报表范围信息以及报表字段信息对比，生成所述需求采集文档和各所述预设自助报表之间的匹配度；

根据各所述匹配度，确定各所述预设自助报表中的多个目标自助报表，并将多个所述目标自助报表返回到所述需求采集文档对应的用户账户，以供所述用户账户基于多个所述目标自助报表进行数据采集。

优选地，所述将所述筛选范围信息以及各所述需求字段信息分别和各所述预设自助报表的报表范围信息以及报表字段信息对比，生成所述需求采集文档和各所述预设自助报表之间的匹配度的步骤包括：

将所述筛选范围信息分别和各所述预设自助报表的报表范围信息进行对比，确定与各所述预设自助报表对应的范围区间，并将各所述范围区间分别和所述筛选范围信息对应的筛选区间对比，确定范围匹配度；

将各所述需求字段信息分别和各所述预设自助报表的报表字段信息进行对比，确定与各所述预设自助报表对应的字段数量，并将各所述字段数量分别和所述需求字段信息对应的需求数量对比，确定字段匹配度；

根据各所述报表范围信息、各所述报表字段信息与各所述预设自助报表之间的对应关系，对各所述范围匹配度以及各所述字段匹配度整合，生成所述需求采集文档和各所述预设自助报表之间的匹配度。

优选地，所述对各所述范围匹配度以及各所述字段匹配度整合，生成所述需求采集文档和各所述预设自助报表之间的匹配度的步骤包括：

将各所述范围匹配度和预设第一阈值对比，确定各所述范围匹配度中大于所述预设第一阈值的目标范围匹配度；

将各所述字段匹配度和预设第二阈值对比，确定各所述范围匹配度中大于所述预设第二阈值的目标字段匹配度；

筛选各所述预设自助报表对应的所述目标范围匹配度和所述目标字段匹配度之间的较小值，并将各所述较小值生成为所述需求采集文档和各所述预设自助报表之间的匹配度。