[发明专利]一种数据聚合平台数据采集方法及其管理系统

说明书

本发明公开了一种数据聚合平台数据采集方法及其管理系统，属于数据采集的领域，数据采集方法包括：S1：接收各业务系统上传的数据，其中，接收的数据均带有识别编码；S2：创建数据表，用于在临时数据池中存储S1中接收的数据；S3：读取数据表中的数据，通过识别编码对数据进行解析；S4：将解析后的数据经过清洗后进行存储。本发明能够提高系统接口并发效率，减少服务器的i/o访问量，减少采集服务器的压力，减少丢失数据的可能。

技术领域

本发明属于数据采集的领域，具体涉及一种数据聚合平台数据采集方法及其管理系统。

背景技术

数据聚合平台数据采集的主要技术是数据集成。通常情况下，数据采集系统按照批量更新、增量更新、实时更新、数据同步等不同的更新策略，定制各类数据的更新接口，提供手工录入、接口服务采集等数据采集方式，并提供严格的质量检查工具，实现数据中心各类数据的采集与更新，保证数据资源中心数据库的时效性、权威性和一致性。

数据聚合平台采集的数据种类有很多，每种类型数据都具有不同的数据属性、格式和更新策略，不同种类的数据需要定制不同的接口进行数据采集。接口需要将数据按照一定规则进行解析，再对数据进行简单的清洗，剔除缺少重要数据项的数据，最后将数据保存到数据库中。

随着业务系统的更新迭代，数据采集是一个持续的过场。采集的数据类型会不断的增加，在通常情况下，增加新的采集数据类型，需要对其定制专属的接口。这对于数据采集是一个费时费力的工作。

通常情况下，接口需要根据数据类型的数据项的多少来调整每次传输的数据。如果数据量太大会占用服务器的大量系统资源进行插入或修改数据，使得接口的相应时间过长，影响后续数据的传输和采集，造成数据的丢失。

有鉴于此，特提出本发明。

发明内容

本发明的目的是提供一种数据聚合平台数据采集方法及其管理系统，能够提高系统接口并发效率，减少服务器的i/o访问量，减少采集服务器的压力，减少丢失数据的可能。

为了实现上述目的，本发明提供的数据聚合平台数据采集方法，作用于数据采集系统，包括以下步骤：

S1：接收各业务系统上传的数据，其中，接收的数据均带有识别编码；

S2：创建数据表，用于在临时数据池中存储S1中接收的数据；

S3：读取数据表中的数据，通过识别编码对数据进行解析；

S4：将解析后的数据经过清洗后进行存储。

进一步地，所述步骤S1的操作时间为凌晨1点到5点。

进一步地，所述识别编码包括数据结构的系统来源号和顺序号。

进一步地，所述步骤S3中，所述通过识别编码对数据进行解析包括：在凌晨1点到5点之外的时间通过唯一的识别编码查询后台服务器中保存的注册信息，根据注册信息的规则解析步骤S2中储存的数据并转化成json对象；其中，注册信息中保存有注册信息的规则、数据结构属性的名称和属性的类型。

进一步地，所述步骤S4中，数据的清洗步骤包括以下步骤：

S401：数据完整性的清洗，对每条数据的关键字段的查询和判断是否具有有效数值；

S402：数据统一性的清洗，将每条数据的数据字典编码，进行统一；

S403：数据错误或重复的清洗，将重复的数据剔除，将关键字段超出限定范围的错误数据剔除。

本发明还提供了一种数据聚合平台数据采集方法的管理系统，与各业务系统相连，包括：数据采集系统和数据中心，