[发明专利]一种数据聚合平台数据采集方法及其管理系统

权利要求书

1.一种数据聚合平台数据采集方法，作用于数据采集系统，其特征在于，包括以下步骤：

S1：接收各业务系统上传的数据，其中，接收的数据均带有识别编码；

S2：创建数据表，用于在临时数据池中存储S1中接收的数据；

S3：读取数据表中的数据，通过识别编码对数据进行解析；

S4：将解析后的数据经过清洗后进行存储。

2.根据权利要求1所述的数据聚合平台数据采集方法，其特征在于，所述步骤S1的操作时间为凌晨1点到5点。

3.根据权利要求1所述的数据聚合平台数据采集方法，其特征在于，所述识别编码包括数据结构的系统来源号和顺序号。

4.根据权利要求1所述的数据聚合平台数据采集方法，其特征在于，所述步骤S3中，所述通过识别编码对数据进行解析包括：在凌晨1点到5点之外的时间通过唯一的识别编码查询后台服务器中保存的注册信息，根据注册信息的规则解析步骤S2中储存的数据并转化成json对象；其中，注册信息中保存有注册信息的规则、数据结构属性的名称和属性的类型。

5.根据权利要求1所述的数据聚合平台数据采集方法，其特征在于，所述步骤S4中，数据的清洗步骤包括以下步骤：

S401：数据完整性的清洗，对每条数据的关键字段的查询和判断是否具有有效数值；

S402：数据统一性的清洗，将每条数据的数据字典编码，进行统一；

S403：数据错误或重复的清洗，将重复的数据剔除，将关键字段超出限定范围的错误数据剔除。

6.一种数据聚合平台数据采集方法的管理系统，与各业务系统相连，其特征在于，包括：数据采集系统和数据中心，

其中，数据采集中心包括：统一接口，用于接收所述业务系统上传的数据，其中，接收的数据均带有识别编码；临时数据池，用于创建数据表以储存所述业务系统的数据；处理器，用于对数据表中的数据进行解析，并且对解析后的数据进行清洗。

数据中心，用于存储处所述数据采集系统处理后的数据。

7.根据权利要求6所述的数据聚合平台数据采集方法的管理系统，其特征在于，所述统一接口接收数据的时间为凌晨1点到5点。

8.根据权利要求6所述的数据聚合平台数据采集方法的管理系统，其特征在于，所述识别编码包括数据结构的系统来源号和顺序号。

9.根据权利要求6所述的数据聚合平台数据采集方法的管理系统，其特征在于，所述处理器用于在凌晨1点到5点之外的时间通过唯一的识别编码查询后台服务器中保存的注册信息，根据注册信息的规则解析步骤S2中储存的数据并转化成json对象；其中，注册信息中保存有注册信息的规则、数据结构属性的名称和属性的类型。

10.根据权利要求6所述的数据聚合平台数据采集方法的管理系统，其特征在于，所述处理器用于对数据进行完整性的清洗，对每条数据的关键字段的查询和判断是否具有有效数值；对数据进行统一性的清洗，将每条数据的数据字典编码，进行统一；以及对数据进行错误或重复的清洗，将重复的数据剔除，将关键字段超出限定范围的错误数据剔除。