[发明专利]一种平台数据处理系统

摘要

本发明涉及数据处理技术领域，尤其是一种平台数据处理系统，包括展现层、数据处理层、业务层，所述展现层包括BI智能决策系统，所述业务层中管理系统和平台数据均与数据处理层信号连接，所述数据处理层包括建模模块，所述建模模块信号连接有抽取模块，所述抽取模块信号连接有缺失值清洗模块，所述缺失值清洗模块信号连接有格式内容清洗模块，所述格式内容清洗模块信号连接有逻辑错误清洗模块，所述逻辑错误清洗模块信号连接有非需求数据清洗模块，所述非需求数据清洗模块信号连接有关联性验证模块，所述关联性验证模块与BI智能决策系统信号连接。本发明能够对数据进行二次加工处理，且不会对源业务系统数据造成影响，能够提高办公效率。

主权项

1.一种平台数据处理系统，包括展现层、数据处理层、业务层，其特征在于：所述展现层包括BI智能决策系统，数据处理层用于大数据仓库数据建模、抽取、清洗，业务层包括企业的各个管理系统和平台，所述业务层中管理系统和平台数据均与数据处理层信号连接，所述数据处理层包括建模模块，建模模块用于形成数据仓库，所述建模模块信号连接有抽取模块，抽取模块用于对数据进行抽取，所述抽取模块信号连接有缺失值清洗模块，缺失值清洗模块用于处理数据缺失值问题，其具体过程如下，先确定缺失值范围，对每个字段都计算其缺失值比例，然后按照缺失比例和字段重要性，分别制定策略，之后取出不需要的字段，最后填充缺失内容，以业务知识或经验推测填充缺失值，或以同一指标的计算结果（均值、中位数、众数等）填充缺失值，或以不同指标的计算结果填充缺失值，所述缺失值清洗模块信号连接有格式内容清洗模块，格式内容清洗模块用于处理数据中由于人工收集或用户填写造成的格式问题，所述格式内容清洗模块信号连接有逻辑错误清洗模块，逻辑错误清洗模块用于处理一些经过逻辑推理能够直接发现的数据问题，所述逻辑错误清洗模块信号连接有非需求数据清洗模块，非需求数据清洗模块用于清除无关字段，所述非需求数据清洗模块信号连接有关联性验证模块，关联性验证模块用于验证多个数据来源取得的相关信息是否一致，所述关联性验证模块与BI智能决策系统信号连接，BI智能决策系统对经过建模、抽取、清洗后的数据进行分析决策。