[发明专利]实现实时数据清洗处理的系统及其方法在审
| 申请号： | 201910862332.3 | 申请日： | 2019-09-12 |
| 公开（公告）号： | CN110569237A | 公开（公告）日： | 2019-12-13 |
| 发明（设计）人： | 盛伟松;曾维 | 申请（专利权）人： | 上海富数科技有限公司 |
| 主分类号： | G06F16/215 | 分类号： | G06F16/215 |
| 代理公司： | 31002 上海智信专利代理有限公司 | 代理人： | 王洁;郑暄 |
| 地址： | 201802 上海市嘉定区科*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种实现实时数据清洗处理的系统，包括历史数据处理模块，用于根据数据模型将数据分类为波动特征和平稳特征，应用对应规则库进行处理；实时数据清洗模块，与所述的历史数据处理模块相连接，用于通过流处理引擎加载清洗规则对数据进行实时处理。本发明还涉及一种实现实时数据清洗处理的方法。采用了本发明的实现实时数据清洗处理的系统及其方法，将历史数据切分为不同的时间窗口，进行特征提取，然后按照特征分为平稳数据和波动数据，对于数据拟合出波动曲线作为数据规则，避免了因为冗余数据、重复数据、数据缺失等数据问题影响业务的发展的问题，避免了因为离线数据而滞后处理数据，能够在线实时处理处理，提高了处理性能。 | ||
| 搜索关键词： | 实时数据 清洗处理 历史数据处理模块 在线实时处理 波动曲线 波动数据 波动特征 处理数据 处理性能 离线数据 历史数据 清洗模块 冗余数据 时间窗口 实时处理 数据分类 数据规则 数据模型 数据拟合 数据缺失 数据问题 特征提取 重复数据 规则库 流处理 加载 引擎 清洗 滞后 应用 | ||
【主权项】：
1.一种实现实时数据清洗处理的系统，其特征在于，所述的系统包括：/n历史数据处理模块，用于根据数据模型将数据分类为波动特征和平稳特征，应用对应规则库进行处理；/n实时数据清洗模块，与所述的历史数据处理模块相连接，用于通过流处理引擎加载清洗规则对数据进行实时处理。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海富数科技有限公司，未经上海富数科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910862332.3/，转载请声明来源钻瓜专利网。
