[发明专利]数据校验处理方法及装置在审
| 申请号： | 201910650336.5 | 申请日： | 2019-07-18 |
| 公开（公告）号： | CN110457153A | 公开（公告）日： | 2019-11-15 |
| 发明（设计）人： | 卢旭;钱辉;陆江;赵晓燕 | 申请（专利权）人： | 北京顺丰同城科技有限公司 |
| 主分类号： | G06F11/07 | 分类号： | G06F11/07;G06F16/80 |
| 代理公司： | 11002 北京路浩知识产权代理有限公司 | 代理人： | 王文思<国际申请>=<国际公布>=<进入 |
| 地址： | 100083北京市海淀区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 消息队列 校验 数据源 数据应用程序 预先配置 数据处理流程 异常数据处理 存储服务 错误数据 加入消息 数据校验 写入存储 异常数据 数据发 脏数据 队列 存储 落地 服务 | ||
1.一种数据校验处理方法，其特征在于，包括：
将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；
根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；
将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。
2.根据权利要求1所述的数据校验处理方法，其特征在于，在将数据源的数据加入消息队列之前，所述方法还包括：
预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略。
3.根据权利要求1所述的数据校验处理方法，其特征在于，所述根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理，包括：
根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理丢弃或者清洗数据。
4.根据权利要求1所述的数据校验处理方法，其特征在于，所述方法还包括：
实时记录消费所述消息队列中数据的情况和未通过格式校验的异常数据的情况，并进行可视化展示。
5.根据权利要求1所述的数据校验处理方法，其特征在于，所述未通过格式校验的异常数据的情况，包括：未通过格式校验的异常数据在所述消息队列中所有数据中所占的比例。
6.一种数据校验处理装置，应用于数据校验中台，其特征在于，包括：
校验模块，用于将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；
异常处理模块，用于根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；
发送模块，用于将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。
7.根据权利要求6所述的数据校验处理装置，其特征在于，所述装置还包括：
配置模块，用于在将数据源的数据加入消息队列之前，预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略。
8.根据权利要求6所述的数据校验处理装置，其特征在于，所述装置还包括：
展示模块，用于实时记录消费所述消息队列中数据的情况和未通过格式校验的异常数据的情况，并进行可视化展示。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京顺丰同城科技有限公司，未经北京顺丰同城科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910650336.5/1.html，转载请声明来源钻瓜专利网。
