[发明专利]数据校验处理方法及装置在审
| 申请号： | 201910650336.5 | 申请日： | 2019-07-18 |
| 公开（公告）号： | CN110457153A | 公开（公告）日： | 2019-11-15 |
| 发明（设计）人： | 卢旭;钱辉;陆江;赵晓燕 | 申请（专利权）人： | 北京顺丰同城科技有限公司 |
| 主分类号： | G06F11/07 | 分类号： | G06F11/07;G06F16/80 |
| 代理公司： | 11002 北京路浩知识产权代理有限公司 | 代理人： | 王文思<国际申请>=<国际公布>=<进入 |
| 地址： | 100083北京市海淀区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例提供一种数据校验处理方法及装置，其中，方法包括：将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；将所述消息队列中通过格式校验的数据发送给消费程序，以使消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。本发明实施例能够避免脏数据对数据处理流程稳定性的影响，防止错误数据写入存储服务而造成数据应用程序服务异常。 | ||
| 搜索关键词： | 消息队列 校验 数据源 数据应用程序 预先配置 数据处理流程 异常数据处理 存储服务 错误数据 加入消息 数据校验 写入存储 异常数据 数据发 脏数据 队列 存储 落地 服务 | ||
【主权项】：
1.一种数据校验处理方法，其特征在于，包括：/n将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；/n根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；/n将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京顺丰同城科技有限公司，未经北京顺丰同城科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910650336.5/，转载请声明来源钻瓜专利网。
