[发明专利]数据处理方法、装置、电子设备及存储介质在审
| 申请号： | 201910960510.6 | 申请日： | 2019-10-10 |
| 公开（公告）号： | CN110704401A | 公开（公告）日： | 2020-01-17 |
| 发明（设计）人： | 李博洋;孟晨飞 | 申请（专利权）人： | 北京字节跳动网络技术有限公司 |
| 主分类号： | G06F16/21 | 分类号： | G06F16/21;G06F16/27;G06F11/14 |
| 代理公司： | 11798 北京天达共和律师事务所 | 代理人： | 关刚 |
| 地址： | 100041 北京市石景山区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 合并信息 解析信息 增量信息 数据处理 数据库 数据处理模块 消息发布系统 存储器记录 数据库发送 采集组件 存储介质 电子设备 模块层面 数据变更 屏蔽 容灾 双流 解析 收敛 发送 上游 响应 统一 | ||
1.一种数据处理方法，其特征在于，包括：
响应于数据库的数据变更，通过所述数据库发送增量信息；
通过采集组件接收所述增量信息并且对所述增量信息进行解析，得到解析信息；
通过消息发布系统发送所述解析信息，其中，所述解析信息包括合并信息和非合并信息；
通过存储器记录所述合并信息和所述非合并信息的更改时间。
2.根据权利要求1所述的数据处理方法，其特征在于，还包括：
当所述增量信息的发送遇到障碍时，通过数据节点周期性地拉取发生所述障碍时所述存储器记录的更改时间之后的所述数据库中的增量数据。
3.根据权利要求2所述的数据处理方法，其特征在于，所述存储器用于维护所述合并信息和所述非合并信息的消费位点和更改时间的映射，所述映射用于在数据同步方式被切换时获得与所述消费位点对应的更改时间，以使得所述更改时间之后的数据被拉取。
4.根据权利要求1所述的数据处理方法，其特征在于，通过所述数据库发出的所述增量信息是基于binlog的增量信息。
5.一种数据处理装置，其特征在于，包括：
数据库，响应于所述数据库的数据变更，从所述数据库发出增量信息；
采集组件，接收所述增量信息并且对所述增量信息进行解析，得到解析信息；
消息发布系统，用于发送所述解析信息，其中，所述解析信息包括合并信息和非合并信息；
存储器，用于维护所述合并信息和所述非合并信息的消费位点和更改时间的映射。
6.根据权利要求5所述的数据处理装置，其特征在于，还包括：
数据节点，配置为当所述增量信息的发送遇到障碍时，所述数据节点周期性地拉取发生所述障碍时所述存储器记录的更改时间之后的所述数据库中的增量数据。
7.根据权利要求5所述的数据处理装置，其特征在于，所述数据库发出的所述增量信息是基于binlog的增量消息。
8.根据权利要求5所述的数据处理装置，其特征在于，还包括开关模块，配置为用于在定时拉取和增量信息通知模式之间进行切换。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个存储器和至少一个处理器；
其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器所存储的程序代码以执行权利要求1至4中任一项所述的数据处理方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有程序代码，所述程序代码用于执行权利要求1至4中任一项所述的数据处理方法。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司，未经北京字节跳动网络技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910960510.6/1.html，转载请声明来源钻瓜专利网。
