[发明专利]基于数据库row模式构建流式实时电影生态模型的方法

说明书

技术领域

本发明涉及一种电影生态模型的构建方法，具体地说是一种基于数据库row模式构建流式实时电影生态模型的方法，属于电影生态模型的构建方法领域。

背景技术

建立电影生态模型和图谱的数据来源于电影业务数据，业务数据持续产生并存储在各类远程数据库中，建模的各个数据输入端无法及时感知到业务数据的产生，当前的解决方案为通过定时从各个远程数据库中进行数据抽取和清洗，传输到模型输入端，按照预定义格式进行解析处理，再进入模型管道。当前方案的主要缺点如下：业务数据量具有明显峰值和低谷，定时抽取无法解决时效问题；另外，数据抽取采用业务接口，会给系统峰值期间造成系统压力，系统响应速度变慢；业务数据库结构变更，导致模型端数据解析失败。

发明内容

为了解决上述问题，本发明设计了一种基于数据库row模式构建流式实时电影生态模型的方法，有效提高了数据的时效性，同时保证了数据的一致性和安全性。

本发明的技术方案为：

基于数据库row模式构建流式实时电影生态模型的方法，包括以下步骤：

（1）利用canal实时动态的收集mysql数据库的变更，并通过解析binlog，获取到需要的数据对象；

（2）对获取的数据对象重新序列化，并通过互联网发送到远端接收服务器；

（3）远端接收服务器收到消息后，根据对应影院写到对应MQ的队列里；

（4）Consumer从MQ里获取队列里的新增数据，反序列化后还原数据到目标数据库。

其中，所述步骤（1）Source DB提供电影数据源；

所述步骤（1）中Canal负责解析相关的数据库日志，获取到同步的数据；

所述步骤（2）通过SERVICE负责接收传输过来的数据，并进行有效性验证并通过producer API发送给MQ；

Redis负责维护整体框架的消费配置信息和生产/消费记录，作为配置库使用。使用redis初始化影院对应信息和binlog位置，并在数据同步过程中记录binlog位置的变化。

所述步骤（3）中MQ负责保证数据顺序，并提供持久化服务；

所述步骤（4）中DB, Web访问等服务通过consumer API进行数据访问；

ZooKeeper用于提供分布式锁服务的提供，管理所有消费者。Zookeeper负责提供生产者/消费者模型，提供生产和消费的队列管理，另外还提供分布式锁服务，提供访问竞态管理的问题。

本发明能够实时获取mysql变更数据，并提取目标数据对象，并对数据顺序进行记录和维护；通过MQ来进行数据的缓冲，以匹配同步过程中的速度不匹配的问题；消费端分别维护各个同步源的位置，保证数据和消费的一致性。

本发明的优点在于：系统耦合度较低，各个环节分别维护和管理自己的顺序，并在数据流动过程中分别进行校验，保证了数据一致性；各自维护自己的日志，方便故障排查和定位；通过MQ隔离各个数据源之间的消息，达到不同目标的隔离，增强了系统的容错性。

下面结合附图和实施例对本发明作进一步说明。

附图说明

图1为本发明实施例Binlog解析和同步流程图

图2为本发明实施例数据接收和消费流程图。

具体实施方式

以下对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

基于数据库row模式构建流式实时电影生态模型的方法，包括以下步骤：

（1）利用canal实时动态的收集mysql数据库的变更，并通过解析binlog，获取到需要的数据对象；

（2）对获取的数据对象重新序列化，并通过互联网发送到远端接收服务器；

（3）远端接收服务器收到消息后，根据对应影院写到对应MQ的队列里；

（4）Consumer从MQ里获取队列里的新增数据，反序列化后还原数据到目标数据库。

其中，所述步骤（1）Source DB提供电影数据源；

所述步骤（1）中Canal负责解析相关的数据库日志，获取到同步的数据；

所述步骤（2）通过SERVICE负责接收传输过来的数据，并进行有效性验证并通过producer API发送给MQ；