[发明专利]数据写入方法、装置、计算机设备及可读存储介质

权利要求书

1.一种数据写入方法，其特征在于，包括：

加载配置信息到内存中；

根据所述配置信息中的控制类配置确定待写入数据的写入策略；

在所述写入策略为全量写入时，从第一数据库中获取第一业务方的数据，以及从第二数据库中获取第二业务方的数据；

当获取到的第一业务方的数据和第二业务方的数据达到预设阈值时，则将所述第一业务方的数据和第二业务方的数据进行数据装载，并在完成数据装载之后，将所述第一业务方的数据和第二业务方的数据写入对应的集群中，其中，所述将所述第一业务方的数据和第二业务方的数据进行数据装载包括：将所述第一业务方的数据和第二业务方的数据进行拼接，并设定拼接后得到的每条数据所对应的索引归属、ID信息以及集群信息。

2.根据权利要求1所述的数据写入方法，其特征在于，所述写入策略包括全量写入以及增量写入，所述方法还包括：

在所述写入策略为所述增量写入时，从消息队列中获取第一业务方的数据，以及从所述第二数据库中获取第二业务方的数据。

3.根据权利要求1或2所述的数据写入方法，其特征在于，所述第一业务方的数据为评论数据，所述第二业务方的数据为稿件数据、专栏数据、活动数据以及漫画数据中的一种。

4.根据权利要求3所述的数据写入方法，其特征在于，所述评论数据包括所述第二业务方的标识，所述方法还包括：

根据所述评论数据中的业务方的标识过滤掉所述第一业务方的数据中业务方的标识不为预设标识的数据。

5.根据权利要求4所述的数据写入方法，其特征在于，所述方法还包括：

对获取到的第一业务方的数据进行数据格式转换；

所述从第二数据库中获取第二业务方的数据的步骤包括：

对格式转换后的各个数据进行遍历，并根据所述各个数据中的业务方的标识从对应的第二数据库中获取所述第二业务方的数据；

对获取到的第二业务方的数据进行数据格式转换。

6.根据权利要求5所述的数据写入方法，其特征在于，所述根据所述各个数据中的业务方的标识从对应的第二数据库中获取所述第二业务方的数据的步骤包括：

获取所述配置信息中的数据模型配置，根据所述数据模型配置确定拉取的字段；

从获取的所述第二业务方的数据中抽取所述字段对应的数据。

7.根据权利要求1所述的数据写入方法，其特征在于，所述数据写入方法还包括：

提供一配置界面，以供用户配置所述配置信息，所述配置信息包括资源依赖配置、数据模型配置、索引配置以及控制类配置。

8.一种数据写入装置，其特征在于，包括：

加载模块，用于加载配置信息到内存中；

确定模块，用于根据所述配置信息中的控制类配置确定待写入数据的写入策略；

获取模块，用于在所述写入策略为全量写入时，从第一数据库中获取第一业务方的数据，以及从第二数据库中获取第二业务方的数据；

写入模块，用于当获取到的第一业务方的数据和第二业务方的数据达到预设阈值时，则将所述第一业务方的数据和第二业务方的数据进行数据装载，并在完成数据装载之后，将所述第一业务方的数据和第二业务方的数据写入对应的集群中；其中，所述将所述第一业务方的数据和第二业务方的数据进行数据装载包括：将所述第一业务方的数据和第二业务方的数据进行拼接，并设定拼接后得到的每条数据所对应的索引归属、ID信息以及集群信息。

9.一种计算机设备，所述计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的数据写入方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至7任一项所述的数据写入方法的步骤。