[发明专利]数据写入方法、装置、计算机设备及可读存储介质

说明书

本发明公开了一种数据写入方法、装置、计算机设备及可读存储介质，属于数据处理技术领域。本发明的数据写入方法包括：加载配置信息到内存中；根据所述配置信息中的控制类配置确定待写入数据的写入策略；在所述写入策略为全量写入时，从第一数据库中获取第一业务方的数据，以及从第二数据库中获取第二业务方的数据；当获取到的第一业务方的数据和第二业务方的数据达到预设阈值时，则将所述第一业务方的数据和第二业务方的数据进行数据装载，并在完成数据装载之后，将所述第一业务方的数据和第二业务方的数据写入对应的集群中。本发明可以将业务数据快速接入ElasticSearch。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据写入方法、装置、计算机设备及可读存储介质。

背景技术

随着现代社会科技的发展，在现今的IT系统中全文搜索已成为一个最常见的需求。其中，底层基于开源项目Lucene(全文搜索引擎)封装的Elasticsearch(搜索服务器)，具有分布式、可扩展性、实时的搜索与数据分析能力，它提供了 REST API的操作接口，它能从项目一开始就赋予你的数据以搜索、分析和探索的能力，是目前全文搜索引擎的首选。

具体的，可以把Elasticsearch看做为一个文档型数据库，而Index(索引)定义了文档的逻辑存储和字段类型，每个Index可以包含多个Document Type(分档类型)，而Document Type是Document(文档)的集合。对于全文检索来说，索引是一个关键的过程，相当于关系数据库里面的存储过程，只有通过索引操作，才能对数据(Document)进行分析存储、创建倒排索引，从而让使用者查询到相关的Document信息。

现有技术中，虽然通过Elasticsearch可以实现数据的快速搜索、分析，但是当将业务方数据接入该ElasticSearch时，需要人工对每一步进行单独设置，使得接入过程耗时较长，不方便快速的接入业务。

发明内容

针对现有技术在将业务方数据接入该ElasticSearch时，耗时较长的问题，现提供一种数据写入方法、装置、计算机设备及计算机可读存储介质，以将业务数据快速接入ElasticSearch。

本发明提供了一种数据写入方法，包括下述步骤：

加载配置信息到内存中；

根据所述配置信息中的控制类配置确定待写入数据的写入策略；

在所述写入策略为全量写入时，从第一数据库中获取第一业务方的数据，以及从第二数据库中获取第二业务方的数据；

当获取到的第一业务方的数据和第二业务方的数据达到预设阈值时，则将所述第一业务方的数据和第二业务方的数据进行数据装载，并在完成数据装载之后，将所述第一业务方的数据和第二业务方的数据写入对应的集群中。

可选地，所述写入策略包括全量写入以及增量写入，所述方法还包括：

在所述写入策略为所述增量写入时，从消息队列中获取第一业务方的数据，以及从所述第二数据库中获取第二业务方的数据。

可选地，所述第一业务方的数据为评论数据，所述第二业务方的数据为稿件数据、专栏数据、活动数据以及漫画数据中的一种。

可选地，所述评论数据包括所述第二业务方的标识，所述方法还包括：

根据所述评论数据中的业务方的标识过滤掉所述第一业务方的数据中业务方的标识不为预设标识的数据。

可选地，所述方法还包括：

对获取到的第一业务方的数据进行数据格式转换；

所述从第二数据库中获取第二业务方的数据的步骤包括：