[发明专利]一种非结构化数据的数据同步方法和装置

说明书

本发明涉及一种非结构化数据的数据同步方法和装置，该方法包括：将非结构化数据写入MongoDB和Elasticsearch中；在Hive或者Doris中创建与MongoDB或Elasticsearch中第一数据表相对应的第二数据表；解析需要结构化的字段，并存储到第一列表中；从MongoDB或Elasticsearch中读取第一数据表中的目标数据，将目标数据中的目标字段存储到第二列表中，并将目标数据中必须存在的字段存储到第三列表中；将第二列表中的数据写入到指定文件中；执行指定文件，将数据同步至Hive或Doris中。通过本申请，解决了相关技术中需要同步的非结构化数据的数据量大，人工编写结构化同步代码，导致数据同步效率较低的问题，实现了提高数据同步效率的效果。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种非结构化数据的数据同步方法、装置、计算机设备和计算机可读存储介质。

背景技术

相关技术中的非结构化数据同步流程可以包括：将获取到的非结构化数据写入MongoDB和Elasticsearch；然后开发人员查看需求，确定解析字段，逐个字段解析，利用python手动编写代码；然后执行人工编写的代码，将需要及时分析的数据写入到Doris中，其他都写入到Hive中。

上述非结构数据数据同步流程存在以下问题：

1、需要从MongoDB和Elasticsearch同步的表非常多，达到五百多张表，每一张表的结构，需要结构化的字段都不一样，人工编写结构化同步代码工作量非常大，效率非常低，周期特别长。

2、确定每一张表需要解析的字段是人工手动查看确定，人工处理很容易出现字段写错或者逻辑问题，如果没有发现可能会有无法预估的问题或者经济损失。

目前，针对相关技术中需要同步的非结构化数据的数据量大，人工编写结构化同步代码，导致数据同步效率较低的问题，尚未提出有效的解决方案。

发明内容

本申请的目的是针对现有技术中的不足，提供一种非结构化数据的数据同步方法、装置、计算机设备和计算机可读存储介质，以至少解决相关技术中需要同步的非结构化数据的数据量大，人工编写结构化同步代码，导致数据同步效率较低的问题。

为实现上述目的，本申请采取的技术方案是：

第一方面，本申请实施例提供了一种非结构化数据的数据同步方法，包括：

将非结构化数据写入MongoDB和Elasticsearch中，其中，所述MongoDB或Elasticsearch中包括第一数据表；

在Hive或者Doris中创建与所述第一数据表相对应的第二数据表，其中，所述第二数据表中包括需要结构化的字段；

解析所述需要结构化的字段，并存储到第一列表中；

从MongoDB或Elasticsearch中读取所述第一数据表中的目标数据，将所述目标数据中的目标字段存储到第二列表中，并将所述目标数据中必须存在的字段存储到第三列表中，其中，所述目标字段为键值在所述第一列表中存在的数据字段；

将所述第二列表中的数据写入到指定文件中；

执行所述指定文件，将数据同步至Hive或Doris中。

在其中一些实施例中，解析所述需要结构化的字段，并存储到第一列表中包括：

通过python提供的pyhive包或者pymysql包，从Hive或者Doris中读取所述第二数据表的schema，以获取所述需要结构化的字段；

将所述需要结构化的字段存储到所述第一列表中。

在其中一些实施例中，在将所述目标数据中必须存在的字段存储到第三列表中之后，还包括：