[发明专利]一种非结构化数据的数据同步方法和装置

权利要求书

1.一种非结构化数据的数据同步方法，其特征在于，包括：

将非结构化数据写入MongoDB和Elasticsearch中，其中，所述MongoDB或Elasticsearch中包括第一数据表；

在Hive或者Doris中创建与所述第一数据表相对应的第二数据表，其中，所述第二数据表中5包括需要结构化的字段；

解析所述需要结构化的字段，并存储到第一列表中；

从MongoDB或Elasticsearch中读取所述第一数据表中的目标数据，将所述目标数据中的目标字段存储到第二列表中，并将所述目标数据中必须存在的字段存储到第三列表中，其中，所述目标字段为键值在所述第一列表中存在的数据字段；

0将所述第二列表中的数据写入到指定文件中；

执行所述指定文件，将数据同步至Hive或Doris中。

2.根据权利要求1所述的非结构化数据的数据同步方法，其特征在于，解析所述需要结构化的字段，并存储到第一列表中包括：

通过python提供的pyhive包或者pymysql包，从Hive或者Doris中读取所述第二数据表的5schema，以获取所述需要结构化的字段；

将所述需要结构化的字段存储到所述第一列表中。

3.根据权利要求1所述的非结构化数据的数据同步方法，其特征在于，在将所述目标数据中必须存在的字段存储到第三列表中之后，还包括：

判断所述必须存在的字段是否能够获取到；

0若所述必须存在的字段能获取到，则执行所述将所述第二列表中的数据写入到指定文件中的步骤；

若所述必须存在的字段不能获取到，则结束数据同步操作。

4.根据权利要求1至3中任一项所述的非结构化数据的数据同步方法，其特征在于，将非结构化数据写入MongoDB和Elasticsearch中包括：

5将系统执行日志以非结构化的形式写入到Elasticsearch中；

将除所述系统执行日志以外的非结构化数据写入到MongoDB中。

5.一种非结构化数据的数据同步装置，其特征在于，包括：

第一写入单元，用于将非结构化数据写入MongoDB和Elasticsearch中，其中，所述MongoDB或Elasticsearch中包括第一数据表；

创建单元，用于在Hive或者Doris中创建与所述第一数据表相对应的第二数据表，其中，所述第二数据表中包括需要结构化的字段；

解析单元，用于解析所述需要结构化的字段，并存储到第一列表中；

处理单元，用于从MongoDB或Elasticsearch中读取所述第一数据表中的目标数据，将所述目标数据中的目标字段存储到第二列表中，并将所述目标数据中必须存在的字段存储到第三列表中，其中，所述目标字段为键值在所述第一列表中存在的数据字段；

第二写入单元，用于将所述第二列表中的数据写入到指定文件中；

同步单元，用于执行所述指定文件，将数据同步至Hive或Doris中。

6.根据权利要求5所述的非结构化数据的数据同步装置，其特征在于，所述解析单元包括：

读取模块，用于通过python提供的pyhive包或者pymysql包，从Hive或者Doris中读取所述第二数据表的schema，以获取所述需要结构化的字段；

存储模块，用于将所述需要结构化的字段存储到所述第一列表中。

7.根据权利要求5所述的非结构化数据的数据同步装置，其特征在于，还包括：

判断单元，用于在将所述目标数据中必须存在的字段存储到第三列表中之后，判断所述必须存在的字段是否能够获取到；

执行单元，用于若所述必须存在的字段能获取到，则执行所述将所述第二列表中的数据写入到指定文件中的步骤；

结束单元，用于若所述必须存在的字段不能获取到，则结束数据同步操作。