[发明专利]数据处理方法、系统、装置和计算机可读存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取多个表的表数据；

将所述多个表的表数据分别存储到多个数据单元中，所述多个表和所述多个数据单元一一对应；

从所述多个数据单元中获取所述多个表的表数据，并基于所述多个表的关联关系组织所述多个表的表数据，以得到文档数据；以及

将所述文档数据存储到集群上，

其中，所述集群上部署有全文检索服务，所述文档数据根据全文检索服务提供的接口进行组织和存储，所述多个表中任意两个表之间具有下述关联关系中的至少一种：一对一关系、多对一关系和多对多关系，

当所述多个表中任意两个表之间的关联关系为一对一关系时，在组织所述文档数据时，采用关联字段作为唯一标识；当所述多个表中第一表和其他表之间是多对一关系时，在组织所述文档数据时，采用所述第一表的主键作为唯一标识；当所述多个表中任意两个表之间是多对多关系时，在组织所述文档数据时，采用由所述多个表中每个表的主键组成的联合字段作为唯一标识。

2.根据权利要求1所述的数据处理方法，其特征在于，监控并解析数据库操作日志，以实时地获取多个表的表数据。

3.根据权利要求1所述的数据处理方法，其特征在于，并发执行所述从多个数据单元中获取多个表的表数据，并基于所述多个表的关联关系组织所述多个表的表数据，以得到文档数据的步骤。

4.根据权利要求3所述的数据处理方法，其特征在于，还包括：将所述多个表的表数据缓存到缓存数据库上，以及在获取一条表数据时，通过检索缓存数据库获取其他表的表数据，以组织所述文档数据。

5.根据权利要求3所述的数据处理方法，其特征在于，当所述多个表中任意两个表之间的关联关系为一对一关系时，每获取一条表数据，将其组织为所述文档数据实时存储到所述集群上；当所述多个表中第一表和其他表之间是多对一关系时，每获取所述第一表的一条表数据，将其主键缓存到缓存数据库中，并且通过检索所述缓存数据库获取其他表的表数据，以组织所述文档数据；当所述多个表中任意两个表之间是多对多关系时，每获取一条表数据，将其缓存到所述缓存数据库中，并且只有在获取到所述多个表的所有表的表数据时，才组织所述文档数据。

6.根据权利要求1所述的数据处理方法，其特征在于，基于kafka平台实现将所述多个表的表数据分别存储到多个数据单元中以及从所述多个数据单元中获取所述多个表的表数据的步骤。

7.根据权利要求1所述的数据处理方法，其特征在于，所述全文检索服务为Elasticsearch搜索服务，所述文档数据为ES文档。

8.一种数据处理系统，其特征在于，包括：

获取数据模块，用于实时获取多个表的表数据，并将所述多个表的表数据分别存储到多个数据单元中，所述多个表和所述多个数据单元一一对应；

组织数据模块，用于从所述多个数据单元中获取所述多个表的表数据，并基于所述多个表的关联关系组织所述多个表的表数据，以得到文档数据，其中，所述多个表中任意两个表之间具有下述关联关系中的至少一种：一对一关系、多对一关系和多对多关系，当所述多个表中任意两个表之间的关联关系为一对一关系时，在组织所述文档数据时，采用关联字段作为唯一标识；当所述多个表中第一表和其他表之间是多对一关系时，在组织所述文档数据时，采用所述第一表的主键作为唯一标识；当所述多个表中任意两个表之间是多对多关系时，在组织所述文档数据时，采用由所述多个表中每个表的主键组成的联合字段作为唯一标识；

存储数据模块，用于将所述文档数据存储集群上，所述集群上部署有全文检索服务，所述文档数据根据全文检索服务提供的接口进行组织和存储。

9.根据权利要求8所述的数据处理系统，其特征在于，所述获取数据模块监控并解析数据库操作日志，以得到所述多个表的表数据。