[发明专利]生成配置文件及数据处理的方法和装置

权利要求书

1.一种生成配置文件的方法，其特征在于，包括：

根据监控数据和线上请求日志，确定字段对应的查询率特征向量；

基于聚类算法，根据所述查询率特征向量对所述字段进行分类处理，获得至少一个字段集合；

确定所述至少一个字段集合对应的存储数据库集群，以生成所述字段对应的字段存储位置配置文件；

读取当前数据存储的镜像数据，根据所述镜像数据，计算所述字段所占用的字节数；

根据所述字段占用的字节数，计算所述存储数据库集群的字段存储量；

根据所述存储数据库集群的字段存储量和单片内存量，计算所述存储数据库集群对应的集群单副本片数；

根据所述存储数据库集群的最大承载查询率、所述存储数据库集群对应的集群单副本片数和所述集群单副本的可承载查询率，计算所述存储数据库集群对应的集群副本片数。

2.根据权利要求1所述的方法，其特征在于，所述根据监控数据和线上请求日志，确定字段对应的查询率特征向量，包括：

确定服务请求方，然后查询所述监控数据，获得在预设时间周期内所述服务请求方的最大查询率；

分析所述线上请求日志，得到所述字段被所述服务请求方请求访问的情况，获取所述字段对应的字段访问向量；

根据所述服务请求方的最大查询率和所述字段对应的字段访问向量，计算所述字段对应的查询率特征向量。

3.根据权利要求1所述的方法，其特征在于，所述基于聚类算法，根据所述查询率特征向量对所述字段进行分类处理，获得至少一个字段集合，包括：

设置所述聚类算法的参数值；

基于所述聚类算法，利用所述查询率特征向量将所述字段分成所述参数值个不相交的子集，得到所述至少一个字段集合；其中，

所述参数值为所述至少一个字段集合的集合个数，以及所述至少一个字段集合的集合个数与所述存储数据库集群的集群个数相同。

4.根据权利要求3所述的方法，其特征在于，所述设置所述聚类算法的参数值，包括：

确定参数的至少一个可选取值；

针对所述至少一个可选取值中的每个可选取值，确定所述每个可选取值对应的数据库集群性能；

根据业务需求和所述每个可选取值对应的数据库集群性能，从所述至少一个可选取值中选择出所述参数值；其中，

所述数据库集群性能包括以下选项中至少一项：数据库集群带宽值、数据库集群内存优化值。

5. 根据权利要求1所述的方法，其特征在于，所述方法还包括：

定期更新所述字段存储位置配置文件；以及

在出现新的字段的情况下，更新所述字段存储位置配置文件。

6.一种数据处理的方法，其特征在于，包括：

接收数据处理任务，获取所述数据处理任务中的目标字段；

基于根据权利要求1-5中任一所述的方法生成的配置文件，查询所述目标字段对应的目标存储数据库集群；

根据所述目标字段和所述目标存储数据库集群，执行所述数据处理任务。

7.根据权利要求6所述的方法，其特征在于，所述数据处理任务包括以下选项中至少一项：数据查询任务、数据存储任务、数据更新任务。

8.根据权利要求7所述的方法，其特征在于，所述根据所述目标字段和所述目标存储数据库集群，执行所述数据处理任务，包括：

若所述数据处理任务为数据查询任务，则从所述目标存储数据库集群中，获取所述目标字段对应的字段值；

根据所述数据查询任务，对所述目标字段对应的字段值进行拼接，得到拼接字段值，返回所述拼接字段值。

9.根据权利要求7所述的方法，其特征在于，所述根据所述目标字段和所述目标存储数据库集群，执行所述数据处理任务，包括：

若所述数据处理任务为数据存储任务，则根据所述数据存储任务，获取所述目标字段对应的字段值；

将所述目标字段对应的字段值存储至所述目标存储数据库集群。