[发明专利]生成配置文件及数据处理的方法和装置

说明书

本发明公开了生成配置文件及数据处理的方法和装置，涉及计算机技术领域。该生成配置文件方法的一具体实施方式包括：根据监控数据和线上请求日志，确定字段对应的查询率特征向量；基于聚类算法，根据查询率特征向量对字段进行分类处理，获得至少一个字段集合；确定至少一个字段集合对应的存储数据库集群，以生成字段对应的字段存储位置配置文件。该实施方式能够达到自动生成字段与字段存储位置的配置文件的效果，实现整体资源的带宽和内存最优化，节省人力和时间成本，还可以利用配置文件对存储结构进行优化调整。

技术领域

本发明涉及计算机技术领域，尤其涉及一种生成配置文件及数据处理的方法和装置。

背景技术

在线广告业务发展迅速，是互联网公司的主要盈利来源之一。而广告商品信息服务作为在线广告系统中至关重要的一环，是属于系统中最底层的数据查询服务，不涉及外部调用和复杂计算，只和数据库交互进行数据查询，因此数据存储架构直接影响到广告商品信息服务的质量。

现有技术中，商品属性字段根据不同系统模块被粗略地划分到多个数据对象中，其中每一个数据对象存储在一个特定的数据库集群中。当新增字段时，需要结合字段的请求方及其访问量情况，人为指定添加到某一个数据对象中，也即指定了存储该字段的数据库集群，还要人为计算并评估该数据库集群的内存资源、QPS(全称为Queries Per Second，即每秒查询率)是否能承受、是否需要扩容等。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：(1)根据不同系统模块将字段粗略划分并存储至数据库集群中，会导致同一个数据库集群中，有的字段QPS小，有的QPS大，但是对于QPS小的字段，不需要那么多副本，导致冗余存储，浪费了存储资源；(2)由于在线服务解析请求时，只要请求中包含某个字段，就需要将整个字段序列码查询出来，而同一个数据库集群中，有的字段QPS小，有的QPS大，这样就会造成出带宽资源的浪费；(3)现有的凭人为判断将字段写到哪一个数据库集群的方式，主要是凭借经验和一些简单计算，既耗费人力和时间，又不一定是最优选择。

发明内容

有鉴于此，本发明实施例提供一种生成配置文件及数据处理的方法和装置，能够达到自动生成字段与字段存储位置的配置文件的效果，实现整体资源的带宽和内存最优化，节省人力和时间成本，还可以利用配置文件对存储结构进行优化调整。

为实现上述目的，根据本发明实施例的第一方面，提供了一种生成配置文件的方法。

本发明实施例的一种生成配置文件的方法，包括：根据监控数据和线上请求日志，确定字段对应的查询率特征向量；基于聚类算法，根据所述查询率特征向量对所述字段进行分类处理，获得至少一个字段集合；确定所述至少一个字段集合对应的存储数据库集群，以生成所述字段对应的字段存储位置配置文件。

可选地，所述根据监控数据和线上请求日志，确定字段对应的查询率特征向量，包括：确定服务请求方，然后查询所述监控数据，获得在预设时间周期内所述服务请求方的最大查询率；分析所述线上请求日志，得到所述字段被所述服务请求方请求访问的情况，获取所述字段对应的字段访问向量；根据所述服务请求方的最大查询率和所述字段对应的字段访问向量，计算所述字段对应的查询率特征向量。

可选地，所述基于聚类算法，根据所述查询率特征向量对所述字段进行分类处理，获得至少一个字段集合，包括：设置所述聚类算法的参数值；基于所述聚类算法，利用所述查询率特征向量将所述字段分成所述参数值个不相交的子集，得到所述至少一个字段集合；其中，所述参数值为所述至少一个字段集合的集合个数，以及所述至少一个字段集合的集合个数与所述存储数据库集群的集群个数相同。

可选地，所述设置所述聚类算法的参数值，包括：确定参数的至少一个可选取值；针对所述至少一个可选取值中的每个可选取值，确定所述每个可选取值对应的数据库集群性能；根据业务需求和所述每个可选取值对应的数据库集群性能，从所述至少一个可选取值中选择出所述参数值；其中，所述数据库集群性能包括以下选项中至少一项：数据库集群带宽值、数据库集群内存优化值。