[发明专利]基于云平台大数据的大数据处理方法

说明书

本申请实施例提供一种大数据处理方法、及大大数据处理服务器，通过综合考虑不同兴趣度度量维度，以对每个维度的所有业务大数据进行聚类后，可以保证不同兴趣度度量维度在不同的数据挖掘项目待应用场景下性能表现更加统一，提高大数据挖掘的能力，并且可以根据各聚类簇的特征信息，动态确定待挖掘服务的多个数据挖掘项目以及每个数据挖掘项目对应的待挖掘数据维度，并以此进行后续数据挖掘，可以避免现有技术中采用固定挖掘数据维度可能出现挖掘效果较差，或者数据挖掘结果存在准确性不高的问题。

技术领域

本申请涉及大数据技术领域，具体而言，涉及一种基于云平台大数据的大数据处理方法。

背景技术

目前针对各个线上业务(例如订单行为业务、浏览行为业务等)等大数据挖掘方案，大多仅限使用一种兴趣度度量维度，虽然部分关注于不同兴趣度度量维度方式的属性和行为的研究，但是针对某个待挖掘服务，不同兴趣度度量维度在不同的数据挖掘项目待应用场景下，性能表现不一，其使用局限性限制了在大数据挖掘的能力。并且，在整个数据挖掘过程中，大多是采用固定挖掘数据维度进行挖掘。然而，当挖掘数据维度过多时，这些固定挖掘数据维度可能无法达到较佳的挖掘效果，或者当固定挖掘数据维度较少时，这些固定挖掘数据维度可能比实际需要的多，一方面会浪费计算资源，另一方面也会增加数据挖掘结果存在准确性不高的概率。

发明内容

为了至少克服现有技术中的上述不足，本申请的目的之一在于提供一种大数据处理方法，通过综合考虑不同兴趣度度量维度，以对每个维度的所有业务大数据进行聚类后，可以保证不同兴趣度度量维度在不同的数据挖掘项目待应用场景下性能表现更加统一，提高大数据挖掘的能力，并且可以根据各聚类簇的特征信息，动态确定待挖掘服务的多个数据挖掘项目以及每个数据挖掘项目对应的待挖掘数据维度，并以此进行后续数据挖掘，可以避免现有技术中采用固定挖掘数据维度可能出现挖掘效果较差，或者数据挖掘结果存在准确性不高的问题。

第一方面，本申请提供一种大数据处理方法，应用于与待挖掘服务所对应的各个业务服务器通信连接的大数据处理服务器，所述方法包括：

从各个业务服务器中获取多个维度的业务大数据，并针对每个维度，对该维度的所有业务大数据进行聚类，得到每个维度的聚类簇；

提取每个维度的聚类簇的特征信息，并根据每个维度的聚类簇的特征信息，确定所述待挖掘服务的多个数据挖掘项目以及每个数据挖掘项目对应的待挖掘数据维度；

根据所述待挖掘服务的多个数据挖掘项目以及每个数据挖掘项目对应的待挖掘数据维度，分别在每个数据挖掘项目下获取待挖掘数据维度对应的业务过程数据；

根据在每个数据挖掘项目下获取待挖掘数据维度对应的业务过程数据，得到所述待挖掘服务的大数据挖掘结果；

将所述待挖掘服务的大数据挖掘结果分割为多个数据段，判断每一数据段是否需要加密，对需要加密的数据段进行加密生成随机密钥的加密数据，最后将全部数据段发送给各个对应的业务服务器。

在第一方面的一种可能的设计中，所述根据在每个数据挖掘项目下获取待挖掘数据维度对应的业务过程数据，得到所述待挖掘服务的大数据挖掘结果的步骤，包括：

根据在每个数据挖掘项目下获取待挖掘数据维度对应的业务过程数据，得到多个第一挖掘服务候选项集，每个第一挖掘服务候选项集中包括多个挖掘服务候选项；

根据预设挖掘服务候选项检索表，在所述多个第一挖掘服务候选项集确定存在与所述预设挖掘服务候选项检索表中包括的预设挖掘服务候选项相同的挖掘服务候选项，并作为所述多个第一挖掘服务候选项集的目标挖掘服务候选项，其中，所述预设挖掘服务候选项检索表中包括多个预设挖掘服务候选项、用于标识具有第一关联关系的每两个预设挖掘服务候选项的第一关联关系标识以及具有第二关联关系的各个预设挖掘服务候选项的频繁项业务级别，所述第一关联关系和所述第二关联关系分别用于表征频繁项之间的强关联关系和频繁项之间的弱关联关系；