[发明专利]电视用户行为数据的聚类方法、装置及Spark大数据平台

权利要求书

1.一种电视用户行为数据的聚类方法，其特征在于，所述方法包括：

获取电视用户行为数据并存储所述电视用户行为数据至第一矩阵A1中，所述第一矩阵A1是一个n行*m列的矩阵，n代表用户数量，m代表用户观看的视频属性的数量；

使用主成分分析的方法对所述第一矩阵A1进行属性约简处理，得到第二矩阵A2，所述第二矩阵A2是一个n行*15列的矩阵；

使用因子分析的方法对所述第二矩阵A2进行属性转换处理，得到第三矩阵A3，所述第三矩阵A3是一个n行*4列的矩阵；

采用K-均值聚类算法对所述第三矩阵A3进行聚类处理，得到聚类结果。

2.如权利要求1所述的方法，其特征在于，所述使用主成分分析的方法对所述第一矩阵A1进行属性约简处理，得到第二矩阵A2，包括：

调用主成分分析代码，对所述第一矩阵A1进行处理，得到各主成分的特征根λ1、各主成分的因子系数载荷矩阵C；

基于各主成分的特征根λ1的值，挑选出λ1值大于等于预设第一阈值的前M个主成分，并计算出前M个主成分的累计方差贡献度D2；

基于前M个主成分的因子系数载荷矩阵C，挑选出在每个主成分上系数大于预设第二阈值的属性，将每个主成分上系数大于预设第二阈值的属性进行合并约简，得到属性约简规则表；

根据所述属性约简规则表对所述第一矩阵A1中的视频属性进行合并，得到第二矩阵A2。

3.如权利要求1或2所述的方法，其特征在于，所述使用因子分析的方法对所述第二矩阵A2进行属性转换处理，得到第三矩阵A3，包括：

调用因子分析的代码，使用因子分析的方法对所述第二矩阵A2进行处理，得到各因子的特征根λ2、因子碎石图、因子系数载荷矩阵E；

基于各因子的特征值根λ2，并结合所述因子碎石图，得出特征值大于预设第三阈值的前N个因子以及所述前N个因子对应的因子系数载荷矩阵E；

根据所述第二矩阵A2以及所述前N个因子对应的因子系数载荷矩阵E得到第三矩阵A3。

4.如权利要求1所述的方法，其特征在于，在所述使用因子分析的方法对所述第二矩阵A2进行属性转换处理，得到第三矩阵A3之后，还包括：

基于K-均值算法的并行运算对所述第三矩阵A3进行聚类处理，得到聚类结果。

5.一种电视用户行为数据的聚类装置，其特征在于，所述装置包括：

数据获取单元，用于获取电视用户行为数据并存储所述电视用户行为数据至第一矩阵A1中，所述第一矩阵A1是一个n行*m列的矩阵，n代表用户数量，m代表用户观看的视频属性的数量；

第一降维单元，用于使用主成分分析的方法对所述第一矩阵A1进行属性约简处理，得到第二矩阵A2，所述第二矩阵A2是一个n行*15列的矩阵；

第二降维单元，用于使用因子分析的方法对所述第二矩阵A2进行属性转换处理，得到第三矩阵A3，所述第三矩阵A3是一个n行*4列的矩阵；

第一聚类单元，用于采用K-均值聚类算法对所述第三矩阵A3进行聚类处理，得到聚类结果。

6.如权利要求5所述的装置，其特征在于，所述第一降维单元，包括：

第一处理模块，用于调用主成分分析代码，对所述第一矩阵A1进行处理，得到各主成分的特征根λ1、各主成分的因子系数载荷矩阵C；

第二处理模块，用于基于各主成分的特征根λ1的值，挑选出λ1值大于等于预设第一阈值的前M个主成分，并计算出前M个主成分的累计方差贡献度D2；

第三处理模块，用于基于前M个主成分的因子系数载荷矩阵C，挑选出在每个主成分上系数大于预设第二阈值的属性，将每个主成分上系数大于预设第二阈值的属性进行合并约简，得到属性约简规则表；

合并模块，用于根据所述属性约简规则表对所述第一矩阵A1中的视频属性进行合并，得到第二矩阵A2。