[发明专利]一种基于大数据建立用户画像的方法及系统

权利要求书

1.一种基于大数据建立用户画像的方法，其特征在于：所述方法包括以下步骤：

S1：构建用户画像标签体系

将用户数据归一化到目标有效的标签体系，标签分为结构化和非结构化，结构化标签有明确层级关联父子分类关系，标签规整，非结构化标签没有层级关系，标签分散；

S2：对数据进行预处理；

S3：样本自动标注

采用样本半监督学习自动标注；

S4：用户数据采样样本不平衡处理

对于数据层采样样本进行过采样或欠采样处理，对于算法层采样样本进行代价敏感和集成学习处理；

S5：特征工程

样本集合构建完成，从样本中提取特征，根据特定数据类型，做特征分类；

S6：模型训练

采用多分类模型和二分类模型相结合；

S7：模型优化

分析模型是过拟合或欠拟合，并对模型进行优化。

2.根据权利要求1所述的基于大数据建立用户画像的方法，其特征在于：步骤S1中所述结构化标签包括用户属性标签、短时兴趣标签和长期兴趣标签。

3.根据权利要求1或2所述的基于大数据建立用户画像的方法，其特征在于：步骤S2中所述对数据进行预处理包括用户数据搜集、对搜集的数据进行清洗。

4.根据权利要求3所述的基于大数据建立用户画像的方法，其特征在于：步骤S3中所述样本半监督学习自动标注为通过少量标注样本，对大量未标注的样本进行训练分类，将置信度较高的样本加入到训练集。

5.根据权利要求4所述的基于大数据建立用户画像的方法，其特征在于：步骤S4中所述过采样为通过增加正样本提高少数类的分类性能，欠采样为剔除负样本；所述代价敏感为增加正样本的权重，减少负样本的权重，集成学习将负样本分成多份，每份与正样本进行训练，得到多个模型。

6.根据权利要求5所述的基于大数据建立用户画像的方法，其特征在于：步骤S5中提取特征过程进行特征选择，寻找特征子集，训练模型。

7.根据权利要求6所述的基于大数据建立用户画像的方法，其特征在于：步骤S7中针对欠拟合，训练集和测试集的准确率低，进行数据清洗，增加有效特征，更换复杂的模型。

8.根据权利要求7所述的基于大数据建立用户画像的方法，其特征在于：步骤S7中针对过拟合，训练集的准确率高，测试集的准确率低，进行增加训练样本数据，更换简单的模型。

9.一种基于大数据建立用户画像的系统，其特征在于：包括用户画像标签体系构建模块、数据预处理模块、样本自动标注模块、采样样本不平衡处理模块、特征工程模块、模型训练模块和模型优化模块，用户画像标签体系构建模块用于构建用户画像标签体系，数据预处理模块用于预处理数据，样本自动标注模块用于自动标注样本，采样样本不平衡处理模块用于对采样样本不平衡进行处理，特征工程模块用于从样本中提取特征，根据特定数据类型，做特征分类，模型训练模块用于训练模型，模型优化模块用于优化模型。