[发明专利]基于大数据的用户画像方法

权利要求书

1.基于大数据的用户画像方法，其特征在于，包括以下步骤：

步骤1，通过sqoop将与业务分析维度相关关系型数据库中的数据导入到Hadoop的HDFS进行格式化文件读取导入Hadoop的HDFS，使用hive进行数据提取、转化、加载；

步骤2，使用spark对hive中的数据进行ETL解析过滤，将详情文本存入ElasticSearch；基于ElasticSearch提供的分词，索引，搜索，自定义排序模型建立点评搜索模型，基于Lbs+关键字查询数据，实现关键词搜索，多条件筛选过滤搜索；

步骤3，使用spark对hive中的数据做kylin Cube预计算，依据数据模型，定义维度和度量；预计算Cube，计算所有Cuboid并保存为物化视图；执行查询时，利用预计算的结果来执行查询，读取Cuboid运算，产生查询结果；

步骤4，使用springBoot+vue方式进行web应用构建，完成业务数据图表展示以及数据大盘功能，实现标签化精准标定；

步骤5，在web页面中自定义常用用户标签，并于页面配置定时任务，利用SpringQuartz定时任务定时自定义标签，进行用户标签群体分析，并对kylin数据库进行多维度查询；

步骤6，使用用户多维度聚合统计值，以及ES中的详情数据，利用spark进行als算法以及lr算法实现特定用户精准分析。

2.如权利要求1所述的基于大数据的用户画像方法，其特征在于，所述步骤1中，利用Docker+Docker Compose搭建spark，Hadoop，hive大数据环境；

并按业务需求分析系统所需预定义维度，针对现有业务数据，通过sqoop或者日志文本文档解析导入数据到hive仓库。

3.如权利要求1所述的基于大数据的用户画像方法，其特征在于，所述步骤2中，利用spark大数据分布式计算处理框架进行数据按预置的多维度进行数据清洗，将清洗的详情数据存入ES中。

4.如权利要求1所述的基于大数据的用户画像方法，其特征在于，所述步骤3中，利用kylin数据库按预置的业务数据维度处理相应维度的cube构建，通过spark大数据分布式计算处理框架，从Hive中读取原始数据，按照选定的维度进行计算，并将结果集保存到Hbase中，并配置kylin实现增量数据录入。

5.如权利要求2所述的基于大数据的用户画像方法，其特征在于，基于入库结果，应用springboot+vue实现项目的前端UI，实现业务数据可视化。

6.如权利要求1所述的基于大数据的用户画像方法，其特征在于，所述步骤5中，通过后端应用算法以及业务定义规则计算群体用户以及属性，将每一维度度量统计分析结果转存贮到mysq1数据库中，实现用户静态用户群体数据的快速查询分析，并与页面展现用户群体列表多维度聚合统计值，以及实现各用户群体多维度度量对比分析。