[发明专利]基于大数据的用户画像方法

说明书

本发明公开了基于大数据的用户画像方法，通过预置维度定义，多渠道多数据源获取业务分析数据，利用分布式计算引擎解析数据并转存结果数据，实现多维度用户群体标签系统，并可针对某一用户进行als算法，具备单一用户快速标定能力，完成业务数据图表展示以及数据大盘等功能，实现标签化精准标定，进行不同用户群体多维度差异性对比。

技术领域

本发明涉及大数据技术领域，尤其涉及基于大数据的用户画像方法。

背景技术

随着大数据以及大量开源轻量级技术的日渐发展，行业竞争中越来越注重用户体验，逐渐演化为一种基于用户标签的个性化推荐。现有技术中存在的不足包括：

(1)现有用户画像技术很少涉及到大数据量的计算操作，大都基于传统的关系型数据库，数据量较大的情况下就会导致计算失败或者计算时间过长。

(2)现有用户画像的查询技术主要是画像数据的明细查询，存储查询技术也局限于关系型数据库，并没有在多维分析的角度上对用户画像数据进行检索和分析。

(3)现有用户画像技术很少涉及灵活构建用户自定义标签以及不同用户群体数据对比，分析用户群体差异性。

发明内容

本发明的目的就在于为了解决上述问题而提供基于大数据的用户画像方法，本发明针对无法快速实现自定义用户群体差异性分析的缺点，提供一种更加灵活的方式，利用前端web界面，由系统预定义的维度，进行动态用户自定义标签构建，数据分析人员进行界面自定义用户标签，快速查找到用户群体，进行单个用户群体分析以及不同用户群体差异性对比；通过spark大数据分布式计算以及kylin，ES等数据仓库快速实现用户群体标定以及用户群体数据差异对比。

本发明通过以下技术方案来实现上述目的：

基于大数据的用户画像方法，包括以下步骤：

步骤1，通过sqoop将与业务分析维度相关关系型数据库(MySQL，Oracle，Postgres等)中的数据导进到Hadoop的HDFS，进行格式化文件读取导入Hadoop的HDFS，使用hive进行数据提取、转化、加载；

步骤2，使用spark对hive中的数据进行ETL解析过滤，将详情文本存入ElasticSearch；基于ElasticSearch提供的分词，索引，搜索，自定义排序模型建立点评搜索模型，基于Lbs+关键字查询数据，实现关键词搜索，多条件筛选过滤搜索；

步骤3，使用spark对hive中的数据做kylin Cube预计算，依据数据模型，定义维度和度量；预计算Cube，计算所有Cuboid并保存为物化视图；执行查询时，利用预计算的结果来执行查询，读取Cuboid运算，产生查询结果；

步骤4，使用springBoot+vue方式进行web应用构建，完成业务数据图表展示以及数据大盘功能，实现标签化精准标定；

步骤5，在web页面中自定义常用用户标签，并于页面配置定时任务，利用SpringQuartz定时任务定时自定义标签，进行用户标签群体分析，并对kylin数据库进行多维度查询，通过后端应用算法以及业务定义规则计算群体用户以及属性，将每一维度度量统计分析结果转存贮到mysql数据库中，实现用户静态用户群体数据的快速查询分析，并与页面展现用户群体列表多维度聚合统计值，以及实现各用户群体多维度度量对比分析；

步骤6，使用用户多维度聚合统计值，以及ES中的详情数据，利用spark进行als算法以及lr算法实现特定用户精准分析。

进一步方案为，所述步骤1中，利用Docker+Docker Compose搭建spark，Hadoop，hive大数据环境；

并按业务需求分析系统所需预定义维度，针对现有业务数据，通过sqoop或者日志文本文档解析导入数据到hive仓库。