[发明专利]一种多维数据的统计方法、电子设备及存储介质

说明书

本发明公开了一种多维数据的统计方法，其包括以下步骤：根据预设的维度扫描广告投放日志文件得到广告投放基本维表，并基于维度将其转换成广告投放多维组合维表；根据用户点击广告日志文件获取用户点击广告日志表、以及根据用户浏览商品日志文件获取用户浏览商品日志表；然后根据用户点击广告日志表、用户浏览商品日志表以及广告投放多维组合维表生成多维日志事实表；基于维度将多维日志事实表转换成多维数据业务表，并将多维数据业务表存储于数据库中。本发明通过使用聚合的方式将多维数据置于同一数据业务表中，可大大减少数据业务表的数量，降低了数据业务表的膨胀概率。本发明还提供了一种电子设备及计算机可读存储介质。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种多维数据的统计方法、电子设备及存储介质。

背景技术

目前，唯品会是一个以抢购和折扣为模式的电商网站，每天更新数百万商品，为了让这些商品能够最大限度地被消费者接触和购买，唯品会会在其他网站上、搜索引擎、APP应用等媒体渠道投放大量广告。这样消费者在投放广告的网站、APP等平台上看到投放的广告后，会通过点击到达唯品会网站和APP应用来流量和购买商品。而为了统计用户通过广告达到唯品会网站或APP的行为轨迹和购买转换数据，帮助广告投放的运营人员分析广告的投放效果，同时提供结算功能的数据报表支持，就需要对用户点击广告的记录进行统计而形成相应的报表数据，供运营人员分析。

但是，由于报表中涉及到多个维度，在统计时就会涉及到多维数据的计算方法。而目前大多数互联网公司，一般采用在Hadoop系统中编写Hive SQL聚合不同维度的指标报表，具体为：首先业务分析人员提出报表计算需求；然后数据工程师根据报表需求编写HiveSQL语句加工产出报告，并将报告计算结果导出到业务数据表(比如通过存储在MySQL这样的关系型数据库中)；最后应用开发工程师通过查询业务数据表将业务数据表展示给业务分析人员，进而完成对于数据的统计。但是，由于多维数据模型维度组合的多变性，业务人员的需求不同，那么最终统计的业务数据表也不同。

比如在统计精确去重类指标时，假设广告触发的唯一用户数指标为UV，通常需要针对每一个这样的去重指标设计一套Hive SQL以及对应的业务数据表。假设需要统计投放在今日头条APP和天天快报APP的广告给唯品会APP带来的每个城市的唯一用户数其具体计算如下：

通常来说，首先需要设计如表1，该表1表示表示不同的平台下每个城市所产生的而用户数的报表(其中对于平台、城市均属于不同维度)。