[发明专利]一种多数据源的数据分析系统、方法及设备

说明书

本申请实施例公开了一种多数据源的数据分析系统、方法及设备，包括：数据拆分单元，用于将从产品中获取的数据拆分成用户数据和用户行为数据；数据存储单元，用于存储所述用户数据和所述用户行为数据；所述数据存储单元包括低速写入存储单元和高速写入存储单元，所述低速写入存储单元用于存储所述用户数据，所述高速写入存储单元用于存储所述用户行为数据；查询引擎单元，用于访问所述低速写入存储单元和所述高速写入存储单元，获取所述用户数据和所述用户行为数据，并将获取到的所述用户数据和所述用户行为数据传输至OLAP系统或者离线分析系统。本申请解决了现有技术中数据存储及使用的成本过高，维护性差的问题。

技术领域

本申请涉及数据分析技术领域，尤其涉及一种多数据源的数据分析系统、方法及设备。

背景技术

对一个产品的用户行为数据的数据分析大都需要经历两个阶段：其第一阶段：当新功能刚上线时，为了对新功能进行快速验证，需要进行实时地行为分析，进而更快的调整产品,通常分析时延要求在分钟甚至秒级。第二阶段：在功能上线一段时间后，用户数据稳定，此时需要根据前期发掘出的数据分析报表进行数据分析，此类分析对实时性要求不高，通常在按天统计即可,此类分析通常是第一阶段分析的总结归纳。

对于第一阶段，时延性要求高通常需要使用联机分析处理OLAP来完成，其中OLAP对实时性要求高，稳定性相对较弱；第二阶段因为时延性要求不高通常使用离线分析的方式。

在现有技术中，通常是将用户行为数据复制两份，分别送往OLAP系统和离线分析系统。这样在数据存储空间以及维护成本上都比较高，因为是完全不同的两套数据处理路径，在保持数据一致性上也需要大量成本。对于使用数据分析系统的分析人员，也需要同时在两套系统中切换，增加了使用成本。

发明内容

本申请实施例提供了一种多数据源的数据分析系统、方法及设备，解决现有技术中数据存储及使用成本过高，维护性差的问题。

有鉴于此，本申请第一方面提供了一种多数据源的数据分析系统，所述系统包括：

数据拆分单元，用于将从产品中获取的数据拆分成用户数据和用户行为数据；

数据存储单元，用于存储所述用户数据和所述用户行为数据；

所述数据存储单元包括低速写入存储单元和高速写入存储单元，所述低速写入存储单元用于存储所述用户数据，所述高速写入存储单元用于存储所述用户行为数据；

查询引擎单元，用于访问所述低速写入存储单元和所述高速写入存储单元，获取所述用户数据和所述用户行为数据，并将获取到的所述用户数据和所述用户行为数据传输至OLAP系统或者离线分析系统。

优选地，可视化操作单元，用于为操作人员提供可操作界面，并显示OLAP系统或者离线分析系统的分析结果。

优选地，所述查询引擎单元还用于获取可视化操作单元的操作指令，根据操作指令从所述数据存储单元中获取所述用户数据和/或所述用户行为数据，并将所述用户数据和/或所述用户行为数据传输至OLAP系统或者离线分析系统。

优选地，所述查询引擎单元包括指令生成单元；

所述指令生成单元用于根据所述操作指令生成统一数据访问指令，所述统一数据访问指令为OLAP系统或者离线分析系统调用所述用户数据和/或所述用户行为数据的指令。

优选地，所述用户数据包括用户的身份信息，标签信息，所述用户行为数据包括用户的行为数据。

本申请第二方面提供一种多数据源的数据分析方法，所述方法包括：

获取分析产品功能的操作指令；

根据所述操作指令选用所需的OLAP系统或者离线分析系统；