[发明专利]一种数据流量实时可视化的方法及系统

说明书

技术领域

本发明涉及计算机技术领域，特别地涉及一种数据流量实时可视化的方法及系统。

背景技术

随着计算机网络技术的发展，数据流量分析系统的应用越来越广泛。目前，互联网企业在做数据流量分析系统的时候，由于系统数据量大以及传统的报表定制展示方式的限制，一般采用后台应用定制报表展示技术。因此，在提取和查询数据流量时，只能通过后台应用系统按照数据分析员既定的分析条件来查询和导出相关数据以便用于分析。

现有的数据流量分析系统，一般采用如图1所示的系统框架。其主要实现过程为：用户行为采集单元将采集到的页面访问行为、按钮点击行为、下单行为等数据导入历史数据单元、由历史数据单元使用调度系统配置的调度任务计算结果后，导入后台报表生成系统，生成报表后提供给后台应用进行展示，可根据需要例如以excel表格的形式等进行展示。

各类型的企业对数据流量分析系统的应用要求均有不同。电子商务企业由于对数据流量的敏感性，其数据流量分析系统应该具有实时、准确的特点。然而，现有的数据流量分析系统由于展示数据是通过后台应用进行的，脱离了页面的具体位置，因此在查询与对比数据时及其不方便；由于数据量大且高并发，会引起数据集群崩溃；并且由于数据存储于多个系统，提取数据流程麻烦；而且当天的数据会在汇总并导入历史数据单元后才能提取到，严重影响数据的实时性，故会影响运营决策。

发明内容

有鉴于此，本发明提供一种数据流量实时可视化的方法及系统，能够解决现有技术方案的时效性差和数据与页面实际位置脱离的问题，从而满足了对系统数据流量的实时性和便捷查看的需求，并能根据数据流量增长的需求进行动态扩容。

为实现上述目的，根据本发明的一个方面，提供了一种数据流量实时可视化的方法。

一种数据流量实时可视化的方法，包括：数据采集单元实时采集数据并将采集到的订单信息和请求页面信息以消息的形式发送至实时数据单元，其中，所述订单信息包括商品编号、引入订单量及引入订单金额，所述请求页面信息包括请求页面地址、页面访问次数、访客总量及按钮点击次数；实时数据单元按照预先设定的规则对接收到的所述订单信息和请求页面信息进行并行处理，并将流量数据发送至数据存储单元；数据存储单元对接收到的所述流量数据进行保存；后台应用单元读取所述数据存储单元中存储的流量数据并通过浏览器插件单元显示在当前页面上。

可选地，所述消息是通过kafka消息队列进行发送的。

可选地，还包括：历史数据单元通过使用调度系统配置的调度任务计算历史流量数据并定时发送至数据存储单元。

可选地，所述数据存储单元对接收到的所述流量数据进行保存包括：将所述实时数据单元发送的流量数据保存在分布式缓存服务器中；将所述历史数据单元发送的流量数据保存在分布式系统集群中；以及对所述实时数据单元发送的流量数据和所述历史数据单元发送的流量数据进行汇总，并保存在关系型数据库中；并且后台应用单元读取所述数据存储单元中存储的流量数据包括：后台应用单元读取所述数据存储单元的关系型数据库中存储的流量数据。

可选地，所述分布式缓存服务器为Redis，且所述分布式系统集群为Hadoop集群。

可选地，后台应用单元读取所述数据存储单元中存储的流量数据之前，还包括：根据预先设定的规则判断是否进行流量数据的显示。

根据本发明的另一方面，提供了一种数据流量实时可视化的系统。

一种数据流量实时可视化的系统，包括：数据采集单元，用于实时采集数据并将采集到的订单信息和请求页面信息以消息的形式发送至实时数据单元，其中，所述订单信息包括商品编号、引入订单量及引入订单金额，所述请求页面信息包括请求页面地址、页面访问次数、访客总量及按钮点击次数；实时数据单元，用于按照预先设定的规则对接收到的所述订单信息和请求页面信息进行并行处理，并将流量数据发送至数据存储单元；数据存储单元，用于对接收到的所述流量数据进行保存；后台应用单元，用于读取所述数据存储单元中存储的流量数据并通过浏览器插件单元显示在当前页面上。

可选地，所述消息是通过kafka消息队列进行发送的。

可选地，还包括：历史数据单元，用于通过使用调度系统配置的调度任务计算历史流量数据并定时发送至数据存储单元。