[发明专利]处理报表数据的方法和装置

说明书

本发明实施例提供一种处理报表数据的方法和装置，有助于在支持多种数据查询方式的情况下有更高的处理速度。该方法包括：对于从数据源中选择的多个数据列，分别标明该数据列的类型，数据列的类型包括键名列和键值列；保存当前报表并且保存行索引字典；对于获取的数据源中的当前行数据的多个键名列使用所述预设的计算方式计算出一个对应值，判断若该对应值是行索引字典中的一个已有键名，则将当前报表中序号是该已有键名对应的键值的一行的数据与当前行数据采用当前报表中的各个键值列对应的聚合函数进行数据合并。

技术领域

本发明涉及计算机及软件技术领域，特别地涉及一种处理报表数据的方法和装置。

背景技术

在数字化时代，越来越多的信息以数据报表的形式提供给人们，例如商品的信息，或者广告投放效果的信息……等等。以广告为例，对于投放了广告的广告主而言，他们在广告投放之后都会频繁的查看广告的投放效果，投放效果基本都以报表的形式展示给广告主，由于报表所涉及的数据量大、数据条目多、逻辑计算复杂，仅仅的优化SQL查询语句来提升查询效率是远远不够的。在大数据的查询场景下，需要设计一种基于报表存储和计算的数据结构，来支持对时间延迟敏感的查询，并且具有良好的可伸缩性，可以随着数据规模和查询总量的增长，保持原有的计算速度。目前相关的技术例如RDBMS视图和HBase存储结构。

RDBMS视图是指关系数据库的视图，目前业务层主要使用Mysql。当某个查询结果非常频繁，而且会被当做子查询用于别的查询中时，视图就可以作为一张临时的虚拟表，存储这些数据。视图的数据模型和它所使用的数据库一致，仍然有着相同的存储结构。

由于视图所使用的数据结构仍然和数据库的一致，数据库带来的限制也仍然存在。当结果集比较大而且需要对结果集进行计算、查找或排序时，如果没有索引，仍然效率很低。索引的创建又非常依赖场景，很不灵活。

HBase是一个分布式列存储数据库，提供了可靠的存储和高性能的计算，其海量数据操作的时效性也要优于其他RDBMS数据库。HBase的存储模型是基于列存储模，每一行数据都会有一个Rowkey，数据按Rowkey有序存储，这样的数据结构会使查询时可以快速定位数据。同时HBase的存储模型支持动态的增加列，列的存储值为空也不会增加存储空间，使得使用起来更灵活，免去了RDBMS需要修改存储结构的问题。同时HBase对于报表系统的场景有着比较明显的劣势，HBase条件查询性能不高，而报表系统会使用大量的条件查询。

目前众多的系统对报表的查询是使用单一类型的数据库语句例如SQL语句直接查询数据库，获取报表数据，使用数据库是MySQL，所以对应的技术方案主要是以优化SQL语句、优化MySQL的配置、增加硬件配置、分库分表等方式来优化查询速度，对于每一张报表都需要根据其场景设计技术方案。

现有技术主要存在以下不足之处：

1.完全依赖于采用单一数据库的语句进行查询时的存储结构，查询性能较低，当处理千万级数据时不能达到毫秒级的响应速度。

2.如果数据库发生变动，所有的优化方案需要重新设计，针对每个场景都需要设计存储格式，兼容性和扩展性都不好。

3.只能基于当前采用的数据库本身去优化改善，如果该数据库版本更新，需要将设计再次重新与新版本合并，造成不必要的工作量。

发明内容

有鉴于此，本发明实施例提供一种处理报表数据的方法和装置，有助于在支持多种数据查询方式的情况下有更高的处理速度。本发明的其他有益效果和优点以及非常规的可选实现方式将结合具体实施方式加以说明。

为实现上述目的，根据本发明实施例的一个方面，提供了一种处理报表数据的方法。