[发明专利]数据存储方法、装置及系统

说明书

本申请实施例提供一种数据存储方法、装置及系统。数据存储方法包括：从支持行式存储方式的存储节点中，获取待处理数据表，待处理数据表包含以行式存储方式存储的至少一条数据记录；从至少一条数据记录中，选择待转存数据记录；以列式存储方式，将待转存数据记录转存至至少一个支持列式存储方式的存储节点。本申请实施例可以实现行式存储方式和列式存储方式的结合，一方面充分利用行式存储支持高并发查询的优势，保证未转存数据的查询效率，另一方面基于列式存储便于对转存数据进行复杂查询，保证转存数据的查询效率。

技术领域

本申请涉及互联网技术领域，尤其涉及一种数据存储方法、装置及系统。

背景技术

关系型数据库以记录为单位进行存储，一般用于存储事务型数据。对使用数据库的业务方来说，理想的方式是维护一张数据表，这样不影响业务逻辑，但随着时间推移和数据量的增长，数据表会越来越大，导致查询速度越来越慢，数据库的整体性能会逐步下降。

现有技术采用分区表或分库分表方式解决上述问题。一种常用的分库分表方式为：以时间或者主键作为分表的依据，把数据表分成多个数据表，每个数据表存储部分数据。这样，可以保证热数据表的数据查询效率。

发明内容

经过分析大量业务方的诉求发现：大多数业务方经常使用的是新数据，而历史数据的使用较少，所以将大量历史数据存储到一张较大的冷数据表中，新数据存储到一张较小的热数据表中，这样可以保证热数据表的数据查询效率，缓解业务方的查询压力。

但是，业务方较少使用历史数据，并不是完全不使用历史数据。当业务方需要使用历史数据时，历史数据所在数据表仍旧较大，导致历史数据的查询效率较低，无法满足业务方对历史数据的查询需求。

针对上述技术问题，根据现有技术方案的启示，本申请发明人容易想到的是：继续分表，将历史数据存储到多张数据表中，以保证每张数据表不至于过大，从而保证历史数据的查询效率。

针对继续分表方式，本申请发明人经过进一步分析发现：如果业务方单纯查询某张数据表中的历史数据，继续分表方式可以保证历史数据的查询效率。如果业务方需要综合查询众多分表，会涉及跨表查询，继续分表方式会增加查询复杂度，整体的查询效率不一定得到保证，同时还要面临众多分表的维护问题。

基于上述分析，本申请发明人跳出现有技术方案的思路，并且在经过创造性劳动后提供一种新的解决方案，主要原理是：结合行式存储方式和列式存储方式，新数据采用行式存储，充分利用行式存储支持高并发查询的优势，保证新数据的查询效率；历史数据采用列式存储，基于列式存储便于对大量历史数据进行复杂查询，保证历史数据的查询效率，同时一定程度上也可以解决众多分表的维护问题。

为实现上述目的，本申请实施例提供一种数据存储方法，包括：

从支持行式存储方式的存储节点中，获取待处理数据表，所述待处理数据表包含以行式存储方式存储的至少一条数据记录；

从所述至少一条数据记录中，选择待转存数据记录；

以列式存储方式，将所述待转存数据记录转存至至少一个支持列式存储方式的存储节点。

在一可选实施方式中，所述待转存数据记录的选择步骤，包括以下至少一种方式：

从所述至少一条数据记录中，选择存储时间符合预设时间条件的数据记录，作为所述待转存数据记录；

从所述至少一条数据记录中，选择主键符合预设主键条件的数据记录，作为所述待转存数据记录；

从所述至少一条数据记录中，选择访问频度低于频度阈值的数据记录，作为所述待转存数据记录。

在一可选实施方式中，所述待转存数据记录的转存步骤，包括：