[发明专利]基于Spark的Cassandra数据导入方法、装置、设备及介质

说明书

本发明公开了一种基于Spark的Cassandra数据导入方法，涉及数据处理技术领域，用于解决现有通过Spark导入数据到Cassandra时，Cassandra性能降低的问题，该方法包括以下步骤：获取待导入数据的数据量及SSTable单文件大小，并根据所述数据量及SSTable单文件大小计算所需分区数量N；根据所述数据的Key计算token值；根据所述token值，将所述数据分配到所述N个分区中，并排序；使用CQLSSTableWriter读取排序后的所述数据，生成SSTable文件；并行处理所述SSTable文件，通过SSTableload将所述SSTable文件导入Cassandra集群。本发明还公开了一种基于Spark的Cassandra数据导入装置、电子设备和计算机存储介质。本发明通过Spark对数据进行分区，进而提高数据导入时，Cassandra的处理性能。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于Spark的Cassandra数据导入方法、装置、设备及介质。

背景技术

近年来，与物联网、人工智能、智慧城市等相关的产品及应用层出不穷，这些产品及应用也促进了大数据技术的蓬勃发展，随着数据规模指数的增长，数据的处理和存储方法已成为相关公司的主要研究方向。目前，Cassandra作为一种开源分布式NoSQL数据库存储系统，因其高写入性能、高读取性能等优点，被越来越多的公司用作数据存储系统。

Cassandra作为分布式的数据存储系统，可以提供较完善的数据读取、写入和管理功能，Cassandra以SSTable(Cassandra的基本存储单元)的方式进行数据的存储。Cassandra的数据写入功能一般直接通过insert实现；如果数据量比较大，也可以使用CQLSSTableWriter(读取源数据生成SSTable的工具)+SSTableload(SSTable文件导入工具)工具简单的组合实现。

但是，这两种数据写入方法在实际应用时分别存在一些问题。使用insert直接读取数据进行导入的方式性能较低，且对Cassandra服务器的负载影响较大；另一种借助CQLSSTableWriter+SSTableload工具实现数据导入的方法，该方法相对insert直接导入数据的方法，性能上有了较大提升，且借助Spark，也可以实现分布式并行处理，但无法解决各分区中数据不均衡的问题，Spark对数据划分partition(分区)的时候，由于不会考虑Cassandra的数据存储规则，会导致数据通过SSTableLoader导入集群的时候，对SSTable文件进行再次拆分，产生大量的SSTable小文件，引起Cassandra集群负载升高，性能降低；此外，CQLSSTableWriter生成sstable的时候，会在内部进行排序，较大数据量时会导致CQLSSTableWriter性能过低、内存溢出，分布式处理时数据倾斜，造成SSTable文件生成缓慢。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种基于Spark的Cassandra数据导入方法，其根据SStable单文件大小及总数据量，计算出分区数量，并根据token值均分数据，进而防止导入Cassandra时，分区中数据不均衡的问题。

本发明的目的之一采用以下技术方案实现：

一种基于Spark的Cassandra数据导入方法，包括以下步骤：

获取待导入数据的数据量及SSTable单文件大小，并根据所述数据量及SSTable单文件大小计算所需分区数量N；

读取所述待导入的数据，根据所述数据的Key计算token值；

根据所述token值，将所述数据分配到所述N个分区中，并按照所述token值对每个所述分区的数据进行排序；

使用CQLSSTableWriter读取排序后的所述数据，生成SSTable文件；