[发明专利]基于Spark的Cassandra数据导入方法、装置、设备及介质

摘要

本发明公开了一种基于Spark的Cassandra数据导入方法，涉及数据处理技术领域，用于解决现有通过Spark导入数据到Cassandra时，Cassandra性能降低的问题，该方法包括以下步骤：获取待导入数据的数据量及SSTable单文件大小，并根据所述数据量及SSTable单文件大小计算所需分区数量N；根据所述数据的Key计算token值；根据所述token值，将所述数据分配到所述N个分区中，并排序；使用CQLSSTableWriter读取排序后的所述数据，生成SSTable文件；并行处理所述SSTable文件，通过SSTableload将所述SSTable文件导入Cassandra集群。本发明还公开了一种基于Spark的Cassandra数据导入装置、电子设备和计算机存储介质。本发明通过Spark对数据进行分区，进而提高数据导入时，Cassandra的处理性能。