[发明专利]基于Spark的Cassandra数据导入方法、装置、设备及介质

权利要求书

1.一种基于Spark的Cassandra数据导入方法，其特征在于，包括以下步骤：

获取待导入数据的数据量及SSTable单文件大小，从所述待导入的数据中随机抽取若干条数据，计算所述若干条数据的平均数据大小；根据所述数据量、SSTable单文件大小及所述平均数据大小计算分区数量N，N的计算公式为：N＝(数据量*平均数据大小)/SSTable单文件大小；

读取所述待导入的数据，根据所述数据的Key计算token值；

根据所述token值，将所述数据分配到N个分区中，并按照所述token值对每个所述分区的数据进行排序；

使用CQLSSTableWriter读取排序后的所述数据，生成SSTable文件；

并行处理所述SSTable文件，并通过SSTableload将所述SSTable文件导入Cassandra集群。

2.如权利要求1所述的基于Spark的Cassandra数据导入方法，其特征在于，根据所述数据的Key计算token值之后，还包括以下步骤：

从所述数据中随机抽取预设量的数据，对抽取的所述数据按token值进行排序；

根据抽取的所述数据的token值，将抽取的所述数据均分到所述N个分区中，得到每个分区的token值区间。

3.如权利要求2所述的基于Spark的Cassandra数据导入方法，其特征在于，根据所述token值，将所述数据分配到所述N个分区中，包括以下步骤：

将所述N个分区的token值区间依序组成一个数组；

通过二分算法，为每个所述数据的token值匹配所述数组中的token值区间；

根据匹配到的token值区间，为所述数据匹配对应的分区。

4.如权利要求1所述的基于Spark的Cassandra数据导入方法，其特征在于，使用CQLSSTableWriter读取所述数据，生成SSTable文件，还包括以下步骤：

将所述SSTable文件拷贝到分布式文件系统上，并记录拷贝路径。

5.如权利要求4所述的基于Spark的Cassandra数据导入方法，其特征在于，并行处理所述SSTable文件，并通过SSTableload将所述SSTable文件导入Cassandra集群，包括以下步骤：

根据Cassandra节点数计算并行数M；

根据所述SSTable文件的数量，将所述SSTable文件均分到M个Spark task上；

根据均分结果，通过所述拷贝路径，将所述分布式文件系统上的SSTable文件拷贝到所述M个Spark task上，并执行所述Spark task；

通过SSTableload将所述SSTable文件导入Cassandra集群。

6.如权利要求5所述的基于Spark的Cassandra数据导入方法，其特征在于，所述并行数M的计算满足公式：M＝Cassandra节点数*4。

7.一种基于Spark的Cassandra数据导入装置，其特征在于，其包括：

分区计算模块，用于获取待导入数据的数据量及SSTable单文件大小，从所述待导入的数据中随机抽取若干条数据，计算所述若干条数据的平均数据大小；根据所述数据量、SSTable单文件大小及所述平均数据大小计算分区数量N，N的计算公式为：N＝(数据量*平均数据大小)/SSTable单文件大小；

分区分配模块，用于读取所述待导入的数据，根据所述数据的Key计算token值；根据所述token值，将所述数据分配到N个分区中，并按照所述token值对每个所述分区的数据进行排序；

文件生成模块，用于使用CQLSSTableWriter读取排序后的所述数据，生成SSTable文件；

文件导入模块，用于通过SSTableload将所述SSTable文件导入Cassandra集群。