[发明专利]数据标签的确定方法、装置及计算机可读存储介质

说明书

本发明是关于一种数据标签的确定方法、装置及计算机可读存储介质，涉及大数据处理领域。该方法包括：根据对多个抽样数据构建第一球树。由于可以根据第一球树对样本数据集中的样本数据进行分区，得到多个数据分区，因此可以根据多个数据分区中包括的样本数据，并行地构建每个数据分区对应的第二球树，也即并行地得到了多个第二球树。进而可以根据该多个第二球树确定待确定标签的目标数据的标签。如此，通过由第一球树和多个样本数据得到的多个数据分区，可以并行地构建多个第二球树，进而可以同时通过该多个第二球树确定目标数据的标签，提高了确定目标数据标签的效率。

技术领域

本发明涉及大数据处理领域，特别涉及一种数据标签的确定方法、装置及计算机可读存储介质。

背景技术

数据的标签用于对数据进行表征，比如，数据的标签可以用来表征数据所属的类别。目前，通常是通过单机系统来对大量的数据进行处理，进而确定大量数据的标签，该单机系统是指同一时间只能处理一个数据的系统。然而，随着近几年计算机技术和信息技术的迅猛发展，各个行业所产生的数据呈爆炸性地增长，动辄达到数百TB(Terabyte，太字节)甚至数十至数百PB(Petabyte，拍字节)规模的大数据已远远超出了传统的单机系统的处理能力，导致确定数据标签的效率较低。

发明内容

本发明提供一种数据标签的确定方法、装置及计算机可读存储介质，可以解决通过单机系统来对大量的数据进行处理时，确定数据标签的效率较低的问题。

第一方面，提供一种数据标签的确定方法，包括：

对样本数据集中包括的样本数据进行抽样，得到多个抽样数据，所述样本数据集中包括的样本数据已标注标签；

根据所述多个抽样数据构建第一球树；

根据所述第一球树对所述样本数据集中包括的样本数据进行分区，得到多个数据分区，每个数据分区中包括多个样本数据；

根据所述多个数据分区中包括的样本数据，并行地构建每个数据分区对应的第二球树；

根据构建得到的多个第二球树确定目标数据的标签，所述目标数据是指待确定标签的数据。

在一个可能的实现方式中，所述根据所述第一球树对所述样本数据集中包括的样本数据进行分区，得到多个数据分区，包括：

从所述第一球树包括的至少一个叶子节点中，确定所述样本数据集中包括的每个样本数据所属的叶子节点；

将属于同一个叶子节点的样本数据划分为一个数据分区，以得到所述多个数据分区。

在一个可能的实现方式中，所述从所述第一球树包括的至少一个叶子节点中，确定所述样本数据集中包括的每个样本数据所属的叶子节点，包括：

将所述第一球树广播至N个搜索进程，并将N份样本数据分配给所述N个搜索进程，所述N份样本数据是对所述样本数据集中包括的样本数据划分得到，所述N为大于2的正整数；

通过所述N个搜索进程，并行地从所述第一球树包括的至少一个叶子节点中，确定所述N份样本数据中每个样本数据所属的叶子节点。

在一个可能的实现方式中，所述从所述第一球树包括的至少一个叶子节点中，确定所述样本数据集中包括的每个样本数据所属的叶子节点，包括：

对于所述样本数据集中包括的任一样本数据A，令i＝1，将第一距离与第二距离进行比较，所述第一距离是指第一节点中位于中心位置处的样本数据与所述样本数据A之间的距离，所述第二距离是指第二节点中位于中心位置处的样本数据与所述样本数据A之间的距离，所述第一节点和所述第二节点是指以深度为i-1的节点为根节点的子树中的两个深度为1的节点，所述i大于或等于1且小于所述第一球树的总深度；