[发明专利]一种基于局部敏感哈希的分布式快速文本分类方法

权利要求书

1.一种基于局部敏感哈希的分布式快速文本分类方法，其特征在于：包括以下步骤：

步骤1，对文本进行预处理：首先依次对文本进行分词、去停用词，以及存储为HDFS文件的操作，然后将所有文本加载到弹性分布式数据集；

步骤2，计算每个词语的n比特哈希值，并根据词频，通过RDD的变换，计算词语的tfidf值，并存储在RDD(tfidf)之中；其中，RDD为弹性分布式数据集，采用MD5哈希算法对文本中的每个词语特征进行哈希运算，每条词语特征对应一个n比特哈希值；

步骤3，根据训练数据集中每个类别下所有文本的词语tfidf值及n比特哈希值，计算每个类别的n比特类别向量及哈希值：首先，对于RDD(tfidf)中的每一行x，遍历x中的每一个元素y，如果元素y的tfidf值大于0，计算元素y的n位哈希值h_y；其次，遍历n位哈希值h_y，如果h_y的当前位为1，将元素y所属类别向量中与当前位所对应分量的数值加上y的tfidf值；否则，将元素y所属类别向量中与当前位所对应的数值减去y的tfidf值；最终得到该类别的n比特类别向量V_c；最后，遍历n比特类别向量V_c，如果V_c的当前分量大于0，则将该类别的n位哈希值h_c的对应位设置为1，否则将h_c的对应位设置为0，最终得到该类别的n比特哈希值h_c；

步骤4，计算待分类文本与每个类别的匹配度，得到文本所属类别：计算待分类文本的特征向量与所有类别的n比特类别向量的相关性或者待分类文本哈希值与类别哈希值之间的相关性，选择与待分类文本的特征向量相关性最高或者与待分类文本哈希值相关性最高的类别作为该待分类文本的类别；

在预处理文本阶段，对每个文本进行分词操作，并在RDD中用每一行表征一个文本，即每一行x表示一个文本，每一个元素y表示文本中的一个词语。

2.根据权利要求1所述的基于局部敏感哈希的分布式快速文本分类方法，其特征在于：在计算词语的哈希值时，可根据实际应用环境的性能需求：算法执行时间与分类准确度，选择不同的哈希比特位数。

3.根据权利要求1所述的基于局部敏感哈希的分布式快速文本分类方法，其特征在于：在计算词语的tfidf值时，采用哈希映射的方法，将所有的文本特征分别映射到2¹⁶维的向量中，从而方便特征的快速哈希和查找；该tfidf值的计算基于Spark并行框架，计算完成之后存储于RDD(tfidf)中，具体步骤为：

1)基于RDD中存储的切词后的文本，统计每个词语的词频，然后计算其tf值，公式表述如下：

$tf(w,d)=0.5+\frac{0.5\×f(w,d)}{max\{f(v,d):v\∈d\}}$

其中，f(w,d)表示词语w在文本d中的词频，v表示该文本中出现最频繁的词语；

2)计算每个词语的idf值，公式表述如下：

${\mathrm{idf}}_{(w,D)}=log\frac{\left|D\right|}{\left|\right\{w\∈d,d\∈D\left\}\right|+1}$

其中，|D|表示文本集中的文本总数，|{w∈d,d∈D}|为包含词语w的文本数，分母可以处理|{w∈d,d∈D}|为0的情况；

3)计算tfidf值，公式表述如下：

tfidf_(w,D)＝tf(w,d)×idf_w,D。

4.根据权利要求1所述的基于局部敏感哈希的分布式快速文本分类方法，其特征在于：依次计算待分类文本的特征向量与所有类别的n比特类别向量的相关性或者待分类文本哈希值与类别哈希值之间的相关性，选择与待分类文本的特征向量相关性最高或者与待分类文本哈希值相关性最高的类别作为该待分类文本的类别；其中待分类文本的特征向量和类别m的n比特类别向量之间相关性的公式表述如下：

$Sim(V_x,V_m)=\frac{{\mathrm{\Σ}}_i(V_{x,i}-{\stackrel{\‾}{V}}_x)(V_{m,i}-{\stackrel{\‾}{V}}_m)}{\sqrt{{\mathrm{\Σ}}_i{(V_{x,i}-{\stackrel{\‾}{V}}_x)}^2}\sqrt{{\mathrm{\Σ}}_i{(V_{m,i}-{\stackrel{\‾}{V}}_m)}^2}}$

其中，V_x与V_m分别表示待分类文本的特征向量和类别m的n比特类别向量，V_x,i表示V_x的第i个特征，表示V_x所有特征的平均值；哈希值之间相关性的公式表述如下：

$hamD(h_x,h_m)={\mathrm{\Σ}}_{i=1}^n{h}_x\[i\]\⊕h_m\[i\]$

其中h_x[i]与h_m[i]分别表示待分类文本x和类别m的第i比特哈希值，表示异或运算。