[发明专利]一种确定文本视觉相似度的方法

摘要

本发明涉及一种确定文本视觉相似度的方法，实现步骤如下：(1)计算两个字符串直接的视觉距离；(2)计算两个字符串直接相似度；(3)将以前发邮件记录中的邮件记录最大值与当前电子邮件的最大值作为分类器的特征，来检测特定字符串即电子邮件地址的相似度；(4)将利用随机森林分类器对误发送邮件进行分类训练和检测，以用于检测误发邮件。本发明达到了比传统的检测技术更高的准确率和召回率。

主权项

一种确定文本视觉相似度的方法，其特征在于实现步骤如下：(1)计算两个字符串直接的视觉距离，计算公式如下：$\mathrm{VD}\left({\mathrm{\α}}_{[t+1,l\left(a\right)],}{\mathrm{\β}}_{[t+1,l\left(\mathrm{\β}\right)]}\right)=\mathrm{\θ}\×\min (x,y,z)+\left\{\begin{array}{ccc}0& \mathrm{if}& {\mathrm{\α}}_{1\left(a\right)}={\mathrm{\β}}_{l\left(\mathrm{\β}\right)}\\ 1& \mathrm{if}& {\mathrm{\α}}_{1\left(a\right)}\≠{\mathrm{\β}}_{l\left(\mathrm{\β}\right)}\end{array}\right.$其中$\left\{\begin{array}{c}x=\mathrm{VD}({\mathrm{\α}}_{[t+1,l\left(\mathrm{\α}\right)-1]},{\mathrm{\β}}_{[t+1,l\left(\mathrm{\β}\right)]})\\ y=\mathrm{VD}({\mathrm{\α}}_{[t+1,l\left(\mathrm{\α}\right)]},{\mathrm{\β}}_{[t+1,l\left(\mathrm{\β}\right)]})\\ z=\mathrm{VD}({\mathrm{\α}}_{[t+1,l\left(\mathrm{\α}\right)-1]},{\mathrm{\β}}_{[t+1,l\left(\mathrm{\β}\right)-1})\end{array}\right.$计算两个字符串之间可能的视觉距离最大值：$\begin{array}{c}\mathrm{MVD}({\mathrm{\α}}_{[t+1,l\left(\mathrm{\α}\right)]},{\mathrm{\β}}_{[t+1,l\left(\mathrm{\β}\right)]})=\underset{k=0}{\overset{\max (l\left(\mathrm{\α}\right),l\left(\mathrm{\β}\right)-t-1)}{\mathrm{\Σ}}}{\mathrm{\θ}}^k\\ =\frac{1-{\mathrm{\θ}}^{\max (l\left(\mathrm{\α}\right),l\left(\mathrm{\β}\right)-t)}}{1-\mathrm{\θ}}\end{array}$其中α、β表示两个字符串，l(·)表示字符串的长度，θ表示每个相邻字符之间的权重因子的比值；(2)根据步骤(1)中的两个字符串直接的视觉距离计算两个字符串视觉相似度，计算公式如下：$\mathrm{VS}(A,B)=\left\{\begin{array}{cc}0& \mathrm{if}{\mathrm{\α}}_{[1,t]}\≠{\mathrm{\β}}_{[1,t]}\\ 1-\frac{\mathrm{VD}({\mathrm{\α}}_{(t+1,l\left(a\right))},{\mathrm{\β}}_{(t+1),l\left(\mathrm{\β}\right)})}{\mathrm{MVD}({\mathrm{\α}}_{(t+1,l\left(a\right))},{\mathrm{\β}}_{(t+1),l\left(\mathrm{\β}\right)})}& \mathrm{otherwise}\end{array}\right.$VD表示上文中计算出来的邮件地址字符串之间的视觉距离，MVD表示字符串α、β之间理论上视觉相似度的最大值；(3)将该邮件的收件人地址与用户历史发件记录的联系人列表的邮件地址计算得到的视觉相似度作为分类器中的VESA，Visual Similarity between Email Addresses)特征，来检测特定字符串如形式类似于电子邮件地址的视觉相似度；(4)每一封邮件计算得到对应的VESA特征，将VESA特征作为分类器的一个特征，利用随机森林分类器对安然数据集中所有发送邮件进行分类训练和测试，以用于检测误发邮件。