[发明专利]一种基于SIMHASH的文件相似度判定方法及系统

权利要求书

1.一种基于SIMHASH的文件相似度判定方法，其特征在于，所述方法包括：

提取待判断文件的文件消息，写入kafka；

相似判定处理引擎对所述文件消息进行tika解析，得到tika解析结果；

Simhash引擎对tika解析结果进行simhash计算，得到待判断文本的simhash值；

将待判断文件的simhash值与样本库中样本的simhash值进行比较，得到海明距离；

判断海明距离是否大于0，若是，则基于设定相似度判断所述待判断文件是否相似，若相似，则将结果写入hbase数据库，在样本库中更新样本状态，所述样本状态包括涉密和非涉密。

2.如权利要求1所述的方法，其特征在于，所述设定相似度为海明距离小于等于三。

3.如权利要求1所述的方法，其特征在于，Simhash引擎对tika解析结果进行simhash计算，得到待判断文本的simhash值，包括：

Simhash引擎对tika解析结果中的纯文本进行simhash计算，得到待判断文本的simhash值，所述simhash值为64位的01字符串。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

每隔设定周期对样本库中所有样本文件进行一次simhash值比较计算，将满足设定相似度的文本文件进行处置。

5.一种基于SIMHASH的文件相似度判定系统，其特征在于，所述系统包括：

文件提取模块，用于提取待判断文件的文件消息，写入kafka；

相似判定处理引擎，用于对所述文件消息进行tika解析，得到tika解析结果；

Simhash引擎，用于对tika解析结果进行simhash计算，得到待判断文本的simhash值；

海明距离计算模块，用于将待判断文件的simhash值与样本库中样本的simhash值进行比较，得到海明距离；

相似判定模块，用于判断海明距离是否大于0，若是，则基于设定相似度判断所述待判断文件是否相似，若相似，则将结果写入hbase数据库，在样本库中更新样本状态，所述样本状态包括涉密和非涉密。

6.如权利要求5所述的系统，其特征在于，所述设定相似度为海明距离小于等于三。

7.如权利要求5所述的系统，其特征在于，Simhash引擎，具体用于：对tika解析结果中的纯文本进行simhash计算，得到待判断文本的simhash值，所述simhash值为64位的01字符串。

8.如权利要求5所述的系统，其特征在于，所述系统还包括：

定期处置模块，用于每隔设定周期对样本库中所有样本文件进行一次simhash值比较计算，将满足设定相似度的文本文件进行处置。

9.一种设备，其特征在于，所述设备包括：数据采集装置、处理器和存储器；

所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-4任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-4任一项所述的方法。