[发明专利]一种基于SIMHASH的文件相似度判定方法及系统

说明书

本申请实施例公开了一种基于SIMHASH的文件相似度判定方法及系统，所述方法包括：提取待判断文件的文件消息，写入kafka；相似判定处理引擎对所述文件消息进行tika解析，得到tika解析结果；Simhash引擎对tika解析结果进行simhash计算，得到待判断文本的simhash值；将待判断文件的simhash值与样本库中样本的simhash值进行比较，得到海明距离；判断海明距离是否大于0，若是，则基于设定相似度判断所述待判断文件是否相似，若相似，则将结果写入hbase数据库，在样本库中更新样本状态，所述样本状态包括涉密和非涉密。基于SIMHASH精准的进行文件相似度判断，大大减少了人工判定的成本，也提高了保密处置效率。

技术领域

本申请实施例涉及人工智能技术领域，具体涉及一种基于SIMHASH的文件相似度判定方法及系统。

背景技术

对在互联网接入口之间传输的文件进行涉密检查及密级判定是保密监察体系中的重要一环，在拥有巨大流量的网络上监察是否有涉密文件的传输是对保密人员的一个工作挑战。

在此种背景下就亟需一种技术，以快速并准确地帮助保密人员对文件完成自动化的检查系统。

发明内容

为此，本申请实施例提供一种基于SIMHASH的文件相似度判定方法及系统，基于SIMHASH精准的进行文件相似度判断，大大减少了人工判定的成本，也提高了保密处置效率。

为了实现上述目的，本申请实施例提供如下技术方案：

根据本申请实施例的第一方面，提供了一种基于SIMHASH的文件相似度判定方法，所述方法包括：

提取待判断文件的文件消息，写入kafka；

相似判定处理引擎对所述文件消息进行tika解析，得到tika解析结果；

Simhash引擎对tika解析结果进行simhash计算，得到待判断文本的simhash值；

将待判断文件的simhash值与样本库中样本的simhash值进行比较，得到海明距离；

判断海明距离是否大于0，若是，则基于设定相似度判断所述待判断文件是否相似，若相似，则将结果写入hbase数据库，在样本库中更新样本状态，所述样本状态包括涉密和非涉密。

可选地，所述设定相似度为海明距离小于等于三。

可选地，Simhash引擎对tika解析结果进行simhash计算，得到待判断文本的simhash值，包括：

Simhash引擎对tika解析结果中的纯文本进行simhash计算，得到待判断文本的simhash值，所述simhash值为64位的01字符串。

可选地，所述方法还包括：

每隔设定周期对样本库中所有样本文件进行一次simhash值比较计算，将满足设定相似度的文本文件进行处置。

根据本申请实施例的第二方面，提供了一种基于SIMHASH的文件相似度判定系统，所述系统包括：

文件提取模块，用于提取待判断文件的文件消息，写入kafka；

相似判定处理引擎，用于对所述文件消息进行tika解析，得到tika解析结果；

Simhash引擎，用于对tika解析结果进行simhash计算，得到待判断文本的simhash值；

海明距离计算模块，用于将待判断文件的simhash值与样本库中样本的simhash值进行比较，得到海明距离；