[发明专利]一种用于敏感数据泄露检测的关键词提取方法及系统

权利要求书

1.一种用于敏感数据泄露检测的关键词提取方法，其特征在于：包括以下步骤：

S1.数据预处理，对源文本数据进行清洗，去时间、日期，得到目标文档；

S2.关键词提取，针对目标文档，采用TF-IDF算法进行关键词提取，得到TF-IDF关键词候选；

S3.非中文处理，针对目标文档，进行非中文处理，得到邮箱、URL、IP、手机号、最长公共子串关键词；

S4.剔重排序，将得到的TF-IDF关键词候选与邮箱、URL、IP、手机号、最长公共子串关键词进行剔重排序，得到TF-IDF关键词。

2.根据权利要求1所述的一种用于敏感数据泄露检测的关键词提取方法，其特征在于：所述步骤S1具体为

1)命名实体识别：采用自然语言处理工具包Stanford CoreNLP，对原文本数据中的时间、日期分别标注为TIME、DATE；

2)替换：将文本中标注为TIME和DATE的替换成空格。

3.根据权利要求1所述的一种用于敏感数据泄露检测的关键词提取方法，其特征在于：所述步骤S2具体为

S201：分词，使用中文分词工具jieba进行分词；

S202：去停用词；

S203：采用TF-IDF进行关键词提取，得到TF-IDF关键词候选。

4.根据权利要求3所述的一种用于敏感数据泄露检测的关键词提取方法，其特征在于：所述TF-IDF算法包括TF算法和IDF算法，其中TF计算公式为

其中n_ij表示词i在文档j中的出现频次：

IDF的计算公式为

其中，|D|为文档集中总文档数，包括目标文档、引入不同于目标文档的其他类型文档，|D_i|为文档集中出现词i的文档数量；

计算完成后，提取每篇目标文档中词的tf-idf值排名top n的词，共计得到n*m个关键词，m表示目标文档数，然后将n*m个关键词汇总再按照tf-idf值排名取top k的词；其中，kn*m。

5.根据权利要求1所述的一种用于敏感数据泄露检测的关键词提取方法，其特征在于：所述步骤S3具体为

S301.非中文提取

对文本中的中文用空格替代，将非中文文本划分为用空格分割的词。

S302.特殊串的提取

文档文本包含邮箱、URL、IP、手机号特殊子类，对每个子类进行单独提取：

邮箱处理策略：使用正则表达式，匹配出邮箱地址，以其在整个文档集内出现的词频作为关键性的排序依据，生成邮箱域名清单，本发明实例中对目标样本文档提取135个邮箱地址；

URL处理策略：使用正则表达式，匹配出URL，以其在整个文档集内出现的词频作为关键性的排序依据，生成URL域名清单，本发明实例中对目标样本文档提取59个URL；

IP处理策略：使用正则表达式，匹配出IP地址，以其在整个文档集内出现的词频作为关键性的排序依据，生成IP地址清单，本发明实例中对目标样本文档提取761个IP地址；

手机号处理策略：使用正则表达式，匹配出手机号，以其在整个文档集内出现的词频作为关键性的排序依据，生成手机号清单，本发明实例中对目标样本文档提取186个手机号码；

S303.公共子串提取

1)剔除：在S301中剔除了中文的基础上，再将S302中提取的特殊串邮箱、URL、IP、手机号去除；

2)清洗：对步骤1)处理后的部分做清洗，将词的长度小于2或者不包含数字、字母的串去除；

3)公共最长子串提取：提取词与词之间的最长公共子串，以子串在整个文档集内出现的词频作为排序依据，生成公共子串清单。