[发明专利]一种基于深度学习的垃圾文本过滤方法

说明书

本发明公开了一种基于深度学习的垃圾文本过滤方法，先对字符数据进行过滤，去除非必要的符号、空格及语气助词，根据垃圾文本中存在的不同数据类型进行分类，将字符数据和图形数据分别通过标记加以区分，但不改变两类数据的顺序和位置，将图形数据通过深度学习算法转换成字符数据，数据转换为深度学习方法的一个重要组成部分，结合原字符数据通过深度学习算法与云服务器中的违禁词进行对比得到垃圾文本，文本对比为深度学习方法的一个重要推广，能够做到有效的深度拦截和提示。本发明有效解决了现有的文本过滤方法不能很好筛选出由字符数据和图形数据共同组成的垃圾文本问题，将深度学习算法应用到垃圾文本处理，提高了筛选的准确率。

技术领域

本发明属于大数据处理技术领域，更具体地，涉及一种基于深度学习的垃圾文本过滤方法。

背景技术

文本数据是计算机科学中最常见的一种半结构化数据，现实世界中的很多信息都需要通过文本进行表达，用户之间的沟通也可以借助文本信息的交流来实现。这样，就有可能产生对用户无用的垃圾文本信息。

随着计算机科学技术对文本数据生成和处理方式的日益丰富，加之数据传输速度的急速发展，文本信息已不单纯使用ASCⅡ、GBK及BIG5等编码类型进行生成，还有可能借助于图形数据生成丰富的文本信息。进而，垃圾文本信息就有可能隐藏于图形数据中，并将字符数据和图形数据一起发送给用户。

现有的垃圾文本过滤方法在实际使用中存在以下弊端：现有的垃圾文本过滤方法往往存在遗漏的现象，不能被全部拦截，现有的方法单纯处理字符数据能够产生很好的效果，但不能完全应对字符数据和图形数据混合的情况；现有的垃圾文本过滤方法对图形数据的甄别能力较低，往往不能做到有效的拦截或提示。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度学习的垃圾文本过滤方法，由此解决现有的垃圾文本过滤方法对文本中的图形数据的甄别能力较低，往往不能做到有效的拦截或提示的技术问题。

为实现上述目的，本发明提供了一种基于深度学习的垃圾文本过滤方法，包括：

对待识别文本中的数据进行拆分，在数据拆分的过程中，在每个字符之间填入预设字符，以区别原字符数据和图形数据，并对原字符数据和图形数据的顺序和位置进行标记；

通过第一深度学习算法将拆分出的所述图形数据中包含的文本信息转换为目标字符数据；

将所述目标字符数据与所述待识别文本中的原字符数据按照标记的顺序排序后得到目标文本，然后由第二深度学习算法训练得到的垃圾字符识别模型通过排序后的上下文字符内容识别所述目标文本是否含有垃圾字符；

若所述目标文本中含有垃圾字符，则判断所述目标文本中含有的垃圾字符与云服务器中所设定的垃圾字符及包含设定垃圾字符的文本信息是否匹配，若匹配则识别所述待识别文本为垃圾文本，若不匹配，则识别所述待识别文本不是垃圾文本。

优选地，在所述由第二深度学习算法训练得到的垃圾字符识别模型通过排序后的上下文字符内容识别所述目标文本是否含有垃圾字符之前，所述方法还包括：

通过互联网实时更新所述云服务器中所设定的垃圾字符及包含设定垃圾字符的垃圾文本信息；

将所述云服务器中的垃圾文本信息作为训练样本，运用第二深度学习算法进行训练，以此得到垃圾字符识别模型，其中，所述垃圾字符识别模型能够提取出垃圾字符及垃圾字符出现的上下文环境。

优选地，所述在数据拆分的过程中，在每个字符之间填入预设字符，包括：

在数据拆分的过程中，对于原字符数据中的首位均以M开始，后续位数由小到大进行递增，对于图形数据的首位均以N开始，后续位数由小到大进行递增，其中，M与N均为整数，且M与N不同。

优选地，所述通过第一深度学习算法将拆分出的所述图形数据中包含的文本信息转换为目标字符数据，包括：