[发明专利]一种基于神经网络的自学习语义检测方法及系统

说明书

技术领域

本发明属于网络信息处理与分析领域，尤其涉及到文字信息内容性质与倾向性的自动判定领域，具体涉及一种基于神经网络的自学习语义检测方法及系统。

背景技术

网络信息的自动处理与分析技术是实现网络内容的分析、检测与管理的重要组成部分，对于网络内容处理与安全系统的构建具有重要意义。

由于网络技术的不断发展和运营商提供的带宽不断的提高，用户可以很方便的访问下载网络上的各种信息，其中，带宽的提升为信息传递提供了更宽广的舞台的同时，也给不良信息传播提供了新便利。近年来，网络上的淫秽、色情和反动等有害信息传播盛行，传统网络信息处理方案对于这些有害信息的识别往往需要很大的人力和物力，受客观条件的限制，对于网络不良信息的发现与处理远不能满足现实需要。

互联网就像由许多河流交汇组成的庞大水系，里面高速地流动着各种各样的内容信息，网络用户通过到河里取水的方式访问互联网。互联网这个江河水系的流量巨大、流速极快，连接到之上的用户数量数以亿计。传统的网络信息处理和分析方案无法实现网络信息性质的自动和智能化分析，必须投入大量的人员进行手工分析和判别。现有技术只是单纯的定义某个分词是良或者不良，如果文件名包含不良的分词即判断此文件名为不良，而不是进行贝叶斯的全概率分析；另外，这种定义分词的工作量很大，比较难以更新，本系统可以随时进行自学习更新，以免出现新兴的词而造成漏判或误判；还有，本系统还增加了反馈环节，防止分词不完整或不正确，提高成功率。从系统组成上分析现有的判别系统基本上只有一个分词模块和判别模块，进行简单的分词，然后看是否包含不良关键词，以此来判断文件名的属性，往往成功率不高。

当前形势下，面临互联网中海量内容，使用人工方法要做到实时分析已经无法应对，迫切需要具有智能分析能力的网络信息处理和识别方案，实现对特定网络信息性质的自动检测和判定。

发明内容

本发明的目的在于为克服上述问题，本发明提供了一种基于神经网络的自学习语义检测方法及系统。

为实现上述目的，本发明提供了一种基于神经网络的自学习语义检测方法，所述方法包含：

步骤101）导入字典库对待识别的文件名分词，获得文件名中的关键词，基于贝叶斯算法计算每个关键词的概率项；且所述概率项基于对文件名良或不良的判断结果的分析获取；

步骤102）获取所有关键词对应的在良语义字符串名中出现的概率之积和良语义字符串名的先验概率，并将上述两个参量值相乘得到第一乘积；并

获取所有关键词对应的在不良语义字符串名中出现的概率之积和不良语义字符串名的先验概率，并将两个参量相乘得到第二与的乘积；

步骤103）比较第一乘积与第二乘积的大小，如果第一乘积项大于第二乘积项，则该字符串是良语义的，反之则是不良语义的，将判决结果存入到存储介质中。

上述概率项为：良和不良两种类别分别所占百分比P(Vj)和从类别Vj中的一个文件名随机抽取的一个词为Wk的概率

其中，P(Vj)的计算公式为V中目标值为Vj的文件名子集/V中所有文件名数目,V为文件名集合;

的计算公式为：

(nk+1)(n+|V|)]]>

其中，n为在Textj中不同关键词的总数，Textj为将docsj中所有的成员连接起来的单个文档，docsj为V中目标值为Vj的文件名子集，其中Vj是良或者不良，nk为单词Wk出现在Textj中的次数，|V|表示V中文件名的个数。

上述步骤102）所述的所有关键词对应的在良语义字符串名中出现的概率之积该乘积公式的Wk是文件名中各关键词；所述良语义字符串名的先验概率P=P(Vj)；所述的所有关键词对应的在不良语义字符串名中出现的概率之积所述不良语义字符串名的先验概率P=P(Vj)。

优化的，所述步骤101）和步骤102）之间还包含：采用反馈策略保证文件名中所有关键词分词的完整。可以采用人工审核获得基于对良或不良的判断结果。

基于上述方法本发明还提供了一种基于神经网络的自学习语义检测系统，所述系统包含：