[发明专利]一种不良语料内容检测装置和方法

说明书

技术领域

本发明涉及文字处理领域，特别是涉及一种不良语料内容检测装置和方法。

背景技术

随着互联网的发展，网络检索的需求也越来越高，因此需要储备更多的关键词，以及语料，存储于云端的语料库中，供网民上网搜索时使用。为优化网络环境，往往需要对网络用户输入的词汇或语料进行不良内容检测，屏蔽不良内容的词汇或语料。

现有技术中，对于不良语料的检测方法通常采用统计方法，统计方法主要是根据不良信息词库来判断是否是不良内容，现有技术的缺点在于准确率不高，无法精确全面的检测到待检测内容中的全部不良内容，容易造成漏判。

发明内容

本发明主要解决的技术问题是提供一种不良语料内容检测装置和方法，能够通过与已知语义框架种类进行比对，辨别待检测的语义框架是否为不良内容语料，能够对精确判断待检测语料是否为不良内容，防止漏判现象。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种不良语料内容检测装置，该装置包括：语义框架确定模块，用于对待检测语料进行分词，确定待检测语料的语义框架；检测标准设定模块，连接语料库和语义框架确定模块，用于将语料库中的语料传输到语义框架确定模块，以提取语料库中语料的语义框架，同时提取对语料库进行分词处理时得到的不良内容词汇；检测模块，用于比对待检测语料的分词结果和不良内容词汇，并比对待检测语义框架和全部语义框架，确定待检测语料是否为不良语料内容。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种不良语料内容检测方法，该方法的步骤包括：对待检测语料进行分词，确定待检测语料的语义框架；提取语料库中语料的语义框架，同时提取对语料库进行分词处理时得到的不良内容词汇；比对待检测语料的分词结果和不良内容词汇，并比对待检测语义框架和全部语义框架，确定待检测语料是否为不良语料内容。

区别于现有技术，本发明的不良语料内容检测装置通过对待检测的语料进行分词处理，分词后根据语料中每一分词的语义确定其语义框架，通过和已知的语义框架进行比较，确定是否为不良语料内容。通过本发明，能够通过与已知语义框架种类进行比对，辨别待检测的语义框架是否为不良内容语料，能够对精确判断待检测语料是否为不良内容，防止漏判现象。

附图说明

图1是本发明提供的一种不良语料内容检测装置的实施方式的结构示意图；

图2是本发明提供的一种不良语料内容检测方法的实施方式的流程示意图。

具体实施方式

下面结合具体实施方式对本发明的技术方案作进一步更详细的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

语料库的建设是统计学习方法的重要基础，近年来，语料库资源对于自然语言研究的巨大价值已经得到越来越多的认可。特别是双语语料库(Bilingual Corpus)，已经成为机器翻译、机器辅助翻译以及翻译知识获取研究不可或缺的重要资源。一方面，双语语料库的出现直接推动了机器翻译新技术的发展，像平行语料库为统计机器翻译的模型构建提供了必不可少的训练数据，基于统计(Statistic-Based)和基于实例(Example-Based)等基于语料库的翻译方法为机器翻译研究提供了新的思路，有效改善了翻译质量，在机器翻译研究领域掀起了新的高潮。另一方面，双语语料库又是获取翻译知识的重要来源，从中可以挖掘学习各种细粒度的翻译知识，如翻译词典和翻译模板，从而改进传统的机器翻译技术。此外，双语语料库也是跨语言信息检索，翻译词典编撰、双语术语自动提取以及多语言对比研究等的重要基础资源。当前的网络中，为创建健康网络环境，需要对网络现有的语料以及网络用户实时输入的语料的内容进行诊断检测。语料库内容的不断丰富壮大，给语料库内容的检测带来困难。

参阅图1，图1是本发明提供的一种不良语料内容检测装置的实施方式的结构示意图。该装置100包括：语义框架确定模块110、检测标准设定模块120和检测模块130，其中，检测标准设定模块120连接到语义框架确定模块110和语料库101。