[发明专利]一种基于神经网络和幽默特征的幽默识别方法

说明书

一种基于神经网络和幽默特征的幽默识别方法，属于数据挖掘和自然语言处理领域，用以解决进行幽默识别的问题，要点是包括S1、幽默语料采集及预处理；S2、幽默特征提取；S3、文本的词向量表示；S4、神经网络模型构建；S5、幽默识别结果评价，效果是：对特定形式的幽默数据进行采集和预处理，根据相关成熟的幽默理论，充分考虑到幽默文本的语音特性，构造幽默的语音特征；利用幽默的模糊性特性，提取了句子中拥有同义词最多的词作为特征词并对其进行向量化；采用了深度学习方法，提取了幽默文本背后深层次的语义特征，并将幽默的语音特征和模糊性特征融合到神经网络当中，从而进行幽默识别，在数据集上的实验验证了本发明方法对幽默识别的有效性。

技术领域

本发明涉及数据挖掘和自然语言处理领域，尤其是一种基于神经网络和幽默特征的幽默识别方法。

背景技术

随着人工智能的快速发展，幽默识别成为了自然语言处理中一个非常有趣热门的研究问题。幽默是一种特殊的语言表达形式，它能够活跃气氛，化解尴尬，维基百科中，幽默被定义为一种使人发笑的品质或使人发笑的能力。毫无疑问，人与人的交往中如果没有幽默，那么人的交际能力是不完整的。而在人机交互领域，问答系统、对话系统已经在很多家用产品中得以应用，人与计算机的交互也变得越来越普遍，如果能够使得计算机理解并使用幽默，计算机将更加人性化，计算机与人的交流也会更加顺畅，这也将成为人工智能时代人类的一项重大成就。使计算机能够理解并使用幽默，首先要让计算机具有幽默识别的能力。

幽默识别任务就是让计算机能够自动的识别出给定的段落或句子是否是幽默的。幽默识别任务在自然语言处理领域仍然是一个具有挑战性的任务。首先，幽默的形式种类多种多样，很难对幽默的形式给出准确的定义和划分；其次，一些幽默需要较长的上下文信息进行铺垫；此外，许多幽默的理解需要发现文本内容背后大量的常识知识，需要对文本内容进行多次的加工，换句话说，幽默是一种潜在的语义表示，是人类语言的高级抽象形式。

使计算机识别所有形式的幽默超出了计算机现有的计算能力，本发明将幽默识别的研究范围限定为句子级别。一个仅包含少量单词的句子具有幽默的效果，通常该句子会存在一些特别的语法结构或语义形式，这也为计算机能够自动寻找和学习幽默背后的特征提供了有迹可循的线索。

幽默的理论研究可以追溯到上个世纪90年代，其中最具有影响力的幽默理论是语义脚本理论(SSTH)等。根据幽默的相关理论，许多研究者投入到幽默计算的研究当中，Taylor等人采集了推特中的幽默文本并进行了标注，从幽默的语义特点和结构特点出发构造了一系列幽默特征，采用传统的机器学习方法对幽默进行了识别。

目前对文本的幽默识别研究较少，大多数研究从幽默的理论出发，人工构造一些幽默的特征，采用传统的文本表示方法和分类算法进行幽默识别，识别的效果欠佳。而将深度学习方法应用于幽默识别还处于简单应用阶段，没有结合幽默的特征来进行文本的幽默识别。

发明内容

本发明的目的是提供一种能够有效避免传统的特征工程方法需要人工构造大量幽默特征的缺点，为用户提供一种结合少量幽默特征的自动对文本进行幽默识别的方法。

本发明解决现有技术问题所采用的技术方案：一种基于神经网络和幽默特征的幽默识别方法，包括以下步骤：

S1、幽默语料采集及预处理步骤：

a1、幽默语料采集：从网站上获取幽默的文本以及文本的评价信息；对文本ID进行编号作为文本的唯一标识，便于存储和今后使用；采集网站幽默的内容作为幽默文本候选集；从所述网站获取文本幽默的评价信息作为衡量文本幽默程度的标准；采集新闻等形式的文本作为非幽默文本的候选集。幽默语料为单句。