[发明专利]一种自然语言的语义解析方法

说明书

本发明涉及一种语义解析的技术领域，揭露了一种自然语言的语义解析方法，包括：利用基于字符串的正向最大匹配算法对自然语言进行分词处理；利用预设字典对自然语言进行去前缀词处理；利用Hash编码方式对经过分词处理的自然语言进行编码；利用中文词向量模型将自然语言进行重新编码，得到词的向量化表示；计算自然语言中每个词向量的相对熵，并对自然语言的长度进行修订；利用改进的TFIDF算法进行词向量的权重计算，将权重最高的k个词向量作为关键词向量；利用基于主动学习训练得到的LSTM模型接收所述关键词向量，并基于关键词向量进行语义解析。本发明实现了对语义的解析。

技术领域

本发明涉及语义解析的技术领域，尤其涉及一种自然语言的语义解析方法。

背景技术

互联网经过多年的快速发展，在网络中存在的信息和知识的增长速度呈几何级数趋势。以前用户在互联网中查找信息的方式主要通过通用搜索引擎，使用关键字去寻找匹配的网页信息，对网页集合进行排序的依据是网页链接和关键字之间的相关程度。这种查找信息的方式并没有直接回答用户的问题，而是缩小了查找信息的范围，需要用户自己对搜索到的信息进行二次提炼，以此获得用户真正需要的信息，因此实现对自然语言中语义的准确解析收到了研究者的关注。

在现有技术中，对自然语言进行语义解析的方法为利用TFIDF算法对自然语言中的关键字进行提取，并使用机器学习模型进行语义解析。而利用TFIDF算法对自然语言中的关键字进行提取的方式为统计关键字词频，当文本中某个词语频繁出现，说明该词语和文本之间有很强的关联，同时依赖词语的逆文档频率避免常见词出现权重过高的问题，但词语的逆文档频率会降低文本中所有的常见词权重，且没有考虑词语的位置信息；同时现有机器学习模型需要大量、高质量的训练样本数据进行训练，过于耗时耗力。

鉴于此，如何对自然语言中的关键词进行抽取，并利用所抽取的关键词进行语义的准确解析，成为本领域技术人员亟待解决的问题。

发明内容

本发明提供一种自然语言的语义解析方法，通过对自然语言进行向量化处理，并利用改进的关键词抽取算法对关键词进行抽取，从而利用所抽取的关键词进行语义的准确解析。

为实现上述目的，本发明提供的一种自然语言的语义解析方法，包括：

利用基于字符串的正向最大匹配算法对自然语言进行分词处理；

利用预设字典对自然语言进行去停用词处理；

利用Hash编码方式对经过分词处理的自然语言进行编码；

利用中文词向量模型将自然语言进行重新编码，得到词的向量化表示；

计算自然语言中每个词向量的相对熵，并对自然语言的长度进行修订；

利用改进的TFIDF算法进行词向量的权重计算，将权重最高的k个词向量作为关键词向量；

利用基于主动学习训练得到的LSTM模型接收所述关键词向量，并基于关键词向量进行语义解析。

可选地，所述利用基于字符串的正向最大匹配算法进行分词处理，包括：

1)取待处理字符串的前n个字作为匹配字段，查找预构建的分词词典，所述分词词典中最大词条所含的汉字个数为n个。若词典中含有该词，则匹配成功，并分出该词；

2)从被比较字符串的n+1处开始再取n个字组成的字段重新在词典中匹配；

3)如果没有匹配成功，则将这n个字组成的字段的最后一位剔除，用剩下的n-1个字组成的字段在词典中进行匹配，如此进行下去，直到切分成功为止。

可选地，所述利用预设字典对自然语言进行去停用词处理，包括：

将上述分词结果利用预设的停用词词典，进行遍历匹配操作，将匹配到的词进行删除处理；