[发明专利]文本隐含语义激活方法及系统

说明书

本发明涉及文本隐含语义激活方法及系统，所述激活方法包括：获取待测文本的待测词项信息；根据文本集合知识库及所述待测文本的待测词项信息，确定所述文本集合知识库的词表中每个参考词项的激活系数；所述文本集合知识库包括多个参考词项共同构成的词表、对应各参考词项的参考词向量及参考词频；根据各激活系数，选取对应的参考词项构成待测文本的隐含语义集合；将所述隐含语义集合添加到所述待测文本中进行语义扩充。从而能够准确确定待测文本的隐含信息，准确度高。

技术领域

本发明涉及计算机科学技术领域，尤其涉及一种文本隐含语义激活方法及系统。

背景技术

面对当前互联网上的海量动态数据，信息过载问题成为网络用户获取有效信息的一大阻碍。以社交媒体平台为代表，用户生成的文本噪声多，语义模糊，内容风格自由且高速变化，导致了大量隐含信息的存在。因此，从大规模数据中挖掘隐含信息，实现高效准确的隐含语义分析，具有十分重要的应用价值。

以往的隐含语义分析工作主要可以分为两类，一类利用外部知识库(WordNet、维基百科等)或外部技术技术(搜索引擎，机器翻译等)扩充待测文本的语义信息。其代表性工作包括Kim 等(Kim,H.-j.,K.-j.Hong and J.Y.Chang(2015).Semantically EnrichingText Representation Model for Document Clustering. Proceedings of the 30thAnnual ACM Symposium on Applied Computing.)利用维基百科中的文本信息扩充待测文本，并应用在文本聚类工作中。这类方法的缺陷是需要借助外部知识，灵活性较差，且难以做到知识的实时更新以适应快速变化的互联网信息动态。另一类方法通过构建语言模型等方法来挖掘文本隐含语义信息，对文本进行向量化的抽象表示。其代表性方法包括Blei等提出的LDA(Blei,D.M.,A.Y.Ng and M.Jordan(2003).Latent Dirichlet Allocation.the Journal of Machine Learning Research 3: 993-1022)和Le等提出的paragraph2vec(Le,Q.V.and T.Mikolov (2014).Distributed Representations ofSentences and Documents. Proceedings of the 31st International Conference onMachine Learning.)。这些方法通过建模获取文本的高层抽象语义信息，但是原有的文本信息会因此丢失，因而产生高层抽象内容难以直观解释、难以结合其他语义分析方法的问题。

发明内容

为了解决现有技术中的上述问题，即为了解决通过建模获取文本的高层抽象语义信息，致使原有的文本信息丢失，导致无法直观解释、难以结合其他语义分析方法的问题，本发明提供了一种文本隐含语义激活方法及系统。

为实现上述目的，本发明提供了如下方案：

一种文本隐含语义激活方法，所述激活方法包括：

获取待测文本的待测词项信息；

根据文本集合知识库及所述待测文本的待测词项信息，确定所述文本集合知识库的词表中每个参考词项的激活系数；所述文本集合知识库包括多个参考词项共同构成的词表、对应各参考词项的参考词向量及参考词频；

根据各激活系数，选取对应的参考词项构成待测文本的隐含语义集合；

将所述隐含语义集合添加到所述待测文本中进行语义扩充。

可选的，所述激活方法还包括：

对预收集的原始文本集合进行训练，构建文本集合知识库。

可选的，所述对预收集的原始文本集合进行训练，构建文本集合知识库，具体包括：