[发明专利]一种基于二元和三元共词潜在语义信息的文献表示方法

说明书

本发明属于文献信息处理方法技术领域，具体涉及一种基于二元和三元共词潜在语义信息的文献表示方法。本发明一种基于二元和三元共词潜在语义信息的文献表示方法，包括以下步骤：第一步：对文本数据进行预处理，数据清洗，标记文献，提取每篇文献的关键词，并保留关键词与相应文献的对应关系；第二步：构建关键词空间并对所提取的关键词进行词频统计，关键词按词频降序排列，以备后续建立共现矩阵使用；第三步：以关键词在文献中是否出现为权重，构建文献表示的向量空间模型；第四步：三元共现层矩阵表示；第五步：计算关键词之间的共词矩阵；第六步：三元共现频次的计算；第七步：共现强度计算；第八步：二元、三元加权CLSVSM的构建。

技术领域

本发明属于文献信息处理方法技术领域，具体涉及一种基于二元和三元共词潜在语义信息的文献表示方法。

背景技术

文本数据挖掘是数据挖掘的一个主要方向，通过对出现在文本数据中的高频关键词进行词频统计分析，我们可以了解到目前某一专题领域里研究的热点。但是，仅仅对这些关键词按照出现频次由高到低的排列还不能表现出这些高频关键词之间的联系，因此可以采用共现分析的技术来进一步挖掘这些关键词之间的联系。关键词的共现分析是根据关键词在同一篇论文中共同出现的次数来表示关键词之间的联系。一般认为，如果两个关键词频繁在同一篇论文中同时出现，往往表明这两个关键词之间具有比较密切的联系，这就是共现分析的理论基础。

目前，对共现分析的研究大都考虑的两两词之间的共现关系，三词共现或者更多词的共现已可以进一步挖掘和利用。根据共现理论，多词共现更能凸现主题相似性，因此理论上讲，利用多词共现的信息能提高文本语义信息的挖掘。在国内冷伏海老师首次研究了三元共词，并定义了稳定度和影响力两个指标对三元共词进行量化。与之相近的概念是三重共现，首次由庞弘燊和方曙提出，指三个以上(含三个)相同类型或不同类型特征项共同出现的现象。本研究沿用“元”的概念，将两词、三词共现称为二元、三元共词或二元、三元共现，通过对关键词二元和三元共词信息的提取进而实现文献向量的表示。

发明内容

本发明的目的是提供一种基于二元和三元共词潜在语义信息的文献表示方法。

本发明为实现上述目的而采取的技术方案为：

一种基于二元和三元共词潜在语义信息的文献表示方法，包括以下步骤：

第一步：对文本数据进行预处理，数据清洗，标记文献，提取每篇文献的关键词，并保留关键词与相应文献的对应关系；

第二步：构建关键词空间并对所提取的关键词进行词频统计，关键词按词频降序排列，以备后续建立共现矩阵使用；

第三步：以关键词在文献中是否出现为权重，构建文献表示的向量空间模型如下：

d_l＝(a_l1 a_l2 a_l3 … a_lm)^T∈R^m，l＝1,2,…,n

其中：d_l是n篇文献中第l篇文献在欧式空间R^m中的表示向量，a_lj为第j个关键词在第l篇文献中的权重，当第j个关键词是文献d_l的关键词时a_lj等于1，否则为0；l为文献序号，n为文献总篇数，m为关键词集中总关键词的个数，R^m为欧式空间，T表示转置运算，文献集的“篇-词”矩阵A＝(a_lj)_n×m；

第四步：三元共现层矩阵表示