[发明专利]基于偏最小二乘的文本语义提取方法

权利要求书

1.一种基于偏最小二乘的文本语义提取方法，其特征在于将文档在向量空间模型表示后，利用偏最小二乘模型对数据进行分析，提取出对原始数据具有最大表示能力同时又与类标信息相关的潜在语义，而后在该语义空间上进行文档分析，其具体操作步骤如下：

a.文档预处理。包括中文分词和去除停用词步骤；

b.统计词频，建立文档在向量空间模型下的向量表示，得到数据矩阵X和类别矩阵Y；

c.基于矩阵X和矩阵Y，进行偏最小二乘分析，得到各个潜在语义的投影方向；

d.利用得到的语义投影方向，得到待分析文档在语义空间上的语义表示；

e.在新的语义空间下，对文档进行各种分析。

2.根据权利要求1所述的基于偏最小二乘的文本语义提取方法，其特征在于所述的步骤(3)中的偏最小二乘分析的具体方法如下：

输入：数据矩阵X、类别矩阵Y、阈值ε，缺省为0.01，

输出：语义投影方向矩阵Ξ

E₀＝X；F₀＝Y；

k＝0；ESP＝||E₀||；

DO WHILE ESP＞ε

k＝k+1；

u_k＝F_k-1的第一行；

DO until ξ_k收敛

ξk=Ek-1Tuk/ukTuk;]]>

ξ_k＝ξ_k/||ξ_k||；

t_k＝E_k-1ξ_k；

ωk=Fk-1Ttk/tkTtk]]>

uk=Fk-1ωk/ωkTωk;]]>

ENDDO

pk=Ek-1Ttk/tkTtk;]]>

Ek=Ek-1-tkpkT;]]>

Fk=Fk-1-tkωkT;]]>

ESP＝||E_k||；

ENDDO

Ξ＝[ξ₁，ξ₂，…ξ_K]。

3.根据权利要求1所述的基于偏最小二乘的文本语义提取方法，其特征在于所述的步骤(4)中，给定文档向量x^T，其对应的在潜在语义空间的表示t^T的计算方法如下：

t^T＝x^TΞ

＝(x^Tξ₁，x^Tξ₂，…x^Tξ_K)。