[发明专利]基于条件熵下随机游走的FW-LDA主题识别方法

权利要求书

1.一种基于条件熵下随机游走的FW-LDA主题识别方法，其特征在于该方法包括以下步骤：

步骤1、基于原始互联网文本资源，包括社会化标签和评论，构建语料库；对语料库进行停止词预处理，得到预处理后的语料库，其中以文档集合的形式表示，假设有M个资源，记为R＝{r₁,r₂,…,r_i,…,r_M}，并构建所有资源的资源分布图re_G＝(R)；

步骤2、计算所有预处理后的语料库中的任意两个文本之间的条件熵记为h(r_i|r_j)，且当i＝j时，h(r_i|r_j)＝0；根据所有资源中任意两个文本之间的条件熵h(r_i|r_j)建立资源之间条件熵矩阵，由资源之间条件熵矩阵获取二者中的最大值max(h(r_i|r_j),h(r_j|r_i))，假设max(h(r_i|r_j),h(r_j|r_i))为h(r_i|r_j)，则在图re_G中为资源r_i和r_j之间添加一条由r_i指向r_j的有向边，并形成资源关联关系有向图G＝(R,E,W)；

步骤3、使用随机游走方法计算各个资源的权值，将各个资源权值作用到每个特征词上，通过特征词加权方法形成特征词加权向量：

步骤3.1、使用随机游走方法计算资源关联关系有向图G中各个资源的权值μ_m，m∈{1,…,M}；假设M个资源包含了V个特征词，其频次向量为F_V(m)＝[v₁,f(v₁,m)；v₂,f(v₂,m)；···；v_i,f(v_i,m)；···；v_V,f(v_V,m)]，其中f(v_i,m)表示资源m中特征词v_i出现的频次；

步骤3.2、资源m的权威度分数为μ，资源及其特征词的加权表示形式为g_F_V(m)＝[v₁,gf(v₁,m)；v₂,gf(v₂,m)；···；v_i,gf(v_i,m)；···；v_V,gf(v_V,m)]，其中表示资源m中特征词v_i的加权出现的频次；

步骤3.3、M个资源中V个特征词的赋权向量为γ_v＝[v₁,γgf(v₁)；v₂,γgf(v₂)；···；v_i,γgf(v_i)；···；v_V,γgf(v_V)]，其中表示将所有资源中的特征词v_i加权后出现的频次进行累加，即M个资源中对于特征词v_i加权后出现的频次进行累加，即每一个特征词v_i拥有对应的权重值形成γ向量；

步骤4、采用吉布斯采样方法训练FW-LDA模型，并进行主题识别：

步骤4.1、设定模型的主题个数为K和超参数α，β，将预处理后的语料库和超参数γ输入，其中γ的取值来自于步骤3的γ特征词加权向量值；

步骤4.2、根据公式(1)进行采样并进行更新；

其中z_i表示第i个词所属主题，k表示主题编号；表示去除掉第i个词的主题向量，表示为词向量；表示第t个词属于第k号主题且不包含第i号词的个数，α_k表示第k个主题的狄利克雷先验分布，β_t表示词t的狄利克雷先验分布，γ_t表示词t的狄利克雷先验分布，表示非i；

步骤4.3、重复以上语料库的吉布斯采样直至吉布斯采样收敛；

步骤4.4、统计各个文本各个特征词的主题，得到主题分布θ_m，k和词分布ω_k,t；

步骤4.5、输出模型结果，统计各个文档的高频主题，获取最大概率分布的潜在主题。