[发明专利]面向开放环境的弱监督持续文本分类方法、装置

权利要求书

1.一种面向开放环境的弱监督持续文本分类方法，其特征在于，包括以下步骤：

数据采集步骤，在每个时间段t获取需要分类的文本数据D_t；

初步分类步骤，在每个时间段t中将文本集合D_t′和种子词集合作为调用的基础模型的输入，计算初步分类结果z(d)和分类置信度P_t(d)＝P_t(z(d)|d)作为输出；

延迟分类决策步骤，在每个时间段t中进行计算获得阈值，接受文本集合D_t′中分类置信度大于或等于阈值的文本，拒绝文本集合D_t′中分类置信度小于阈值的文本并使其进入下一时间段进行延迟分类决策；

其中，所述基础模型为弱监督文本分类模型，所述文本集合所述为时间段t-1被延迟分类决策的文本集合。

2.根据权利要求1所述的面向开放环境的弱监督持续文本分类方法，其特征在于，

所述进行计算获得阈值，包括利用置信度小于阈值的正样本、置信度大于或等于阈值的负样本的数量作为参数对每个时间段的阈值进行更新；

其中，正样本为前一个时间段置信度大于或等于阈值的文本，负样本为前一个时间段置信度小于阈值的文本。

3.根据权利要求1所述的面向开放环境的弱监督持续文本分类方法，其特征在于，

所述进行计算获得阈值，包括：利用计算公式计算获得阈值，所述计算公式为：

的更新方式为：

其中∈为阈值，为一个新的参数，γ为损失权重，n₁、n₂、n₃分别表示置信度大于或等于阈值的正样本的总数、置信度小于阈值的正样本的总数、和置信度大于或等于阈值的负样本的总数；正样本为前一个时间段置信度大于或等于阈值的文本，负样本为前一个时间段置信度小于阈值的文本。

4.根据权利要求1所述的面向开放环境的弱监督持续文本分类方法，其特征在于，

还包括种子词更新步骤，在每个时间段t中在接受的文本上重新执行基础模型得到按重要性排序的关键词，对得到的关键词进行筛选得到候选种子词集合，利用候选种子词集合对当前种子词集合进行更新，输出更新后的种子词集合作为下一个时间段的初始种子词集合。

5.根据权利要求4所述的面向开放环境的弱监督持续文本分类方法，其特征在于，

所述利用候选种子词集合对当前种子词集合进行更新，包括：使用主题一致性指标UMass评估候选种子词集合、当前种子词集合中每个种子词，并通过对性能提升立即奖励的强化学习对当前种子词集合进行更新。

6.根据权利要求4所述的面向开放环境的弱监督持续文本分类方法，其特征在于，

所述利用候选种子词集合对当前种子词集合进行更新，包括：输入前两个时间段排好序的种子词集合S_t、S_t-1，当前时间段排好序的候选种子词集合W以及文本集合D_t-2、D_t-1、D_t；基于种子词集S和文本集D计算UMass一致性；在种子词添加阶段，尝试将候选种子词集合中的词按顺序添加到当前种子词集合中，一旦UMass值增加，则将该词添加到当前种子词集合中；在种子词删除部分，尝试将当前时间段初始种子词集合中的词按顺序从当前种子词集合中删除，当UMass值更好时，若对种子词集合S_t、S_t-1进行同样的词的删除时任一UMass值也更好，则将该词从当前种子词集合中删除。