[发明专利]一种从视频字幕中提取概念词的方法

说明书

本发明公开了一种从视频字幕中提取概念词的方法，其包括如下步骤：对字幕文本进行分词处理，并删除标点符号；对分词后的字幕文本进行停止词和词性标注；计算目标单词和相邻词的共现特征；计算目标单词和相邻词的语义相似度；对分词后的少量字幕文本进行概念词标记，作为训练集；根据所述训练集对预先建立的基于条件随机场的半监督学习框架进行训练，得到概念词预测模型，并获取所述概念词预测模型输出的字幕文本对应的概念词预测结果。基于本发明提供的提取概念词的方法，减轻了人工标注语料的工作量，提升了在MOOC视频字幕场景中提取概念词的准确性，并满足了实际需求。

技术领域

本发明涉及一种概念词提取方法，尤其涉及一种从视频字幕中提取概念词的方法。

背景技术

大规模开放式在线课程(Massive Open Online Course,简称MOOCs)由于拥有优质课程资源，因而促进了世界范围内的知识分享，为不同学科的教和学创造了大量的机会。对MOOC平台数据进行挖掘与分析的基本步骤之一是对视频字幕中的概念词进行提取。

目前虽然有很多方法可以从文本中提取概念词，如基于支持向量机和神经网络等各种机器学习算法的有监督和无监督方法，然而有监督方法需要大量的人工标记语料，无监督方法虽然不需要人工标注语料，但是很难取得令人满意的性能，并且这些方法都是针对从一般的文本挖掘场景中提取关键词，如果将其直接应用于课程视频字幕文本通常不会取得令人满意的性能，这是因为视频字幕和一般的文本挖掘场景，如学术论文和新闻文本等，都有诸多不同，而通常意义上的关键词和概念词也不能完全划等号。以上几方面都给视频字幕中的概念词提取任务带来了一定的困难，因此需要对现有的关键词提取方法进行改进。

发明内容

本发明的目的在于提出一种从视频字幕中提取概念词的方法，以减轻人工标注语料的工作量，同时提升从视频字幕场景中提取概念词的准确性。

本发明为了实现上述目的，采用如下技术方案：

一种从视频字幕中提取概念词的方法，包括如下步骤：

s1.对字幕文本进行分词处理，并删除标点符号；

s2.对分词后的字幕文本进行处理，获得基于条件随机场的半监督学习框架所需的若干个特征，将各个特征的组合转变成特征向量；

其中，对分词后的字幕文本进行处理的过程如下：

s2.1.对分词后的字幕文本进行停止词和词性标注；

s2.2.根据分词后的字幕文本计算目标单词和相邻词的共现特征；

s2.3.根据分词后的字幕文本计算目标单词和相邻词的语义相似度；

s2.4.对分词后的部分字幕文本进行概念词标记；其中，有概念词标记的字幕文本加入已标记样本集作为训练集，没有概念词标记的字幕文本加入未标记样本集；

s3.根据训练集对基于条件随机场的半监督学习框架进行训练，得到概念词预测模型，并获取概念词预测模型输出的字幕文本对应的概念词预测结果；

其中，基于条件随机场的半监督学习框架进行训练的具体过程如下：

s3.1.使用训练集对条件随机场模型进行训练，得到初始的概念词预测模型；

s3.2.计算未标记样本集中的未标记样本和训练集的相似度；

选取和训练集最相似的一组未标记样本，然后将该组未标记样本通过概念词预测模型转变为已标记样本后，添加到训练集中，作为更新后的训练集；

s3.3.利用更新后的训练集对条件随机场算法进行训练，得到更新后的概念词预测模型；