[发明专利]基于主动学习和语义密度的目标语料库构建方法

说明书

基于主动学习和语义密度的目标语料库构建方法属于文本挖掘技术领域。命名实体识别是面向生物医学文献的文本挖掘技术中至关重要的一环，深度学习和其他学习算法在实体识别的能力很大程度上取决于目标语料库构建的性能。而主动学习则是通过未标记的数据进行筛选，可以利用少量的数据取得较高的学习准确度。提出了基于密度聚类的主动学习方法来构建目标语料库，密度聚类选择具有一定高密度的区域划分为簇，可以去除掉具有噪音的数据，再由主动学习方法来选取信息最丰富的样本，使用较少的训练样本来获得性能较好的目标语料库，最终我们通过上下文相似度曲线来观察目标语料库的性能。该方法可以有效减少训练时间的同时也能提高目标语料库的性能。

技术领域

本发明是基于生物医学开放科技文献，使用密度聚类和主动学习方法来寻找代表性和信息性的上下文来构造训练时间少且性能良好的目标语料库，可以提高文本挖掘领域中的可靠性。

背景技术

近年来，生物医学文献资源呈爆炸式增长，已成为一种重要的知识源。例如该领域知名文献资源库MEDLINE(https://www.nlm.nih.gov/pubs/factsheets/Medline.html)，其目前已经收录的文献资源超过数千万篇，并仍以每年数十万乃至百万篇的规模在增长，采用文本挖掘技术从生物医学文献中自动的知识抽取已成为一个研究热点。

众所周知，数据挖掘、文本处理、还是机器模型的构建，结果是否可靠与语料库的性能是息息相关，语料库的性能关系到统计结果是否可靠。因此，构建性能良好的语料库在文本挖掘中是十分重要的。

发明内容

为了解决现有的构造目标语料库方法耗费大量人力与时间且性能不一定良好的问题，本发明提出了一种基于主动学习方法和密度聚类结合起来的目标语料库自扩充机制构建方法，最后我们使用上下文相似度曲线来验证该方法构建目标语料库的有效性。结果显示，该方法可以有效的减少训练时间的同时，目标语料库的性能更加稳定可靠。

附图说明

图1是相似度曲线。

具体实施方式

本发明采用的技术方案具体如下：

(1)确定先验知识

从SNOMED CT(Systematized Nomenclature of Medicine--Clinical Terms，医学系统命名法)查看抑郁症药物概念有300多个，经过与专家讨论去掉药物容量等其他词，最终确定抑郁症药物概念为49个。

(2)构建原始目标语料库

基于开发科技文献抓取工具，在医学文献检索服务系统PubMed网站上搜索关键字Depressive drug，爬取相关科技文献的摘要来构造原始目标语料库，共爬取了4424个段落；

(3)提取目标词上下文

根据确定的抑郁症药物49个概念，在原始目标语料库中提取目标上下文，设置特定窗口为50，提取上下文共12118条。

(4)选择具有代表性和信息性的上下文

根据得到的目标上下文随机分成10份，将第一份节点共1211条上下文进行密度聚类，去掉离群点后得到1102条上下文。当出现新的包含领域术语的语料库时，则启动自扩充机制选择代表性和信息性的上下文添加到已有的目标语料库中。以1102条上下文为基础，过滤其它9份目标上下文，选择代表性和信息性的上下文共1977条组成最终的目标语料库。

(5)明确上下文相似度算法