[发明专利]基于可扩展动态选择与注意力机制的类别检测算法及系统

说明书

本发明提供一种基于可扩展动态选择与注意力机制的类别检测方法与系统，方法包括以下步骤：将摘要中的单个句子通过双通道融合预训练语言模型ELMo与Bi‑LSTM，分别得到第一句向量、第二句向量；通过动态选择机制筛选保留第一句向量、第二句向量中的一个设为主句向量；将摘要中所有单个句子对应的主句向量组成摘要向量序列并通过注意力网络进行加权；经注意力网络加权后的输出进入层连Bi‑LSTM网络，单个主句向量匹配上下文，过滤冗余信息进行分类，得到摘要中所有单个句子对应的文本生成概率；采用CRF对所有单个句子对应的文本生成概率进行优化表示形成标签概率序列。该方法能避免信息重复，同时，加入基于注意力的网络，解决现有类别检测方法中语义空洞问题。

技术领域

本发明属于医学文本摘要信息化处理技术领域，具体涉及一种基于可扩展动态选择与注意力机制的类别检测算法及系统。

背景技术

循证医学(Evidence-Based Medicine，EBM)是一种临床实践方法，其作为一种流行的医学研究范式，使用当前的最佳证据来辅助医疗决策；在循证医学中，搜寻医学证据是最为关键的一个环节，医学证据主要存在于医学文献或医学指南中，但是大部分文献和指南都是以无结构化的形式呈现，这为医生搜寻最佳证据带来了困扰，故为方便医生快速找到医学证据，需要将文献按照某种医学模式进行结构化表示，即类别检测。

近几年，面向循证医学领域的类别检测研究得到了发展，研究者多着眼于以自动化的形式寻找临床证据，主要采用机器学习的方法对文献根据PICO或类似模式进行划分，有利于更高效地鉴别高质量文献和筛选最佳证据。对于文献的处理，大多以词粒度和句粒度代替文档粒度，或以多者结合的方式，因医学领域的独特性，其规则制定与语义分析成为了研究难点；且又因自然语言的多样性，如何正确对序列进行建模和分析语义是句子分类任务面临的重大困难。

现有方法大多忽略了上下文信息和句子之间的依赖关系，或是会出现信息重复问题，并且在较长文本中会出现语义“空洞”问题，比如，Wang等人在其论文“A categorydetection method for Evidence-based Medicine”中提出采用双通道层连网络(HMcN)进行类别检测，HMcN在进行类别检测时融入摘要文本的上下文信息，考虑了医学文本的特殊性，但这种方法会产生信息重复问题，且无法解决长文本的语义“空洞”问题，即当前句子的相邻语句发生了主题偏移，相关语义信息存在于更早之前的语句中；Jin等人最先将深度学习用于循证医学类别检测任务，该模型大大提升序列句子分类任务的效果，但该模型在生成句向量时忽略了摘要内句子间的关系；Huang等人提出将朴素贝叶斯方法用于PICO类别检测中，隐马尔可夫模型(Hidden Markov Models,HMM)将输入序列看作观测序列、，类别序列看作状态序列，条件随机场(Conditional Random Fields,CRF)解决了HMM无法根据完整的上下文进行标注的问题，但以上三种方法往往需要大量手工构建特征，且特征只通过词频或其他形式表示，不可对词语语义进行表征。

发明内容

有鉴于此，本发明的目的之一在于提供一种基于可扩展动态选择与注意力机制的类别检测方法，该方法能减少对医学文献摘要进行类别检测信息重复、语义空洞问题。

为实现上述目的，本发明的技术方案为：一种基于可扩展动态选择与注意力机制的类别检测方法，包括以下步骤：

将摘要中的单个句子通过双通道融合预训练语言模型ELMo与Bi-LSTM，分别得到第一句向量、第二句向量；

通过动态选择机制筛选保留所述第一句向量、第二句向量中的一个设为主句向量；

将摘要中所有单个句子对应的所述主句向量组成摘要向量序列并通过注意力网络进行加权；

经所述注意力网络加权后的输出进入层连Bi-LSTM网络，单个主句向量自动匹配摘要向量序列的上下文，过滤冗余信息进行分类，得到摘要中所有单个句子对应的文本生成概率；