[发明专利]一种融合文本分类与词法分析的体检异常项归一化方法

说明书

本发明提供一种融合文本分类与词法分析的体检异常项归一化方法，属于自然语言处理的语义相似度技术领域，本发明通过文本分类技术对待归一词与归一词库中的词进行二分类。然后，对分出的两类词分别激进型归一化处理。本发明仅根据自身词特征完成体检异常项到知识库实体的自动匹配，从而解决体检报告异常结论与知识库异常结论类型实体的实体链接问题。

技术领域

本发明涉及自然语言处理的语义相似度技术领域，尤其涉及一种融合文本分类与词法分析的体检异常项归一化方法。

背景技术

在智能体检报告分析业务中，健康干预是指根据体检中的各项目结果，为用户提供检查项医学解释与健康建议。该过程的难点在于，不同体检机构的体检异常结论书写规范不同，因此很难将异常结论与知识库中的异常结论类型实体进行链接。

目前业界常用的实体链接方法是有基于语义相似度的实体链接方法、基于图嵌入的实体链接方法。基于语义相似度的实体链接方法，是指首先通过前后文语义对各词进行表示，然后通过距离计算确定各词相似度情况。该方法的优势在于充分考虑到了各词的语义信息，但该方法使用的前提是需要有完成的前后文信息。因此不适用于体检异常项归一化场景。基于图嵌入的实体链接方法，是指首先根据知识图谱中实体周围节点，完成中心实体的向量表示，然后通过距离计算确定各词的相似度。由于该方法需要先构建完备的知识图谱，因此不适用于体检异常项归一化场景。

鉴于体检异常项归一化问题中的归一化文本名称多为独立词汇，无上下文关联。因此在词汇相似度计算时使用不依赖上下文的编辑距离优于使用word2vec与欧氏距离组合的方式计算词汇相似度。然而，单纯进行编辑距离归于化存在如下问题，如“白细胞偏高”与“红细胞偏高”、“白细胞异常”，从编辑距离角度来看，“白细胞偏高”与“红细胞偏高”相似度更高，但实质上却是两个不同的异常项，不可将两部分归入一类异常项。

发明内容

为了解决以上技术问题，本发明提供了一种融合文本分类与词法分析的体检异常项归一化方法，旨在不依赖上下文信息，仅根据自身词特征完成体检异常项到知识库实体的自动匹配，从而解决体检报告异常结论与知识库异常结论类型实体的实体链接问题。

本发明的技术方案是：

一种融合文本分类与词法分析的体检异常项归一化方法，首先通过文本分类技术对待归一词与归一词库中的词进行二分类。然后，对分出的两类词分别激进型归一化处理。注意，待归一词是指体检结论原文中的异常情况描述，如“白细胞偏高”。归一词是指需要归一化的所有异常描述。归一词库是指由全部归一词组成的集合。发明具体过程如下

1文本分类

体检异常项词是指体检报告中对体检异常情况的描述。因此上文所指归一词、待归一词均为体检异常项词。体检异常项词按结构来分，可分为两类。一类是完整异常项词，后文统称为“一类词”。另一类是“实体词+程度”词模式，后文统称为“二类词”。二类词包含实体词与程度词两部分。实体词包括体征词、检验指标词、身体部位词。程度词是指描述临床所见内容增长或降低的词。

文本分类任务，就是基于文本分类模型将获得的体检异常项词进行以上两类文本的分类。具体模型构建过程见7.

2一类词归一化

在经过文本分类任务后，若待归一词为一类词，将被划分入一类词归一化流程进行归一化处理。

2.1一类待归一词与一类归一词库说明

经过文本分类任务划分后，进入一类词归一化流程的待归一词称为一类待归一词。一类归一词库是指文本分类任务中划分为一类的归一词的集合。

2.2编辑距离比较

在文本分类任务后，若待归一词被划分为一类词，即归为一类待归一词后，即可进入编辑距离比较任务。