[发明专利]非结构化数据转化及存储方法和装置

说明书

本发明涉及人工智能技术领域，揭露了一种非结构化数据转化及存储方法和装置，包括：获取医疗数据集合，对所述医疗数据集合中的数据进行超图聚类，得到多个超图子集，构建实体及关系识别模型，其中所述实体及关系识别模型包括多层双向LSTM网络、词性特征识别模块及CRF模型，基于所述词性特征识别模块、所述多层双向LSTM网络对所述多个超图子集中的数据进行实体识别及词性拼接，并通过所述CRF模型对拼接后的实体进行关系识别，得到识别到的实体结果及关系结果，基于所述实体结果及所述关系结果构建医疗知识图谱，将所述医疗知识图谱转化为结构化数据并存储至预构建的数据库中。本发明可解决医疗数据不易查询且难以存储的问题。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种非结构化数据转化及存储方法和装置。

背景技术

随着科技的发展，数据的查询及存储变的至关重要。现有的结构化数据存储方案已经较为成熟，然后生产生活中，非结构化数据的查询及存储仍然存在较大问题。例如，医疗数据是以非结构化的形式存储的，包含大量文本、图片等信息，因此无法直接通过计算机直接处理和分析，不仅查询效率低下且不易存储。

现有医疗数据主要是医生通过信息系统手动录入的，而其中的内容则大多是以医生的口头语言进行描述的非结构化数据，现有技术会使用自然语言技术来对医疗数据进行信息抽取，例如使用LSTM-CRF模型进行实体识别，然而口语化的描述包含大量主观性，实体识别效果不佳，在查询时往往难以查询出出有效信息，数据查询效率较低。

发明内容

本发明提供一种非结构化数据转化及存储方法、装置、电子设备及计算机可读存储介质，其主要目的在于解决医疗数据不易查询且难以存储的问题。

为实现上述目的，本发明提供的一种非结构化数据转化及存储方法，包括：

获取医疗数据集合，对所述医疗数据集合中的数据进行超图聚类，得到多个超图子集；

构建实体及关系识别模型，其中所述实体及关系识别模型包括多层双向LSTM网络、词性特征识别模块及CRF模型；

基于所述词性特征识别模块、所述多层双向LSTM网络对所述多个超图子集中的数据进行实体识别及词性拼接，并通过所述CRF模型对拼接后的实体进行关系识别，得到识别到的实体结果及关系结果；

基于所述实体结果及所述关系结果构建医疗知识图谱，将所述医疗知识图谱转化为结构化数据并存储至预构建的数据库中。

可选地，所述对所述医疗数据集合中的数据进行超图聚类，得到多个超图子集，包括：

根据所述医疗数据集合构建属性三元组集合，并基于所述属性三元组集合中的属性值构建索引集合；

基于FP-growth关联规则挖掘算法从所述索引集合中挖掘出频繁项集合；

根据所述频繁项集合的平均置信度构建多个超图；

计算所述多个超图的重合程度，将所述重合程度小于预设程度阈值的超图进行超图分割，并将所述重合程度大于等于所述预设程度阈值的超图进行超图融合，汇总超图融合及超图分割后的超图得到所述多个超图子集。

可选地，所述基于FP-growth关联规则挖掘算法从所述索引集合中挖掘出频繁项集合，包括：

计算所述索引集合中每个属性值的支持度，根据所述支持度对所述属性三元组集合中的三元组进行排序，得到初始频繁项顺序集合；

按照所述初始频繁项顺序集合中的顺序遍历所述医疗数据集合，并根据遍历路径构建FP树；

对所述FP树中的相同节点进行累加，得到包含多个频繁项子集的频繁项集合。