[发明专利]非结构化数据转化及存储方法和装置

权利要求书

1.一种非结构化数据转化及存储方法，其特征在于，所述方法包括：

获取医疗数据集合，对所述医疗数据集合中的数据进行超图聚类，得到多个超图子集；

构建实体及关系识别模型，其中所述实体及关系识别模型包括多层双向LSTM网络、词性特征识别模块及CRF模型；

基于所述词性特征识别模块、所述多层双向LSTM网络对所述多个超图子集中的数据进行实体识别及词性拼接，并通过所述CRF模型对拼接后的实体进行关系识别，得到识别到的实体结果及关系结果；

基于所述实体结果及所述关系结果构建医疗知识图谱，将所述医疗知识图谱转化为结构化数据并存储至预构建的数据库中。

2.如权利要求1所述的非结构化数据转化及存储方法，其特征在于，所述对所述医疗数据集合中的数据进行超图聚类，得到多个超图子集，包括：

根据所述医疗数据集合构建属性三元组集合，并基于所述属性三元组集合中的属性值构建索引集合；

基于FP-growth关联规则挖掘算法从所述索引集合中挖掘出频繁项集合；

根据所述频繁项集合的平均置信度构建多个超图；

计算所述多个超图的重合程度，将所述重合程度小于预设程度阈值的超图进行超图分割，并将所述重合程度大于等于所述预设程度阈值的超图进行超图融合，汇总超图融合及超图分割后的超图得到所述多个超图子集。

3.如权利要求2所述的非结构化数据转化及存储方法，其特征在于，所述基于FP-growth关联规则挖掘算法从所述索引集合中挖掘出频繁项集合，包括：

计算所述索引集合中每个属性值的支持度，根据所述支持度对所述属性三元组集合中的三元组进行排序，得到初始频繁项顺序集合；

按照所述初始频繁项顺序集合中的顺序遍历所述医疗数据集合，并根据遍历路径构建FP树；

对所述FP树中的相同节点进行累加，得到包含多个频繁项子集的频繁项集合。

4.如权利要求1所述的非结构化数据转化及存储方法，其特征在于，所述构建实体及关系识别模型，其中所述实体及关系识别模型包括多层双向LSTM网络、词性特征识别模块及CRF模型，包括：

获取预设的包括第一前向LSTM网络及第一反向LSTM网络的双向LSTM网络，在所述第一前向LSTM后拼接一层第二反向LSTM网络；

获取预设的双向RNN网络，在所述双向RNN网络后拼接注意力机制单元，得到词性特征识别模块；

将所述词性特征识别模块串联至所述第二反向LSTM网络之后，并在所述词性特征识别模块之后添加CRF模型，得到所述实体及关系识别模型。

5.如权利要求4所述的非结构化数据转化及存储方法，其特征在于，所述基于所述词性特征识别模块、所述多层双向LSTM网络对所述多个超图子集中的数据进行实体识别及词性拼接，并通过所述CRF模型对拼接后的实体进行关系识别，得到识别到的实体结果及关系结果，包括：

对所述超图子集中超图顶点对应的医疗数据文本进行词性标注，得到词性集合；

利用所述词性特征识别模块及所述词性集合对所述医疗数据文本中的词语进行词性融合及标签预测，得到标准词性融合向量及所述标准词性融合向量对应的预测标签；

利用所述第一反向LSTM网络输出所述标准词性融合向量的预测标签的发射分数；

利用所述CRF模型输出所述标准词性融合向量的预测标签的转移分数，利用所述发射分数及所述转移分数计算损失值，并将所述损失值小于预设损失阈值时的标准词性融合向量作为所述实体结果，将所述标准词性融合向量对应的预测标签作为所述关系结果。