[发明专利]一种基于双向长短时记忆神经网络的关联规则挖掘方法

说明书

本发明公开了一种基于双向长短时记忆神经网络的关联规则挖掘方法，该方法在数据标记时采用了word2vec框架下的Skip‑Gram和CBOW模型进行数据预训练，增强了原始数据的可计算性；采用Bi‑LSTM模型生成可计算的语句关系矩阵，增强了信息抽取时，易被程序忽略的上下文关系；同时通过TransE模型对每个关系项进行打分，从而计算出关系阈值进行判断；通过欧几里得距离公式计算每个实体之间的相似度，将相似度作为另一判别标准，以保留被忽略上下文信息关联的实体之间的关系，能够更好的保留和发现所有实体之间的关联。

技术领域

本发明涉及机器学习、深度学习方面的算法应用领域，具体是一种基于双向长短时记忆神经网络的关联规则挖掘方法。

背景技术

中医作为一门从古代流传至今的学科，其发展也随着历史潮流不断向前推进，而数年来累计诊疗经验也如同“滚雪球”一般不断庞大，想要凭借个人的力量是穷极一生都无法将其尽数参透的。如何利用古籍这一从古流传知识载体，总结前人经验，并将其有效应用于日常中医诊断治疗亦或是中医学习，是目前中医知识研究体系建设面临的难题。关联规则挖掘技术可以自动化的将自然语言中的实体关系抽取出来，从而能更好地使人们对一些文章和一些概念进行理解消化。将关联规则挖掘技术应用在中医上，进而可以对中医技术发展有所帮助。

发明内容

本发明的目的在于克服现有技术的不足，而提供一种基于双向长短时记忆神经网络的关联规则挖掘方法，该方法通过模型改进，能提高对中医古籍，名医名案里的中医术语命名实体关联关系的抽取准确率，抽取出更加准确的实体关系。

实现本发明目的的技术方案是：

一种基于双向长短时记忆神经网络的关联规则挖掘方法，该方法是通过Bi-LSTM模型计算出带有上下文信息的实体词向量矩阵，再通过TransE与欧几里得公式得出关系阈值，再结合Apriori进行关联规则挖掘，具体包括如下步骤：

1)对要挖掘的数据集进行预处理，步骤如下：

1-1)将获取的数据集统一转换为便于计算机处理的txt格式，得到文本集；

1-2)将文本集中所有的术语根据中医术语权威标准进行统一规范化；

1-3)将文本集中会影响实体关系的无关词语进行清洗删除；

1-4)将词与词之间划分间隔，以获得清晰的术语个体，得到术语集；

2)标记预处理后的文本，步骤如下：

2-1)将步骤1-4)获得的术语集进行标记；

2-2)将步骤2-1)标记好的文本集输入word2vec模型中，转换成维度为150的词向量集；

3)训练关联规则挖掘模型，步骤如下：

3-1)将步骤2-1)获得的标记术语集转换为事务集合，输入Apriori算法模型中，获得频繁项集与置信度；

3-2)将步骤2-2)获得的词向量集输入Bi-LSTM模型中，以获得带有上下文信息的词向量矩阵；

3-3)将步骤3-2得到的词向量矩阵输入TransE模型中，再通过欧几里得公式联合计算，获得初级关系阈值；

3-4)重复步骤3-3)操作，取20次试验中计算出的最大阈值与最小阈值加权平均数计算极差后取中值，得到关系阈值的界限值；

3-5)将步骤3-1)获得的项集和置信度与步骤3-4)计算出的关系阈值界限值同时输入改进后的关联规则挖掘算法模型中，获得精确的实体关系。