[发明专利]中医药古籍分词方法、装置、计算机设备及存储介质

说明书

本申请涉及中文分词技术领域的一种中医药古籍分词方法、装置、计算机设备和存储介质，所述方法包括构建古今词义对照表、规则表、自定义术语库以及中医药领域术语词典；根据古今词义对照表、规则表、自定义术语库以及中医药领域术语词典，采用基于规则的方法将待分词文本从古汉语转译为现代汉语；采用中医药领域术语词典辅助Jieba分词工具对翻译后的文本进行分词处理，再利用隐马尔可夫模型解决未登录词问题，得到分词结果；根据古今词义对照表和规则表将分词结果转译为原始文本，得到最终分词文本。采用本方法有效地提高了中医药古籍的分词准确率，缓解了古今语言差异及领域差异造成的分词效果差的问题，为中医数字化建设提供技术支持。

技术领域

本申请涉及中文分词技术领域，特别是涉及一种中医药古籍分词方法、装置、计算机设备及存储介质。

背景技术

中医药信息化是当前中医药研究的重要内容之一，信息技术是推动中医药信息化建设的坚实力量。在中医药领域，中文分词作为领域文本信息处理的基础，主要有两方面意义，一是为文本翻译、智能问答等任务的实现奠定基础；二是为理解和传播中医药文本提供支持。由于中医药古籍领域文本语言和行文结构的特殊性，中医药古籍文本分词效果整体较差。

中文分词是指将句子切分为多个词，即将长序列划分为连续的多个语义独立的短序列，切分规则由词性、用词习惯等多方面因素构成。在中医药领域，文本分词研究较少，如张帆等研究适用于中医医案的分词方案，发现引入中医药领域词典对医案分词有较大帮助，但相较于现代医案，古代医案自动分词性能提升较低；杨海丰等探索适用于中医药文献分词的分词工具，给出了中医药文献分词的较优选择；王莉军等研究适用于中医药古文分词的分词模型，研究发现，BiLSTM-CRF模型的分词效果较优。

中医药古籍由古汉语写成，行文结构、语言语义等与现代汉语存在较大差异，加之文本中包含大量虚词、简写词、倒装词、专业术语等，增加了中医古籍分词的难度；同时，不同朝代、不同地域的语言差异还导致中医药古籍分词训练难度大、成本高。中文分词是中文信息处理的重要基础，由于中医药古籍文本语言及行文规则的特殊性，已有的成熟的分词工具无法满足中医药古籍文本信息处理研究的需求。

发明内容

基于此，有必要针对上述技术问题，提供一种中医药古籍分词方法、装置、计算机设备和存储介质。

一种中医药古籍分词方法，所述方法包括：

获取中医药古籍中待分词文本。

构建古今词义对照表、规则表、自定义术语库以及中医药领域术语词典。

根据所述古今词义对照表、所述规则表、所述自定义术语库以及所述中医药领域术语词典，采用基于规则的方法将所述待分词文本从古汉语转译为现代汉语，得到翻译后的文本；所述翻译后的文本包括：被翻译词的翻译信息、被翻译词的原始位置信息、被翻译词在古今词义对照表中的序号。

采用所述中医药领域术语词典辅助Jieba分词工具对翻译后的文本进行分词处理，再利用隐马尔可夫模型解决未登录词问题，得到分词结果。

根据所述古今词义对照表和所述规则表将所述分词结果转译为原始文本，得到最终分词文本。

在其中一个实施例中，构建古今词义对照表、规则表、自定义术语库以及中医药领域术语词典，包括：

收集中医药古籍中关于中药、方剂、证型、疾病、症状、治法、药物炮制方法以及人体的术语，根据收集到的术语构建中医药领域术语词典；所述中医药古籍包括：《常用中药名及别名手册》、《中医临床常见症状术语规范》、《中医大辞典》以及《中医临床诊疗术语》。

根据中医药古籍现有译本中的高频译词及注释语，以及网络上的古汉语字词及其翻译和文言虚词及其翻译，构建古今词义对照表；所述古今词义对照表包括：中医药领域术语词典内术语和中医药领域固定词汇。