[发明专利]一种基于智能搜索的AR肿瘤知识图谱多模态演示方法

说明书

本发明提出一种基于智能搜索的AR肿瘤知识图谱多模态演示方法，包括以下步骤：S1.构建目标肿瘤疾病的多模态知识图谱，根据相关数据，建立一种基于多模态知识展示的目标肿瘤知识图谱，并存入neo4j数据库中；S2.采用unity工具系统，设置人体三维模型，点击对应器官位置，演示目标肿瘤实体的AR多模态知识图谱，并且能够根据需要进行2D和3D的转换；S3.智能搜索结合可视化知识图谱，对目标实体的知识图谱进行多模态信息展示。该方法通过结合多模态知识图谱的AR展示，并且提供智能搜索和2D转换，融合多种功能，有利于用户有更加丰富的体验效果，提高用户获取知识的效率。

技术领域

本发明涉及医疗数据处理以及知识图谱可视化领域，尤其涉及一种基于智能问答的AR肿瘤知识图谱多模态演示方法。

背景技术

随着医学信息化的发展和医疗的大数据化，在医疗领域中，越来越多有用的知识图谱被构建出来，尤其是我国每年的肿瘤患者越来越多，已经渐渐成为“第一杀手”，将知识图谱运用到肿瘤领域中，可以通过构建肿瘤知识图谱，提供药物推荐，疾病预测等服务。

目前，智能搜索能够提供传统的快速检索、相关度排序、智能信息过滤和推送等功能。患者的医疗知识普及主要是通过人工的方式，依靠医生的口头交待，但是有时会面临患者需要了解更多的知识，只能通过从网上检索信息。但是网上信息繁杂，患者难以获得自己有用的信息，而且网上提供的数据多为单一的文字描述，对于医学专业用词或者某些抽象的医学概念来说，理解起来比较困难，缺乏一定的直观性。此外，网络上搜索的答案鱼目混杂，对于有些不可靠的信息，用户有可能被误导。

AR技术可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。在医疗领域，增强现实与医疗的结合应用逐渐被人们所重视。由于知识图谱是将复杂的信息通过计算处理成能够结构化表示的知识，所表示的知识可以通过图形绘制而展现出来，为人们的学习提供有价值的参考，为信息检索提供便利。知识图谱就是一种知识库，但构建好的知识图谱如何可视化展示出来，还存在以下问题：

1.医学知识枯燥难懂，内容冗杂，而知识图谱多为2D可视化展示，繁杂的文本会让知识图谱的节点很多，看起来复杂难懂，并且对于数据比较多的文本，显示效果会受到屏幕大小的限制。

2.知识图谱的构建和数据都是基于单一文本数据格式进行分析，对于语音、视频、图像等多模态数据的使用存在明显不足，知识图谱的呈现多为文本形式的知识点，可视化感官效果不好，单调枯燥的医疗知识难以提供患者更加直观的感受，内容模态的单一性使用户获取目标知识的吸收程度不高。

3.目前的医学相关知识图谱的可视化展示都是单一的2D或者3D的展示方式，患者选择性低，无法实现自定义展示方式。

4.AR医疗知识图谱无法提供自动检索的功能。

发明内容

本发明的目的是针对肿瘤知识图谱可视化的难点，基于智能搜索，设计一种AR肿瘤知识图谱的多模态展示方法，不仅是通过文本展示，同时涉及图片、音频、视频等多媒体资源的展示，并且能结合3D和2D的切换，使用户根据自身需求，在3D的不同实体层级上，进行2D的切换和多模态展示，实现用户更好的体验效果，避免内容过多导致2D知识图谱显示的节点覆盖，屏幕太小等问题。增加智能检索功能，方便对目标知识的查询。该发明主要解决现有方法的可视化形式单一，内容枯燥，信息冗杂，功能简单的缺点，使用户获取目标医学知识更加简单，易于掌握。

结合增强现实技术和智能搜索的方法，通过构建肿瘤知识图谱，实现一种方法可以展示3D的多模态知识图谱，并且可以根据用户的需要实现3D和2D的切换，摆脱了用户获取知识的枯燥性，也能让用户更好地掌握肿瘤相关的医学知识。

为了达到上述目的，本发明技术方案的具体步骤为：

S1.构建目标肿瘤疾病的多模态知识图谱，根据相关数据，建立一种基于多模态知识展示的目标肿瘤知识图谱，并存入neo4j数据库中；