[发明专利]一种基于智能搜索的AR肿瘤知识图谱多模态演示方法

权利要求书

1.一种基于智能搜索的AR肿瘤知识图谱多模态演示方法，其特征在于，包括以下步骤：

S1.构建目标肿瘤疾病的多模态知识图谱，根据相关数据，建立基于多模态知识展示的目标肿瘤知识图谱，并存入neo4j数据库中；

S2.采用unity工具系统，设置人体三维模型，点击对应器官位置，演示目标肿瘤实体的AR多模态知识图谱，并且能够根据需要进行2D和3D的转换；

S3.获取用户输入的问题的关键词，智能搜索关键词，结合可视化知识图谱，对目标实体的知识图谱进行多模态信息展示。

2.根据权利要求1所述的基于智能搜索的AR肿瘤知识图谱多模态演示方法，其特征在于，首先构建目标肿瘤的多模态知识图谱，将构建好的知识图谱的多模态信息导入到neo4j数据库中，然后，在unity系统中设置人体三维模型，通过点击对应肿瘤所在器官位置，发送http请求，从neo4j数据库获取数据并返回，客户端演示目标肿瘤实体的AR多模态知识图谱，并且能够根据需要进行2D和3D的转换；此外，结合智能搜索实现对关键字信息的有效检索功能。

3.根据权利要求2所述的基于智能搜索的AR肿瘤知识图谱多模态演示方法，其特征在于，在步骤S1中，对目标肿瘤的原始数据，通过以下方法进行多模态医疗知识图谱的构建以及数据库的连接：

S11.根据不同的目标肿瘤实体以及相关肿瘤属性，从多个数据源获取多个原始数据，原始数据包括图片、音频或者视频资源；

S12.利用开源的词法工具和医疗领域的词典库，对目标肿瘤实体识别，并从语料数据中提取出实体与实体之间的多个关系类型，所述关系类型至少包括流行病学特征，筛查，临床表现和诊断，病理诊断，分子分型，分期，治疗；

S13.通过知识抽取得到所述实体和关系的信息，定义知识图谱实体和属性，包括实体和实体之间的关系，实体的属性值；其中的实体信息和属性信息，包括文本信息，图片，音频或者视频的一种或者多种；

S14.根据所述实体和实体之间的关系，构建医疗知识图谱树，其中根节点代表的是目标肿瘤实体的值，实体与实体之间的关系代表树干，实体的下位概念是中间节点，每个实体的属性作为子节点；

S15.根据上述S14中构建的图谱树，将目标肿瘤实体和实体之间的关联关系，以csv格式导入到neo4j数据库中。

4.根据权利要求2所述的基于智能搜索的AR肿瘤知识图谱多模态演示方法，其特征在于，在步骤S2中，对于AR肿瘤知识图谱，通过以下方法进行AR知识图谱的多模态展示和2D、3D的切换：

S21.在unity系统中设置知识图谱演示的场景，通过3DsMax三维建模软件制作人体目标肿瘤对应器官的三维模型中的标准图，包括各个器官的位置，器官名称，各种肿瘤可能存在的位置，并将其导入到unity中；

S22.点击三维模型上的对应肿瘤所在器官，通过服务器，从neo4j数据库获取数据，解析从服务器获取的数据，将数据分为实体、关系和属性三类，实体、关系和属性都包含各自的id，名称以及类别；

S23.通过unity中的树形插件，根据获取的实体和关系的id和类别，动态创建知识图谱树，形成3D树的根，树干以及节点，并且将实体的名称显示在树形结构对应位置上；

S24.根据UI页面渲染帧循环的改变，实体和属性信息的改变进行UI页面的调整，主页面主要是实体名称及其他实体的关联情况，通过点击不同的实体进入下一层级；

S25.在页面右侧设置自动旋转、模式切换以及后退的按钮，根据用户需求，在unity中进行设置，使得用户通过选择对应的按钮进行3D和2D模式的切换，2D模式通过对应的id，对获取的数据以思维导图的形式呈现，并通过在3D中不同实体的id，进入到目标实体id的2D思维导图平面中，在3D和2D的信息展示过程中，都是多模态信息，能够通过点击对应节点显示视频、图片、音频多模态的信息；

S26.在unity中设置要展示的AR树结构和点击事件，并对AR树展示场景设置旋转、缩放按钮，点击上述S25中3D模式下的树节点，会自动下载默认图片，并根据neo4j数据库获取的信息，AR树显示的内容包括多模态的信息，发布到手机上，打开应用，摄像头会被打开，用摄像头扫描目标图片，就能看到AR树展现在屏幕上方空间中，通过设置的按钮进行旋转和缩放，点击AR树节点，在客户端显示对应的多模态内容。

5.根据权利要求2所述的基于智能搜索的AR肿瘤知识图谱多模态演示方法，其特征在于，在步骤S3中，根据步骤S2中建立的AR展示肿瘤知识图谱的多模态展示系统以及能根据不同id在2D、3D呈现不同知识图谱的功能，增加智能搜索的功能，具体步骤如下：

S31.利用问句解析技术和文本关键词提取技术获取用户输入的问题的关键字，至少包括目标肿瘤名称和疾病实体名称的信息或者属性信息；

S32.连接neo4j数据库，通过获取的关键字，在neo4j数据库进行检索，得到匹配关键字的搜索结果；

S33.客户端根据用户关注的节点，进行AR树形结构的重建，重建的结果包括目标关键词对应实体的树形结构，以及对应的多模态信息。