[发明专利]多模态患教内容的生成方法、装置、服务器及存储介质

摘要

本发明涉及一种多模态患教内容的生成方法、装置、服务器及存储介质。属于互联网数据处理技术领域与医疗信息领域。其生成方法的步骤包括：将至少一个模态的患教内容进行实体识别处理生成不同模态数据；将不同模态数据进行编码生成不同模态数据对应的嵌入数据；将得到的嵌入数据写入数据库中生成多模态数据。以及实现该方法的装置、服务器及存储介质。本发明可以根据单一模态的患教内容，通过主动检索生成其它模态的患教内容，从而丰富患教内容，简化用户的主动搜索等过程。

主权项

1.一种多模态患教内容的生成方法，其特征在于，包括以下步骤：/n步骤1：定义实体，将不同模态的患教内容进行实体识别，处理生成不同模态数据，其中，不同模态的患教内容包括文本数据、图片数据及视频数据，对于文本数据进行实体识别生成文本模态数据，对图片数据提取图片标题或图片标签进行实体识别生成图片模态数据，将视频数据中的字幕或音频信息转换成文字后对文字进行实体识别生成视频模态数据；/n步骤2、对文本模态数据、图片模态数据及视频模态数据进行编码，编码后的数据为不同模态数据对应的嵌入数据；/n步骤3、将上一步得到的嵌入数据及其对应模态的文本模态数据、图片模态数据及视频模态数据写入数据库中；/n步骤4、实时获得当前模态的患教内容后，利用步骤1及步骤2相同的步骤获得当前模态的患教内容的当前嵌入数据，在步骤3所得到的数据库中查找与当前嵌入数据类似的相似嵌入数据，将相似嵌入数据对应的文本模态数据、图片模态数据或视频模态数据插入当前模态的模态数据中，从而获得与当前模态不同模态的患教内容。/n