[发明专利]基于多模态的智能随访方法及系统

说明书

本发明涉及医疗随访技术领域，尤其涉及一种基于多模态的智能随访方法及系统；方法，包括以下步骤：开始随访；按照预设时间间隔对患者进行定位并将患者的坐标信息发送到随访平台进行缓存；随访人员按顺序读题并由患者回答；随访客户端实时采集音视频并传输到随访平台进行录制；音视频在录制过程的同时，实时进行文本内容转换并进行解析；视频在录制过程中提取人脸特征并识别表情，计算情绪状态并缓存；随访平台生成eCRF数据集并自动做结构化和标准化处理后保存到数据库中。本发明所公开的基于多模态的智能随访方法及系统，实现音频、视频和文本信息的融合工作，可以根据情况灵活选择和组合，提高随访成功率和满意度。

技术领域

本发明涉及医疗随访技术领域，尤其涉及一种基于多模态的智能随访方法及系统。

背景技术

随访是指医院对曾在医院就诊的病人以通讯或其他的方式，进行定期了解患者病情变化和指导患者康复的一种观察方法。通过随访可以提高医疗服务水平，同时方便医生对病人进行跟踪观察，掌握第一手资料以进行统计分析、积累经验，同时也有利于医学科研工作的开展和医务工作者业务水平的提高，从而更好地为患者服务。

随访是医院根据医疗、科研、教学的需要，与诊治后的病人保持联系或要求病人定期来医院复查，对病人的疾病疗效、发展状况继续进行追踪观察所做的工作，又称作随诊(follow up)。简单地说，就是在诊治后，对病人继续追踪、查访。

当前的随访系统，基本上通过2种方法，1)是纸质量表的填写，2)是电话方式。方法1必须要在线下用户来手工填写，工作效率低，同时纸质文件的统计分析需要比较大的工作量，也需要大量的存储空间，后续的溯源工作需要手工检索档案，满足不了移动互联网发展情况下的用户需求。电话拨打方式，存在需要随访人员手工填写电子量表eCRF，电子量表eCRF和录音文件的需要手工关联等问题，在临床研究的时候存在数据不完整的缺陷。

中国专利CN201710121626.1公开了一种基于微信公众号的患者随访系统，属于电子信息化管理技术领域，包括：多个患者终端，用于提供给患者访问微信公众号，浏览随访信息，并在随访信息所在页面下的留言栏中进行提问；多个医生终端，用于提供给医生访问微信公众号，对提问进行即时回复；医院管理平台，与微信公众号信息交互，包括：信息推送模块，用于向微信公众号推送随访信息；信息交互模块，用于接收提问，并通过微信公众号将提问和关联于提问的患者微信账号发送给相应医生终端。上述技术方案的有益效果是：将健康宣教知识推送至微信公众号上，患者可自行浏览，并可通过微信平台与医生在线即时交流，为患者提供了实时高效、便捷的随访服务。然而，上述方案的数据源单一，证据链数据可信度不高。

因此，为了解决上述问题，急需发明一种新的基于多模态的智能随访方法及系统。

发明内容

本发明的目的在于：提供一种基于多模态的智能随访方法及系统，采用人工智能的多模态技术(音频，视频，文本等多个模态)，利用移动互联网技术，在APP上实现音视频通信、电子量表eCRF自动填写，实现智能随访。

本发明提供了下述方案：

一种基于多模态的智能随访方法，包括以下步骤：

打开随访客户端，建立视频通话连接，开始随访；

视频通话建立连接后，按照预设时间间隔对患者进行定位并将患者的坐标信息发送到随访平台进行缓存；

开始随访后，随访人员按顺序读题并由患者回答；

随访期间，随访客户端实时采集音视频并传输到随访平台进行录制；

音视频在录制过程的同时，实时进行文本内容转换并进行解析；

视频在录制过程中提取人脸特征并识别表情，计算情绪状态并缓存；