[发明专利]基于多模态的智能随访方法及系统

权利要求书

1.一种基于多模态的智能随访方法，其特征在于：包括以下步骤：

打开随访客户端，建立视频通话连接，开始随访；

视频通话建立连接后，按照预设时间间隔对患者进行定位并将患者的坐标信息发送到随访平台进行缓存；

开始随访后，随访人员按顺序读题并由患者回答；

随访期间，随访客户端实时采集音视频并传输到随访平台进行录制；

音视频在录制过程的同时，实时进行文本内容转换并进行解析；

视频在录制过程中提取人脸特征并识别表情，计算情绪状态并缓存；

当随访问题全部答完后，随访平台生成eCRF数据集并自动做结构化和标准化处理后保存到数据库中。

2.根据权利要求1所述的基于多模态的智能随访方法，其特征在于：还包括：

在eCRF数据集生成并保存之后，继续更新eCRF数据集的证据链信息。

3.根据权利要求2所述的基于多模态的智能随访方法，其特征在于：音视频在录制过程的同时，实时进行文本内容转换并进行解析的步骤，具体为：当解析的结果能够与eCRF问题答案相匹配的时候自动填写该答案，否则由随访人员来判断是否需要患者重复一次，如果不需要患者重复则随访人员自行填写答案；自动填写的答案需要随访人员检查准确性，如果不正确则手动校正，最终的音频内容和eCRF量表结果还会交与ASR和NLP进行学习和训练。

4.根据权利要求3所述的基于多模态的智能随访方法，其特征在于：证据链信息分为多种：包括：

当随访问答结束后，随访平台主动推送满意度调查问卷到患者的APP上，由患者自主填写、提交并更新到eCRF数据集的证据链中；

当随访问答结束后，流媒体录制的音视频原始文件会保存到指定的存储服务器中并将存储路径更新到eCRF数据集的证据链中；

患者在随访期间的情绪状态数当随访问答结束后更新到eCRF数据集的证据链中；

患者的随访定位坐标和具体地址数据，当随访问答结束后更新到eCRF数据集的证据链中。

5.一种基于多模态的智能随访系统，其特征在于：包括：

随访客户端，用于采集患者的随访数据；

随访平台用于随访数据管理、智能数据分析和数据结构化规范化。

6.根据权利要求5所述的基于多模态的智能随访系统，其特征在于：所述随访平台包括：

音视频智能分析子系统，用于视频在录制过程中提取每一帧中的人脸特征并识别表情，计算一个窗口期内的情绪状态并缓存；

随访量表eCRF录入子系统，用于音视频在录制过程的同时，实时进行文本内容转换并进行解析。

7.根据权利要求6所述的基于多模态的智能随访系统，其特征在于：所述随访平台还包括：

结构化与标准化子系统，用于当随访问题全部答完后，生成eCRF数据集并自动做结构化和标准化处理后保存到数据库中。

8.根据权利要求7所述的基于多模态的智能随访系统，其特征在于：所述随访平台还包括：

数据存储子系统，用于存储生成的eCRF数据集；

数据集成子系统，用于在eCRF数据集生成并保存之后，继续更新eCRF数据集的证据链信息。

9.根据权利要求8所述的基于多模态的智能随访系统，其特征在于：所述随访平台还包括：

服务路由网关，用于实现随访客户端与随访平台的无线通讯；

音视频流传输子系统，用于随访期间，将随访客户端实时采集的音视频传输到随访平台进行录制。

10.根据权利要求9所述的基于多模态的智能随访系统，其特征在于：随访客户端、服务路由网关、音视频流传输子系统、音视频智能分析子系统、随访量表eCRF录入子系统、结构化与标准化子系统、数据存储子系统以及数据集成子系统依次电连接。