[发明专利]一种图片、文字和语音结合的病理智能诊断系统

权利要求书

1.一种图片、文字和语音结合的病理智能诊断系统，其特征在于包括计算机、病理切片扫描机、病理图像资料服务站、麦克风和打印机，计算机与麦克风和打印机通过USB线缆连接，与病理切片扫描机和病理图像资料服务站通过网络连接，计算机上安装有诊断控制系统，包括数据输入模块、智能诊断模块、诊断修正模块、数据保存模块、数据输出模块；病理切片扫描机用于将病理切片转换成数字化的病理图像，病理图像资料服务站用于接收、存储和传输来自病理切片扫描机和网络端的病理图像、病例信息和病理诊断报告，麦克风用于输入医生的语音诊断信息，完善诊断结果，打印机用于将诊断报告图文纸质化，便于医院存档。

2.根据权利要求1所述的一种图片、文字和语音结合的病理智能诊断系统，其特征在于数据输入模块，从病理图像资料服务站下载病理图像和病历资料文件，向病理图像资料服务站发出需要获取图像信息和病例信息的请求，在已知病理图像数据传输格式的前提下对输入的病理图像进行解析，病理图像资料服务站响应请求后，计算机获取病理图像和病例信息并显示。

3.根据权利要求2所述的一种图片、文字和语音结合的病理智能诊断系统，其特征在于所述的智能诊断模块，结合卷积神经网络和递归神经网络对大规模病理图像和病变细胞文字描述进行处理，构建智能诊断模型：

其中，R代表标记区域，S代表标记区域的文字描述，I代表整幅图像，θ代表卷积神经网络模型和递归神经网络模型的参数，在训练时输入I、θ、S，得到R，并通过训练调整θ，在预测时输入I，得到R和S，诊断时先识别所有的细胞，再将细胞分成病变细胞和正常细胞两大类，并隐藏正常细胞的标签框，再根据图像与语义属性之间的映射得到病变细胞的语义属性预测层和语义属性的预测向量，再通过LSTM模型生成语义属性预测向量到单词序列的映射，最后输出描述标记的病变细胞的单词序列。

4.根据权利要求3所述的一种图片、文字和语音结合的病理智能诊断系统，其特征在于所述的诊断修正模块，在语音处理过程中，医生通过麦克风端口录音，提出修改诊断结果的意见并保存音频文件，录音过程中随时可以取消录音和录音结束后不保存音频文件，将音频文件保存至数据保存模块中指定路径的文件夹并编码，读取编码后的音频数据，通过第三方API进行语音识别，将语音识别返回的数据解析后即可得到文字并显示；在原有对应诊断文字中，修正语音识别和智能诊断的错误，结合智能诊断的结果进行修改进行完善，并与诊断后的病理图像结合形成诊断报告。

5.根据权利要求4所述的一种图片、文字和语音结合的病理智能诊断系统，其特征在于所述的数据输出模块，下级医院登陆后上传本地病理图像文件和病历资料文件到病理图像资料服务站，并向上级医院发出请求诊断的请求，上级医院登陆后接收诊断的请求，通过数据输入模块下载病理图像和病例信息文件，再把诊断报告通过数据输出模块上传到病理图像资料服务站并更新相关信息，下级医院登陆后通过数据输入模块即可下载诊断报告。

6.根据权利要求1或2或3或4或5所述的一种图片、文字和语音结合的病理智能诊断系统的诊断过程实现如下：

步骤1、通过数据输入模块读取来自病理图像资料服务站的病理切片图像；

步骤2、通过智能诊断模块输出初步诊断结果，初步诊断结果包括自动标记的病理图像和与其症状匹配的文字描述；

步骤3、通过诊断修正模块修正错误，专家确认智能诊断的结果是否正确，若不正确能够通过手动输入和语音识别转文字输入两种方式进行修改，并将修改后的诊断数据用于训练人工智能诊断模型；

步骤4、将经过断修正模块修正后的诊断数生成诊断报告图文，包括病理图像和与其匹配的症状文字描述；

步骤5、保存和共享诊断报告图文，通过数据保存模块保存报告到本地，并通过数据输出模块共享诊断报告图文。