[发明专利]一种基于多模态模型的汉字易混淆集构建方法

摘要

本发明涉及汉字易混淆集构建领域，公开了一种基于多模态模型的汉字易混淆集构建方法。S1：得到字形编码的相似度，S2：得到字音编码的相似度，S3：构建并训练出一个图像分类的神经网络模型，由图像分类的神经网络模型输出一个M维的向量，S4：构建并训练出一个音频分类的神经网络模型，由音频分类的神经网络模型输出一个M维的向量，S5：将汉字字符Ci的字形编码相似度向量、字音编码相似度向量、字形视觉易混淆向量、字音听觉易混淆向量，加权组合为一个向量，作为音形易混淆向量，从而依据音形易混淆向量中每个维度上的相似度，选择对应的字典Dic中的汉字，构成音形易混淆集。本发明能够模拟人的视觉和听觉构建易混淆集。