[发明专利]移动设备中融合切分识别和语义分析的翻译方法

说明书

技术领域

本发明涉及图像处理、模式识别和自然语言处理领域，特别涉及移动设备中融合切分识别和语义分析的翻译方法

背景技术

随着各国之间的交流日益频繁，在陌生的国度里面文字语言之间的隔阂是人们交流过程中的主要障碍。较之传统的PC设备，移动设备在协助解决这一问题中有更好的便捷性。从目前来看，使用移动设备来识别翻译诸如路牌、通知、菜单等自然场景中的图像或视频的字符已经成为一种迫切的需求。专利文献CN 200610027256描述了一种简单的在手持设备上结合图像处理，字符识别和翻译的方法。专利文献CN 200810135701描述了一种提高结合主题分类提高翻译准确度的方法。然而，上述方法并未解决移动设备中因为图像质量不高识别率低下的问题。

传统的文字识别将图像处理、文字切分、分类器识别等部分分开。有些系统会在识别之后加上利用语言模型的矫正后处理。事实上，不少类似CN 200510092380专利文献的方法也是采用类似的目标函数来结合语言模型和识别模型。但其仍采用传统的viterbi算法来进行解码，所以不能把字符切分的过程融合其中。专利文献CN 200510012195提出了一种融合文字切分的方法，但其中叙述的方法实质是先基于几何代价寻找部分最有可能的文字切分备选方案，之后仍是分别对被选中的部分字符切分备选方案来做传统的viterbi解码。传统的viterbi解码实质属于二维动态规划，而本发明所用的解码模块采用了四维动态规划，所以有能力对字符切分的所有方案进行遍历，并且可以做最优值的几何均值补偿。本发明的优势在于可以有机直观地结合字符切分、模式识别与语言模型。

发明内容

为解决上述移动设备中文字切分和识别准确率低下的问题，本发明提供了一种移动设备中文字图像或视频识别并翻译的装置及方法。通过该装置及方法可以有机地将文字切分、光学字符识别和基于语言模型的语义分析有机结合起来。达到高准确率地识别移动设备上文字图像或视频的识别和翻译，具体技术方案如下。

移动设备中融合切分识别和语义分析的翻译方法，其包括如下步骤：

（1）通过移动设备的相机镜头获得一个或多个第一语言字符的图像或视频；

（2）由用户指定或自动检测步骤（1）所得图像或视频中带有文字字符的部分；

（3）对（2）中所得图像进行预处理。

（4）利用解码模块对预处理后的图像进行最终解码，获得最优的文字切分和识别结果；

（5）通过翻译模块将步骤（4）中所得结果翻译至用户所要求的语言。

进一步的，所述解码模块包括文字切分模块、OCR模块和语言模型模块，步骤（4）包括：

（4.1）利用字符切分模块对预处理后的部分进行字符切分；

（4.2）切分后可能出现过切分（指字符被进一步切分成部首，如“路”字可能被过切分为“”与“各”），因此对切分后连续片段组成的区域整体利用OCR模块进行识别获得相应备选文字的识别概率；

（4.3）结合已经训练好的语言模型模块以及步骤（4.2）中所得的识别概率对文字切分与文字识别决策做最终解码，获得最优的文字切分和识别结果。

进一步的，步骤（4.1）具体是：所述的字符切分模块负责将所述预处理得到的图像切成零散的部件，其中，对印刷体采用水平垂直投影法或连通域分析法，将图片分割成不重叠的矩阵区域；对手写体字符的图片，由于手写体的交叠、粘连，因此还要结合字符几何特征或其他方法来进一步分割。

进一步的，步骤（4.2）所述OCR模块负责对切分后合并的区域图像的文字识别出备选文字，并且计算备选文字对应的识别概率。

进一步的，步骤（4.3）所述语言模型模块负责分析连续文字的语义可能性，所述所述语言模型采用N-gram模型。

进一步的，步骤（4.3）中根据步骤（4.2）中识别的结果判断待识别文字的主题类型，继而根据该类型选择针对相应主题的语言模型。

与现有技术相比，本发明主要针对移动设备中单独模式识别准确率不高、文字切分容易出错的特点，将文字切分、文字识别及语言模型融合成一个解码过程。这种方法结合了多种信息做出识别决策，提高了识别的准确性。

附图说明

图1是实施方式中的翻译方法流程图。

图2是切分实例图。

图3是切分后的合并实例图。

具体实施方式

以下结合附图和实例对本发明的具体实施作进一步说明，但本发明的实施和保护范围不限于此。