[发明专利]使用基于CNN的集成电路的自然语言处理

说明书

在计算系统中接收自然语言文本串并形成多层2‑D符号。2‑D符号包括表示“超级字符”的K位数据的N×N像素矩阵。矩阵被划分成M×M个子矩阵，每个子矩阵都包含(N/M)×(N/M)个像素。K、N和M是正整数，并且N优选地是M的倍数。每个子矩阵都表示被定义在表意符号收集集合中的一个表意符号。“超级字符”表示由多个表意符号的特定组合形成的含义。在基于细胞神经网络或细胞非线性网络(CNN)的集成电路中，通过经由具有双值3×3滤波器内核的经训练的卷积神经网络模型对2‑D符号进行分类来学习“超级字符”的含义。

技术领域

本发明总体上涉及机器学习领域，更具体地涉及使用基于细胞神经网络或细胞非线性网络(CNN)的集成电路的自然语言处理。

背景技术

表意符号(ideogram，意符、表意文字)是表示想法或概念的图形符号。一些表意符号只能通过熟悉先前的惯例才能理解；其他表意符号通过与物理对象的图像相似性来表达其意义。

机器学习是人工智能的应用。在机器学习中，计算机或计算设备被编程为像人类那样思考，使得可以教导计算机自己学习。神经网络的发展是教导计算机以人类思考和理解世界的方式对世界进行思考和理解的关键。

发明内容

公开了使用基于细胞神经网络或细胞非线性网络(CNN)的集成电路的自然语言处理的方法。根据本发明的一个方面，在具有安装在其上的至少2-D符号创建应用模块的计算系统中接收自然语言文本串并形成多层二维(2-D)符号。2-D符号包括表示“超级字符”的K位数据的N×N像素矩阵。矩阵被划分成M×M个子矩阵，每个子矩阵包含(N/M)×(N/M)个像素。K、N和M是正整数，并且N优选地是M的倍数。每个子矩阵表示被定义在表意符号收集集合中的一个表意符号。“超级字符”表示由多个表意符号的特定组合形成的含义。在基于细胞神经网络或细胞非线性网络(CNN)集成电路中，通过经由具有双值3×3滤波器内核的经训练的卷积神经网络模型对2-D符号进行分类来学习“超级字符”的含义。

根据另一方面，通过下述操作实现经训练的卷积神经网络模型：(a)通过基于包含足够大量的多层2-D符号的标记(labeled，有标签的、示踪的)数据集的图像分类对卷积神经网络模型进行训练来获得卷积神经网络模型，卷积神经网络模型包括多个有序(ordered)滤波器组，多个有序滤波器组中的每个滤波器都包含标准3×3滤波器内核；(b)通过基于一组内核转换方案将多个有序滤波器组中的当前被处理的滤波器组的相应的标准3×3滤波器内核转换为对应的双值3×3滤波器内核，来修改卷积神经网络模型；(c)对经修改的卷积神经网络模型进行再训练，直至达到期望的收敛标准；(d)对另一滤波器组重复(b)至(c)，直至所有多个有序滤波器组都已转换为双值3×3滤波器内核。

表意符号收集集合包括但不限于象形图、图标、徽标、意音(logosyllabic)字符、标点符号、数字、特殊字符。

本发明的目的、特征和优点之一是使用基于CNN的集成电路，该基于CNN的集成电路具有用于执行同时卷积的专用内置逻辑，使得在硬件中执行用于自然语言处理的图像处理技术(即，卷积神经网络)。

通过结合附图研究下面对本发明实施方式的详细描述，本发明的其他目的、特征和优点将变得明显。

附图说明

考虑到以下描述内容、后附的权利要求书和附图，本发明这些和其他特征、方面以及优点将被更好地理解：

图1是示出根据本发明的实施方式的示例二维符号的框图，该二维符号包括表示“超级字符”的数据的N×N像素矩阵，用于促进对其中包含的多个表意符号的组合含义进行机器学习；

图2A至图2B是示出根据本发明实施方式的用于划分图1的二维符号的示例分区方案的框图；

图3A至图3B示出了根据本发明实施方式的示例表意符号；