[发明专利]使用基于CNN的集成电路的自然语言处理

权利要求书

1.一种使用基于细胞神经网络或细胞非线性网络(CNN)的集成电路的自然语言处理的方法，所述方法包括：

在计算系统中接收自然语言文本串；

利用安装在所述计算系统中的二维(2-D)符号创建模块，基于一组二维符号创建规则从所接收的自然语言文本串形成多层二维符号，所述二维符号是包含超级字符的K位数据的N×N像素矩阵，其中，所述矩阵被划分成M×M个子矩阵，所述子矩阵中的每个子矩阵都包含(N/M)×(N/M)个像素，所述子矩阵中的每个子矩阵都表示被定义在表意符号收集集合中的一个表意符号，并且所述超级字符表示由多个表意符号的特定组合形成的含义，其中K、N和M是正整数或正的整数，并且N是M的倍数；以及

在基于细胞神经网络或细胞非线性网络(CNN)的集成电路中，通过经由具有双值3×3滤波器内核的经训练的卷积神经网络模型对所述二维符号进行分类来学习所述超级字符的含义。

2.根据权利要求1所述的方法，其中，所述经训练的卷积神经网络模型通过下述操作实现：

(a)通过基于包含多个多层二维符号的标记数据集的图像分类对卷积神经网络模型进行训练来获得所述卷积神经网络模型，所述卷积神经网络模型包括多个有序滤波器组，所述多个有序滤波器组中的每个滤波器都包含标准3×3滤波器内核；

(b)通过基于一组内核转换方案将所述多个有序滤波器组中的当前被处理的滤波器组的相应的标准3×3滤波器内核转换为对应的双值3×3滤波器内核，来修改所述卷积神经网络模型；

(c)对经修改的卷积神经网络模型进行再训练，直至达到期望的收敛标准；以及

(d)对另一滤波器组重复(b)至(c)，直到所有的所述多个有序滤波器组都转换为所述双值3×3滤波器内核。

3.根据权利要求2所述的方法，还包括：将所有的所述多个有序滤波器组从浮点数格式转变为定点数格式，以适应所述基于CNN的集成电路中所需的数据结构。

4.根据权利要求2所述的方法，所述修改所述卷积神经网络模型还包括可选地组合两个或更多个连续的滤波器组用于转换操作。

5.根据权利要求2所述的方法，所述对经修改的卷积神经网络模型进行再训练还包括可选地冻结已经转换的滤波器组。

6.根据权利要求2所述的方法，其中，所述一组内核转换方案包括：使对应的双值3×3滤波器内核中的九个系数中的每个系数都被赋予一值，所赋予的值等于所述标准3×3滤波内核中的绝对系数值的平均值乘以对应系数的标号。

7.根据权利要求2所述的方法，其中，所述期望的收敛标准包括完成预定数量的所述再训练操作。

8.根据权利要求2所述的方法，其中，所述期望的收敛标准包括由于滤波器内核转换而引起的精度损失的收敛。

9.根据权利要求2所述的方法，其中，所述一组二维符号创建规则包括：

确定所接收的自然语言文本串的大小；

如果所接收的串的大小大于M×M，则经由至少一种语言文本缩减方案修改所接收的串，使得所述串的大小等于M×M，并且然后将所述串转换为所述多层二维符号；

如果所接收的串的大小等于M×M，则将所接收的串转换为所述多层二维符号；以及

如果所接收的串的大小小于M×M并且期望进行补填操作，则根据至少一种语言文本增加方案添加至少一个文本以补填所述串，使得所述串的大小等于M×M，并且然后将经补填的串转换为所述多层二维符号；

否则，将所接收的串转换为包含至少一个空白空间的所述多层二维符号。

10.根据权利要求9所述的方法，其中，所述至少一种语言文本缩减方案包括根据至少一种基于相关语法的规则从所接收的串删除至少一个不重要的文本。

11.根据权利要求10所述的方法，其中，所述至少一个基于相关语法的规则与所接收的自然语言文本串相关联。