[发明专利]一种基于分组卷积神经网络的标点标注模型

权利要求书

1.一种基于分组卷积神经网络的标点标注模型，其特征在于：包括基本建模单元和词嵌入层，基本建模单元由分组卷积神经网络与Position-WiseFeed-Forward Networks构成，所述的分组卷积神经网络与Position-WiseFeed-Forward Networks之间以残差连接，

分组卷积神经网络结构用于处理字符间的关系，各个维度分组间相对独立，Position-WiseFeed-Forward Networks结构用于处理字符内各个维度间的信息传递，各个字符间相对独立；

输入文本先进入词嵌入层，经过一次线性变化后输入到基本建模单元结构中，经过N层的基本建模单元运算后输出到线性层后经过Softmax后输出在目标标签上的概率分布；其中，所述目标标签用于标注当前词与前一个词之间的标点符号；所述目标标签包括以下之一：没有标点、逗号、句号、问号。

2.根据权利要求1所述的一种基于分组卷积神经网络的标点标注模型，其特征在于：所述的分组卷积神经网络由两层分组卷积层构成。

3.根据权利要求2所述的一种基于分组卷积神经网络的标点标注模型，其特征在于：设定第一层分组卷积层的分组数G等于输入通道数C₁，中间通道数C₂为4C₁，输出通道数为C₁，即，

输入输入到第一层分组卷积层，其中L为序列长度，d_model为模型隐状态大小；

y＝max(GroupedConv(x，K₁，C₁，C₂，G)，0)

其中C₁＝G＝d_model，K₁为卷积核的大小。

4.根据权利要求3所述的一种基于分组卷积神经网络的标点标注模型，其特征在于：第二层分组卷积层的输入通道数为C₂，输出通道数为C₁，卷积核大小为K₂，分组数G；

z＝GroupedConv(y，K₂，C₂，C₁，G)

其中

5.根据权利要求4所述的一种基于分组卷积神经网络的标点标注模型，其特征在于：Position-WiseFeed-Forward Networks的算法公式为：

FFN(x)＝max(0，xW₁+b₁)W₂+b₂

其中