[发明专利]一种基于分组卷积神经网络的标点标注模型

说明书

本发明涉及神经网络语音识别技术领域，尤其是一种基于分组卷积神经网络的标点标注模型，包括基本建模单元和词嵌入层，基本建模单元由分组卷积神经网络与Position‑WiseFeed‑Forward Networks构成，所述的分组卷积神经网络与Position‑WiseFeed‑Forward Networks之间以残差连接，输入先进入词嵌入层经过一次线性变化后输入到基本建模单元结构中，经过N层的基本建模单元运算后输出到线性层后经过Softmax后输出在目标标签上的概率分布，本发明能够高效地并行化运算。

技术领域

本发明涉及神经网络语音识别技术领域，具体领域为一种基于分组卷积神经网络的标点标注模型。

背景技术

标点标注是语音识别的一个后处理任务。语音识别模型的输出文本一般不包含标点符号，利用标点模型打上标点可以提高文本的可读性，尤其对于长文本更为重要。并且，有正确标点的文本可以提高下游任务，如词性标注、实体命名识别、情感分析等语义理解任务中的模型性能。

处理标点标注问题最常见的策略是将其看成一个序列标注问题，对序列中的每一个符号预测一个标签。这个标签看成是当前这个词与前一个词之间的标点符号。在这个任务中通常定义四种标签：没有标点(O)、逗号(,)、句号(.)、问号(？)。

像其它序列标注问题，如条件随机场(CRF)、循环神经网络(RNN,LSTM,GRU)以及带注意力机制的循环神经网络等经典的序列标注模型被广泛地运用到标点标注这个任务中。然而常规的循环神经网络序列标注模型，在计算t时刻时需要依赖t-1时刻的运算结果，也就是需要依次计算，这样的按序列依次运算的方式不利于并行化计算。

基于Self-attention的Transformer结构近年来被广泛地成功运用到自然语言处理的各个任务中。该结构虽然能够并行运算，但是Self-attention却需要序列长度平方级的计算复杂度与存储空间。并且由于在标点预测任务中，序列的起始位置可能会在自然语句的任何位置，位置信息编码在该任务中会对模型有负面影响，然而在Transformer结构中，由于Self-attention本身不包括位置信息，位置信息编码是必须包括的模块，因此Transformer结构不适合标点预测任务。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于分组卷积神经网络的标点标注模型。

为实现上述目的，本发明提供如下技术方案：一种基于分组卷积神经网络的标点标注模型，包括基本建模单元和词嵌入层，基本建模单元由分组卷积神经网络与Position-WiseFeed-Forward Networks构成，所述的分组卷积神经网络与Position-WiseFeed-Forward Networks之间以残差连接，

分组卷积神经网络结构用于处理字符间的关系，各个维度分组间相对独立，Position-WiseFeed-Forward Networks结构用于处理字符内各个维度间的信息传递，各个字符间相对独立；

输入先进入词嵌入层，经过一次线性变化后输入到基本建模单元结构中，经过N层的基本建模单元运算后输出到线性层后经过Softmax后输出在目标标签上的概率分布。

优选的，所述的分组卷积神经网络由两层分组卷积层构成。

优选的，设定分组卷积层的分组数G等于输入通道数C₁，中间通道数C₂为4C₁，输出通道数为C₁，即，

输入输入到第一层分组卷积层，其中L为序列长度，d_model为模型隐状态大小；

y＝max(GroupedConv(x，K₁，C₁，C₂，G)，0)