[发明专利]一种基于文本内容的信息源识别方法与装置

权利要求书

1.一种基于文本内容的信息源识别方法，包括以下步骤：

将输入的文本按句子切分并分词；

识别出各句子中包含的类型为信息源的实体，包括：

用基于百度百科训练word2vec得到的词向量表示句子中的每个词；

在模型训练和测试时，输入为词向量序列，输出为与词向量序列等长的标签序列；

标签采用2tag方法，若词属于媒体名称指示词，则对应标签为‘1’，否则标签为‘0’；

网络结构包括输入层，双向LSTM层和输出层；

将多个标签为‘1’的词拼接起来，得到所在句子的候选信息源实体；通过采用基于CNN的句子分类方法，判定类型为信息源的实体是否为其所在句子的信息源，如所述实体为其所在句子的信息源，则将其作为一信息源实体，判定类型为信息源的实体是否为其所在句子的信息源包括：

首先需要将识别出的候选信息源实体合并为一个词，其次每个词的向量包含n维的词向量和m维的位置向量，每个词的向量长度为n+m；

对每个词的词向量表示拼接位置向量，然后输入到一卷积神经网络结构中；

依据网络输出的分类结果，判定该实体是否为其所在句子的信息源；

整合各句子得到的信息源实体，作为文本信息识别结果。

2.如权利要求1所述的基于文本内容的信息源识别方法，其特征在于，对输入的文本按句子切分并分词时，设定一预设句子长度，并通过截取或补充的方式使各句子长度与该预设句子长度一致。

3.如权利要求1所述的基于文本内容的信息源识别方法，其特征在于，通过采用基于双向LSTM的实体识别方法，各句子中包含的类型为信息源的实体。

4.如权利要求1所述的基于文本内容的信息源识别方法，其特征在于，所述卷积神经网络结构包括输入层，卷积层，最大池化层，全连接层及输出层，网络的输出为0或1的分类结果。

5.如权利要求1所述的基于文本内容的信息源识别方法，其特征在于，依据预先设定的文本最大信息源个数整合各句子得到的信息源实体，若信息源实体数量超过所述文本最大信息源个数，优先选取所在句子位置在前的信息源实体。