[发明专利]句型识别方法有效
申请号: | 201911165208.8 | 申请日: | 2019-11-25 |
公开(公告)号: | CN111507085B | 公开(公告)日: | 2023-07-07 |
发明(设计)人: | 王冲;崇传兵 | 申请(专利权)人: | 江苏艾佳家居用品有限公司 |
主分类号: | G06F40/211 | 分类号: | G06F40/211;G06F40/279;G06F40/289;G06F16/332 |
代理公司: | 南京新慧恒诚知识产权代理有限公司 32424 | 代理人: | 邓唯 |
地址: | 211100 江苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 句型 识别 方法 | ||
1.一种句型识别方法,其特征在于,包括如下步骤:
S10,获取训练数据集;所述训练数据集包括多个标注句型的问句以及多个标注句型的非问句;
S30,在对训练数据集进行预处理后,根据预处理后的训练数据集确定问句对应的第一词向量序列以及非问句对应的第二词向量序列;所述第一词向量序列用于计算各个词语的第一词向量,第一词向量表征相应词语属于问句的概率,所述第二词向量序列用于计算各个词语的第二词向量,第二词向量表征相应词语属于非问句的概率;
S40,获取待识别语句中的各个词,得到多个目标词,在第一词向量序列中查找各个目标词的第一词向量,依据各个第一词向量确定问句词向量QV1,在第二词向量序列中查找各个目标词的第二词向量,依据各个第二词向量确定非问句词向量QV2;
S50,计算问句词向量QV1和非问句词向量QV2之间的余弦相似度,根据所述余弦相似度确定待识别语句的类型;
所述计算问句词向量QV1和非问句词向量QV2之间的余弦相似度,根据所述余弦相似度确定待识别语句的类型包括:
分别将问句词向量QV1和非问句词向量QV2转换为设定长度的向量,计算转换后的两个向量的余弦相似度;
当余弦相似度大于设定阈值时,判定待识别语句为非问句,当余弦相似度小于设定阈值时,判定待识别语句为问句。
2.根据权利要求1所述的句型识别方法,其特征在于,在对训练数据集进行预处理后,根据预处理后的训练数据集确定问句对应的第一词向量序列以及非问句对应的第二词向量序列之前,还包括:
S20,对所述训练数据集进行预处理,以去除所述训练数据集中各个语句中的噪声词。
3.根据权利要求2所述的句型识别方法,其特征在于,所述对所述训练数据集进行预处理包括:
获取训练数据集中语句集合C={C1,C2,C3,…,Cn}和标签集合L={L1,L2,L3,…,Ln};Ci表示第i个语句,i=1,2,……,n,n表示训练数据集中的语句个数;
将每个语句进行分词,去除各个语句中的停用词;
对去除停用词后的各个语句进行词过滤,得到过滤结果;
去除过滤结果所包括的各个语句中的重复词,根据标签集合L={L1,L2,L3,...,Ln}将语句集合C={C1,C2,C3,...,Cn}划分为问句集Q1和非问句集Q2。
4.根据权利要求3所述的句型识别方法,其特征在于,所述对去除停用词后的各个语句进行词过滤包括:
获取各个词语在各个语句中的出现次数,定义最小出现次数为min和最大出现次数为max;
剔除出现次数在区间(min,max)以外的词语。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于江苏艾佳家居用品有限公司,未经江苏艾佳家居用品有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911165208.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种乳清酸的合成方法
- 下一篇:一种含碳硼烷的耐高低温胶粘剂树脂及其制备方法