[发明专利]一种数据处理方法、装置和用于数据处理的装置在审
申请号: | 201910730444.3 | 申请日: | 2019-08-08 |
公开(公告)号: | CN112347775A | 公开(公告)日: | 2021-02-09 |
发明(设计)人: | 龚良泉;叶祺;李刚 | 申请(专利权)人: | 北京搜狗科技发展有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F40/295;G06F40/30;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 郑傲日 |
地址: | 100084 北京市海淀区中关*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 用于 | ||
1.一种数据处理方法,其特征在于,所述方法包括:
对文本进行分词,以得到所述文本对应的分词结果;
将所述分词结果输入标签提取模型,所述标签提取模型为根据收集的样本数据对训练得到的深度神经网络模型;其中,所述样本数据对包括:样本文本、所述样本文本对应的短语标签;
通过所述标签提取模型对所述分词结果进行标签提取,以得到所述分词结果对应的短语标签。
2.根据权利要求1所述的方法,其特征在于,所述对文本进行分词,以得到所述文本对应的分词结果,包括:
对所述文本进行分词,以得到所述文本中的各分词;
确定所述文本中的各分词对应的分词向量;
对所述各分词对应的分词向量进行编码,以得到所述文本对应的文本向量序列;
将所述文本向量序列作为所述文本对应的分词结果。
3.根据权利要求2所述的方法,其特征在于,所述将所述分词结果输入标签提取模型之前,所述方法还包括:在所述文本向量序列的第一个向量之前添加所述文本向量序列对应的起始标志符;
所述将所述分词结果输入标签提取模型,包括:将包含所述起始标志符的文本向量序列输入所述标签提取模型;
所述通过所述标签提取模型对所述分词结果进行标签提取,以得到所述分词结果对应的短语标签,包括:
在所述标签提取模型接收到所述起始标志符的情况下,对输入的所述文本向量序列包括的向量依次进行解码,以得到所述文本向量序列中每一个向量的解码结果,并且将当前向量的解码结果作为解码下一个向量的输入;在最后一个向量解码完成后,根据所述文本向量序列中各向量的解码结果,得到所述分词结果对应的短语标签。
4.根据权利要求2所述的方法,其特征在于,所述对所述各分词对应的分词向量进行编码,以得到所述文本对应的文本向量序列,包括:
通过预置编码模型,对所述各分词对应的分词向量进行编码,以得到所述文本对应的文本向量序列;或者
利用所述分词向量的平均值,对所述各分词对应的分词向量进行编码,以得到所述文本对应的文本向量序列。
5.根据权利要求1所述的方法,其特征在于,所述对文本进行分词,以得到所述文本对应的分词结果,包括:对所述文本进行分词,以得到所述文本中的各分词;将所述各分词作为所述文本对应的分词结果;
所述将所述分词结果输入标签提取模型,包括:将所述文本中的各分词依次输入标签提取模型;
所述通过所述标签提取模型对所述分词结果进行标签提取,以得到所述分词结果对应的短语标签,包括:通过所述标签提取模型对依次输入的每一个分词进行分类,以得到每个当前输入的分词的分类结果,并根据所述分类结果确定是否保留所述当前输入的分词;在确定是否保留最后一个输入的分词之后,根据所述文本中所有保留的分词,得到所述分词结果对应的短语标签。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对收集的样本文本进行分词;对所述样本文本中的分词进行分析,以确定所述样本文本对应的短语标签;
根据所述样本文本与其对应的短语标签组成的样本数据对,训练所述标签提取模型。
7.一种数据处理装置,其特征在于,所述装置包括:
分词模块,用于对文本进行分词,以得到所述文本对应的分词结果;
输入模块,用于将所述分词结果输入标签提取模型,所述标签提取模型为根据收集的样本数据对训练得到的深度神经网络模型;其中,所述样本数据对包括:样本文本、所述样本文本对应的短语标签;
提取输出模块,用于通过所述标签提取模型对所述分词结果进行标签提取,以得到所述分词结果对应的短语标签。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京搜狗科技发展有限公司,未经北京搜狗科技发展有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910730444.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种虚拟功能按钮显示方法及装置
- 下一篇:高度调节装置及洗碗机