[发明专利]文本处理方法、装置、电子设备及可读存储介质在审
| 申请号: | 202110205899.0 | 申请日: | 2021-02-24 |
| 公开(公告)号: | CN112905775A | 公开(公告)日: | 2021-06-04 |
| 发明(设计)人: | 汪建;冯康;袁春阳 | 申请(专利权)人: | 北京三快在线科技有限公司 |
| 主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F16/33 |
| 代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 任亚娟 |
| 地址: | 100083 北京市海*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 文本 处理 方法 装置 电子设备 可读 存储 介质 | ||
1.一种文本处理方法,其特征在于,所述方法包括:
获得当前对话文本,并获得所述当前对话文本的历史对话文本;
根据所述当前对话文本的语素特征和流畅度,以及所述当前对话文本的历史对话文本与所述当前对话文本之间的关联度,确定所述当前对话文本的正确概率;
在所述正确概率小于预设阈值时,确定所述当前对话文本包含错误词语。
2.根据权利要求1所述的方法,其特征在于,获得当前对话文本,包括:
获得本轮对话中的用户对话文本;
获得所述当前对话文本的历史对话文本,包括:
获得针对上一轮对话中用户对话文本的应答对话文本;或
获得历史轮对话中的用户对话文本和/或针对历史轮对话中用户对话文本的应答对话文本。
3.根据权利要求1所述的方法,其特征在于,根据所述当前对话文本的语素特征和流畅度,以及所述当前对话文本的历史对话文本与所述当前对话文本之间的关联度,确定所述当前对话文本的正确概率,包括:
将所述当前对话文本和所述当前对话文本的历史对话文本输入预先训练的正确概率预测模型,得到所述当前对话文本的正确概率;
其中,所述预先训练的正确概率预测模型是以对话文本样本和该对话文本样本的历史对话文本样本为训练样本,对第一预设模型进行训练得到的,所述对话文本样本携带表征该对话文本样本是否包含错误词语的标签。
4.根据权利要求1所述的方法,其特征在于,在确定所述当前对话文本包含错误词语之后,所述方法还包括:
将所述当前对话文本输入预先训练的纠错模型,得到所述当前对话文本的第一类候选纠正文本,所述纠错模型是以对话文本样本和该对话文本样本中各个词语的候选纠正词语为训练样本,对第二预设模型进行训练得到的。
5.根据权利要求1所述的方法,其特征在于,在确定所述当前对话文本包含错误词语之后,所述方法还包括:
将所述当前对话文本和所述当前对话文本的历史对话文本进行拼接,得到拼接文本;
将所述拼接文本输入预先训练的纠错模型,得到所述当前对话文本的第一类候选纠正文本,所述纠错模型是以对话文本样本、该对话文本样本中各个词语的候选纠正词语,以及拼接文本样本为训练样本,对第三预设模型进行训练得到的,所述拼接文本样本为将对话文本样本和该对话文本样本的历史对话文本进行拼接而得到的文本。
6.根据权利要求4或5所述的方法,其特征在于,一个词语的候选纠正词语是按照以下步骤得到的:
根据每两个词语之间的关联度,构建预设词表;
从所述预设词表中查询所述词语的候选纠正词语。
7.根据权利要求4或5所述的方法,其特征在于,在得到所述当前对话文本的第一类候选纠正文本之后,所述方法还包括:
从预设文本库中获取所述当前对话文本的第二类候选纠正文本;
根据所述当前对话文本的第一类候选纠正文本和第二类候选纠正文本,对所述当前对话文本进行纠错,得到纠错后文本。
8.一种文本处理装置,其特征在于,所述装置包括:
获得模块,用于获得当前对话文本,并获得所述当前对话文本的历史对话文本;
第一确定模块,用于根据所述当前对话文本的语素特征和流畅度,以及所述当前对话文本的历史对话文本与所述当前对话文本之间的关联度,确定所述当前对话文本的正确概率;
第二确定模块,用于在所述正确概率小于预设阈值时,确定所述当前对话文本包含错误词语。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7任一所述的文本处理方法中的步骤。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行时实现如权利要求1-7任一所述的文本处理方法中的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京三快在线科技有限公司,未经北京三快在线科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110205899.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种半导体生产过程数据预处理方法及装置
- 下一篇:一种升船机承船厢拼装方法





