[发明专利]一种文本处理方法和相关装置有效
| 申请号: | 202011231200.X | 申请日: | 2020-11-06 |
| 公开(公告)号: | CN112036135B | 公开(公告)日: | 2021-03-02 |
| 发明(设计)人: | 方俊;林炳怀 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
| 主分类号: | G06F40/166 | 分类号: | G06F40/166;G06N20/00 |
| 代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 常忠良 |
| 地址: | 518064 广东省深圳*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 文本 处理 方法 相关 装置 | ||
1.一种文本处理方法,其特征在于,所述方法包括:
获取待识别的第一文本;
对所述第一文本进行文本处理,得到第二文本;
根据所述第一文本和所述第二文本确定至少一个修改对,其中,一个修改对对应于所述文本处理中的一处内容修改,所述修改对包括所述第一文本中对应所述内容修改的内容,以及所述第二文本中对应所述内容修改的内容;
根据所述第一文本、所述第二文本和所述修改对,确定所述内容修改对应的语言表达错误类型和错误原因;
其中,所述根据所述第一文本、所述第二文本和所述修改对,确定所述内容修改对应的语言表达错误类型和错误原因,包括:
对所述第一文本和所述第二文本中的分词进行词性标注;
根据所述第一文本、所述第二文本、所述修改对和所标注的词性,确定所述内容修改对应的语言表达错误类型和错误原因。
2.根据权利要求1所述的方法,其特征在于,所述语言表达错误类型包括优化表达或至少一个类型的语法错误。
3.根据权利要求1所述的方法,其特征在于,所述根据所述第一文本和所述第二文本间确定至少一个修改对,包括:
以第一比对粒度对所述第一文本和所述第二文本进行内容比对,得到对应的第一比对序列;所述第一比对序列中包括第一内容对,所述第一内容对用于标识所述第一文本和所述第二文本间对应的一对文本字符串,以及这对文本字符串对应的改动方式;
以第二比对粒度对所述第一比对序列中的第一内容对进行拆分得到第二比对序列;所述第二比对序列包括第二内容对,所述第二内容对用于标识所述第一文本和所述第二文本间对应的一对文本字符串,以及这对文本字符串对应的改动方式,所述第二比对粒度小于所述第一比对粒度;
根据所述第二比对序列确定所述至少一个修改对。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第二比对序列确定所述至少一个修改对,包括:
根据所述第二比对序列中第二内容对的改动方式,确定改动方式标识为修改的目标内容对;
将所述第二比对序列中符合预设规则的相邻目标内容对进行合并得到第三比对序列;所述第三比对序列中包括通过对所述相邻目标内容对合并得到所述修改对,通过合并得到的所述修改对的改动方式是根据合并方式确定的。
5.根据权利要求4所述的方法,其特征在于,所述第二比对序列中第二内容对的改动方式包括替换、插入、删除或相等中的任意一种;所述第三比对序列中修改对的改动方式包括交换。
6.根据权利要求3所述的方法,其特征在于,所述以第一比对粒度对所述第一文本和所述第二文本进行内容比对,得到对应的第一比对序列,包括:
通过对齐算法以第一比对粒度对所述第一文本和所述第二文本进行内容比对,得到对应的第一比对序列。
7.根据权利要求1-6任意一项所述的方法,其特征在于,所述方法还包括:
在所述第一文本和所述第二文本的基础上展示所述内容修改,以及展示对应的判定结果;所述判定结果包括所述语言表达错误类型和所述错误原因。
8.一种文本处理装置,其特征在于,所述装置包括获取单元和确定单元:
所述获取单元,用于获取待识别的第一文本;
所述确定单元,用于对所述第一文本进行文本处理,得到第二文本;
所述确定单元,还用于根据所述第一文本和所述第二文本确定至少一个修改对,其中,一个修改对对应于所述文本处理中的一处内容修改,所述修改对包括所述第一文本中对应所述内容修改的内容,以及所述第二文本中对应所述内容修改的内容;
所述确定单元,还用于根据所述第一文本、所述第二文本和所述修改对,确定所述内容修改对应的语言表达错误类型和错误原因;
其中,所述确定单元,用于:
对所述第一文本和所述第二文本中的分词进行词性标注;
根据所述第一文本、所述第二文本、所述修改对和所标注的词性,确定所述内容修改对应的语言表达错误类型和错误原因。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011231200.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:区块链存证方法和相关装置
- 下一篇:一种与汽车传动系统推力杆配合使用的球座





