[发明专利]语句文本检测方法、系统、电子设备及存储介质在审
申请号: | 202011092199.7 | 申请日: | 2020-10-13 |
公开(公告)号: | CN112949285A | 公开(公告)日: | 2021-06-11 |
发明(设计)人: | 刘海东 | 申请(专利权)人: | 广州市百果园网络科技有限公司 |
主分类号: | G06F40/211 | 分类号: | G06F40/211;G06F40/253;G06F40/279;G06F40/30 |
代理公司: | 北京泽方誉航专利代理事务所(普通合伙) 11884 | 代理人: | 唐明磊 |
地址: | 510000 广东省广州市番禺区市桥街兴泰路*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语句 文本 检测 方法 系统 电子设备 存储 介质 | ||
1.一种语句文本检测方法,其特征在于,包括:
获取用户输入的文本信息;
通过预训练后的语言表征模型对所述文本信息进行词语特征提取以得到对应的词语特征信息;
根据句法分析模型对所述文本信息进行句法结构解析以确定所述文本信息的语句主体结构;
根据所述语句主体结构以及所述词语特征信息确定文本检测结果。
2.根据权利要求1所述的语句文本检测方法,其特征在于,所述根据所述语句主体结构以及所述词语特征信息确定文本检测结果包括:
根据所述语句主体结构确定文本信息中对应的主体位置;
根据所述主体位置调整对应的词语特征信息的表征权重;
根据所述表征权重以及对应的词语特征信息确定文本检测结果。
3.根据权利要求2所述的语句文本检测方法,其特征在于,所述语句主体结构包括主语、谓语和宾语;在所述根据所述表征权重以及对应的词语特征信息确定文本检测结果之前,还包括:
确定主语、谓语和宾语之间的第一连结关系;
根据所述第一连结关系调整对应的词语特征信息的表征权重。
4.根据权利要求3所述的语句文本检测方法,其特征在于,在所述确定主语、谓语和宾语之间的第一连结关系之后,还包括:
当检测到的主语、谓语和宾语中出现变形词时,确定所述变形词与文本信息中语句补充结构之间的第二连结关系,所述语句补充结构包括状语、定语和补语;
对应的,所述根据所述第一连结关系调整对应的词语特征信息的表征权重,包括:
根据所述第一连结关系和第二连结关系调整对应的词语特征信息的表征权重。
5.根据权利要求2所述的语句文本检测方法,其特征在于,所述文本信息包括第一文本语句和第二文本语句;
在所述根据句法分析模型对所述文本信息进行句法结构解析以确定所述文本信息的语句主体结构之后,还包括:
确定第一文本语句的语句主体结构和第二文本语句的语句主体结构之间的语句连结关系;
根据所述语句连结关系调整对应的词语特征信息的表征权重。
6.根据权利要求1所述的语句文本检测方法,其特征在于,在所述根据所述语句主体结构以及所述词语特征信息确定文本检测结果之后,还包括:
当所述文本检测结果为文本违规检测结果时,确定所述用户输入的文本信息包含违规语句信息。
7.根据权利要求1-6中任意一项所述的语句文本检测方法,其特征在于,
所述预训练后的语言表征模型通过如下步骤构建得到:
对获取的语言训练样本进行分词预处理以得到分词语言样本;
对所述语言训练样本进行随机掩膜处理以得到掩膜训练样本;
通过多头自注意网络层对所述分词语言样本以及掩膜训练样本进行训练以得到预训练后的语言表征模型,所述多头自注意网络层包括多个Transformer结构。
8.根据权利要求1-6中任意一项所述的语句文本检测方法,其特征在于,所述句法分析模型包括Bert句法分析模型;
所述Bert句法分析模型通过如下步骤构建得到:
获取句法样本集合,所述句法样本集合包括违规语句样本以及与所述违规语句样本对应的标注信息;
以所述句法样本集合为输入、句法分析结果为输出对初始的Bert句法分析模型进行训练以得到预训练后的Bert句法分析模型。
9.一种语句文本检测系统,其特征在于,包括:
文本获取模块,用于获取用户输入的文本信息;
特征提取模块,用于通过预训练后的语言表征模型对所述文本信息进行词语特征提取以得到对应的词语特征信息;
结构确定模块,用于根据句法分析模型对所述文本信息进行句法结构解析以确定所述文本信息的语句主体结构;
结构确定模块,用于根据所述语句主体结构以及所述词语特征信息确定文本检测结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州市百果园网络科技有限公司,未经广州市百果园网络科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011092199.7/1.html,转载请声明来源钻瓜专利网。