[发明专利]一种训练样本生成的方法、装置、计算机设备及存储介质在审
申请号: | 202110705512.8 | 申请日: | 2021-06-24 |
公开(公告)号: | CN113361629A | 公开(公告)日: | 2021-09-07 |
发明(设计)人: | 莫琪 | 申请(专利权)人: | 平安普惠企业管理有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/08;G06F40/30;G06F16/35 |
代理公司: | 深圳市世联合知识产权代理有限公司 44385 | 代理人: | 汪琳琳 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 训练 样本 生成 方法 装置 计算机 设备 存储 介质 | ||
1.一种训练样本生成的方法,其特征在于,包括:
获取初始训练样本和目标训练样本,并对所述初始训练样本和所述目标训练样本进行拼接,得到样本匹配对;
将所述样本匹配对导入到预设的第一处理模型,得到初始目标样本集,其中,所述初始目标样本集包含若干个初始目标样本;
将所述目标训练样本和所述初始目标样本集导入到预设的第二处理模型,通过所述第二处理模型依次计算所述目标训练样本和每一个所述初始目标样本的相似度;
获取与所述目标训练样本的相似度大于预设阈值的初始目标样本,得到相似目标样本;
将所述相似目标样本与所述初始训练样本进行组合,得到训练样本集。
2.如权利要求1所述的训练样本生成的方法,其特征在于,所述获取初始训练样本和目标训练样本,并对所述初始训练样本和所述目标训练样本进行拼接,得到样本匹配对的步骤,具体包括:
分别对所述初始训练样本和所述目标训练样本进行预处理,其中,所述预处理包括分词和去除停用词;
分别提取预处理后所述初始训练样本和所述目标训练样本的文本实体;
分别对所述初始训练样本的文本实体和所述目标训练样本的文本实体进行匹配,得到样本匹配对。
3.如权利要求1所述的训练样本生成的方法,其特征在于,在所述将所述样本匹配对导入到预设的第一处理模型,得到初始目标样本集,其中,所述初始目标样本集包含若干个初始目标样本之前,还包括:
获取第一训练集,并生成所述第一训练集对应的掩膜标识;
构建初始第一处理模型,通过所述掩膜标识调整所述初始第一处理模型的掩膜矩阵;
通过所述第一训练集对掩膜矩阵调整后的所述初始第一处理模型进行模型训练,得到第一处理模型。
4.如权利要求3所述的训练样本生成的方法,其特征在于,所述第一训练集包括初始样本和目标样本,通过调整所述掩膜矩阵可以调节所述初始第一处理模型的网络,以获得单向模型、双向模型和序列到序列模型,所述构建初始第一处理模型,通过所述掩膜标识调整所述初始第一处理模型的掩膜矩阵的步骤,具体包括:
基于Transformer网络结构构建所述初始第一处理模型;
通过所述掩膜标识对所述初始第一处理模型的掩膜矩阵进行第一调整,将所述初始第一处理模型调整为所述双向模型,所述双向模型用于处理所述初始样本;
通过所述掩膜标识对所述初始第一处理模型的掩膜矩阵进行第二调整,将所述初始第一处理模型调整为所述单向模型,所述双向模型用于处理所述目标样本。
5.如权利要求3所述的训练样本生成的方法,其特征在于,在所述通过所述第一训练集对掩膜矩阵调整后的所述初始第一处理模型进行模型训练,得到第一处理模型的步骤之后,还包括:
获取第一验证集,并将所述第一验证集导入所述第一处理模型,得到验证结果;
基于所述验证结果与预设标准结果,使用反向传播算法进行拟合,获取处理误差;
将处理误差与预设误差阈值进行比较,若所述处理误差大于预设误差阈值,则对第一处理模型进行迭代更新,直至所述处理误差小于或等于预设误差阈值为止;
输出所述处理误差小于或等于预设误差阈值的第一处理模型。
6.如权利要求1至5任意一项所述的训练样本生成的方法,其特征在于,所述将所述样本匹配对导入到预设的第一处理模型,得到初始目标样本集,其中,所述初始目标样本集包含若干个初始目标样本的步骤,具体包括:
依次对所述样本匹配对中的每一个文本实体进行向量转化,得到向量矩阵;
通过所述第一处理模型对所述向量矩阵进行处理,输出的若干个初始目标样本;
获取所述第一处理模型输出的若干个所述初始目标样本,通过若干个所述初始目标样本构建所述初始目标样本集。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安普惠企业管理有限公司,未经平安普惠企业管理有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110705512.8/1.html,转载请声明来源钻瓜专利网。