[发明专利]样本数据处理方法及装置、模型训练方法及设备有效

专利信息
申请号: 201910166341.9 申请日: 2019-03-06
公开(公告)号: CN110046247B 公开(公告)日: 2023-04-07
发明(设计)人: 向彪;周俊;李小龙 申请(专利权)人: 创新先进技术有限公司
主分类号: G06F16/35 分类号: G06F16/35
代理公司: 北京永新同创知识产权代理有限公司 11376 代理人: 林锦辉
地址: 英属开*** 国省代码: 暂无信息
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 样本 数据处理 方法 装置 模型 训练 设备
【权利要求书】:

1.一种用于样本数据扩充处理的方法,所述样本数据包括用户特征数据和标签数据,所述方法包括:

获取样本数据集中的各个样本数据所对应的数据节点之间的关联关系数据,所述关联关系数据用于反映各个数据节点之间的关联关系强度;以及

针对所述样本数据集中的各个非完备样本数据,至少部分地基于该非完备样本数据所对应的数据节点与所有关联数据节点之间的关联关系数据以及各个关联数据节点的特征数据和/或标签数据,对该非完备样本数据进行数据扩充,

其中,所述非完备样本数据是特征数据存在维度缺失和/或标签数据存在维度缺失的样本数据,

其中,在所述非完备样本数据的标签数据中存在维度缺失时,至少部分地基于该非完备样本数据所对应的数据节点与所有关联数据节点之间的关联关系数据以及各个关联数据节点的数据节点特征数据和/或标签数据,对该非完备样本数据进行数据扩充包括:

针对该非完备样本数据的标签数据中的各个维度缺失数据,基于该非完备样本数据所对应的数据节点与所有关联数据节点之间的关联关系数据以及各个关联数据节点的标签数据中的对应维度数据,确定该标签数据的维度缺失数据,

在所述非完备样本数据的特征数据存在维度缺失时,至少部分地基于该非完备样本数据所对应的数据节点与所有关联数据节点之间的关联关系数据以及各个关联数据节点的数据节点特征数据和/或标签数据,对该非完备样本数据进行数据扩充包括:

针对该非完备样本数据的特征数据中的各个维度缺失数据,基于该非完备样本数据所对应的数据节点与所有关联数据节点之间的关联关系数据以及各个关联数据节点的特征数据中的对应维度数据,确定该数据节点的特征数据的维度缺失数据;以及

将该数据节点的特征数据与所确定出的维度缺失数据进行拼接,以得到该数据节点的经过扩充处理后的特征数据。

2.如权利要求1所述的方法,其中,所述标签数据的维度缺失数据是基于下述公式确定出的:

其中,yi表示数据节点i的标签数据的维度缺失数据,α是传播衰减系数,N(i)表示数据节点i的关联数据节点集合,j表示N(i)中的第j个关联数据节点,aij表示数据节点i与第j个关联数据节点之间的关联关系强度,yj表示数据节点j的标签数据中与缺失维度对应的维度数据,以及di表示数据节点i与集合N(i)中的各个关联数据节点之间的关联关系强度之和。

3.如权利要求1所述的方法,其中,所述特征数据的维度缺失数据是按照以下等式确定出的:

其中,表示数据节点i的维度缺失数据,xn表示数据节点i的特征数据,N(i)表示数据节点i的关联数据节点集合,j表示N(i)中的第j个关联数据节点,aij表示数据节点i与第j个关联数据节点之间的关联关系强度,表示第j个关联数据节点的特征数据中的与缺失维度对应的维度数据,以及di表示数据节点i与集合N(i)中的各个关联数据节点之间的关联关系强度之和,W1是数据节点i的特征数据的加权因子,以及W2是与关联数据节点相关的维度缺失数据的加权因子。

4.一种用于训练模型的方法,包括:

在样本数据集中存在至少一个非完备样本数据时,使用如权利要求1到3中任一所述的方法来对所述至少一个非完备样本数据进行扩充处理;以及

使用经过扩充后的样本数据集来训练模型。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于创新先进技术有限公司,未经创新先进技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910166341.9/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top