[发明专利]数据处理方法、装置、电子设备及存储介质有效
申请号: | 202110558344.4 | 申请日: | 2021-05-21 |
公开(公告)号: | CN113362218B | 公开(公告)日: | 2022-09-27 |
发明(设计)人: | 丛士钧;王桂彬;陈旭 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06T1/20 | 分类号: | G06T1/20;G06T1/60 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 王萌 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 存储 介质 | ||
1.一种数据处理方法,包括:
获取初始数据,并提取初始数据的数据特征;
根据所述数据特征,生成图形处理器处理所述初始数据时所需要的初始内存消耗值;
根据所述初始内存消耗值生成推荐处理参数;以及
根据所述推荐处理参数处理所述初始数据,以得到目标数据;
所述初始数据包括:多个初始数据段,所述多个初始数据段是对所述初始数据切分得到的,其中,所述提取所述初始数据的数据特征,包括:
确定所述多个初始数据段之间的帧长差异信息,并将所述帧长差异信息作为所述初始数据的数据特征;
其中,所述确定所述多个初始数据段之间的帧长差异信息,包括:
确定所述多个初始数据段的第一批尺寸;
确定与所述多个初始数据段分别对应的多个数据帧长;
根据所述第一批尺寸和所述多个数据帧长,确定所述多个初始数据段之间的帧长差异信息;
其中,所述根据所述推荐处理参数处理所述初始数据,以得到目标数据,包括:
根据所述初始内存消耗值,生成第二批尺寸,所述第二批尺寸和所述第一批尺寸相同或者不相同;
根据所述初始内存消耗值,生成多个目标帧长,并将所述第二批尺寸和所述多个目标帧长作为所述推荐处理参数;
其中,所述根据所述推荐处理参数处理所述初始数据,以得到目标数据,包括:
将所述多个初始数据段拼接为中间数据;
根据所述推荐处理参数对所述中间数据进行切分,以得到多个目标数据段,其中,所述多个目标数据段的批尺寸是所述第二批尺寸,所述多个目标数据段分别对应的多个数据帧长是所述多个目标帧长,所述多个目标数据段共同构成所述目标数据;
其中,根据所述推荐处理参数对所述初始数据进行切分,使得所述图形处理器处理所述多个目标数据段时的内存消耗,小于所述初始内存消耗。
2.如权利要求1所述的方法,其中,所述根据所述数据特征,生成图形处理器处理所述初始数据时所需要的初始内存消耗值,包括:
从所述多个数据帧长中确定出最大数据帧长的初始数据段的数据段帧长;
根据所述的第一批尺寸和所述最大数据帧长的初始数据段的的数据段帧长,生成图形处理器处理所述初始数据时所需要的初始内存消耗值。
3.一种数据处理装置,包括:
获取模块,用于获取初始数据,并提取所述初始数据的数据特征;
第一生成模块,用于根据所述数据特征,生成图形处理器处理所述初始数据时所需要的初始内存消耗值;
第二生成模块,用于根据所述初始内存消耗值生成推荐处理参数;以及
处理模块,用于根据所述推荐处理参数处理所述初始数据,以得到目标数据;
其中,所述初始数据包括:多个初始数据段,所述多个初始数据段是对所述初始数据切分得到的,其中,所述获取模块,包括:
获取子模块,用于获取初始数据;
第一确定子模块,用于确定所述多个初始数据段之间的帧长差异信息,并将所述帧长差异信息作为所述初始数据的数据特征;
其中,所述第一确定子模块,具体用于:
确定所述多个初始数据段的第一批尺寸;
确定与所述多个初始数据段分别对应的多个数据帧长;
根据所述第一批尺寸和所述多个数据帧长,确定所述多个初始数据段之间的帧长差异信息;
其中,所述处理模块,包括:
第二生成子模块,用于根据所述初始内存消耗值,生成第二批尺寸,所述第二批尺寸和所述第一批尺寸相同或者不相同;
第三生成子模块,用于根据所述初始内存消耗值,生成多个目标帧长,并将所述第二批尺寸和所述多个目标帧长作为所述推荐处理参数;
其中,所述处理模块,还包括:
切分子模块,用于将所述多个初始数据段拼接为中间数据,并根据所述推荐处理参数对所述中间数据进行切分,以得到多个目标数据段,其中,所述多个目标数据段的批尺寸是所述第二批尺寸,所述多个目标数据段分别对应的多个数据帧长是所述多个目标帧长,所述多个目标数据段共同构成所述目标数据;
其中,根据所述推荐处理参数对所述初始数据进行切分,使得所述图形处理器处理所述多个目标数据段时的内存消耗,小于所述初始内存消耗。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110558344.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:电机启动方法及可读存储介质
- 下一篇:一种墙体内镶嵌式电能表的配电箱箱体