[发明专利]一种数据处理方法、装置及计算机可读存储介质有效
申请号: | 202010086648.0 | 申请日: | 2020-02-11 |
公开(公告)号: | CN111338769B | 公开(公告)日: | 2023-08-29 |
发明(设计)人: | 奚健;王成波;叶国维;顾鹏 | 申请(专利权)人: | 深圳云天励飞技术有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50;G06F9/54;G06N20/00 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 熊永强 |
地址: | 518000 广东省深圳市龙岗区园山*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 计算机 可读 存储 介质 | ||
1.一种数据处理方法,其特征在于,所述方法应用于数据处理系统,所述数据处理系统包括数字信号处理器DSP和加速层,所述加速层包括多个硬件,所述硬件为深度学习中用于算子运算的专用芯片,包括:
通过所述DSP获取业务请求,所述业务请求携带有待处理数据和任务类型的标识,所述待处理数据为图像和/或视频;
通过所述DSP根据所述任务类型的标识确定算法模型,其中若所述任务类型的标识为多个,且多个标识所标识的多个业务之间存在多种执行方式,所述任务携带用于指示所标识的业务之间的执行顺序;
通过所述DSP将第一算法模型的输入数据划分为多个数据组,所述第一算法模型属于确定的算法模型,所述输入数据为所述待处理数据或所述待处理数据被处理后的数据,所述待处理数据被处理后的数据为除所述第一算法模型之外的算法模型处理后的数据;
通过第一硬件对第一数据组或所述第一数据组被处理后的数据进行处理,同时通过所述DSP对第二数据组或所述第二数据组被处理后的数据进行处理,所述第一硬件为所述多个硬件中的一个硬件,所述第一数据组和所述第二数据组属于所述多个数据组。
2.根据权利要求1所述的方法,其特征在于,所述通过所述DSP将第一算法模型的输入数据划分为多个数据组包括:
在第一算法模型的输入数据包括N个数据,所述N个数据分组处理不影响所述第一算法模型的输出结果,以及所述N大于M的情况下,通过所述DSP根据所述M对所述N个数据进行划分,得到多个数据组,所述N为大于1的整数,所述M为所述任务对应的缓存器当前能够处理的数据的数量。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
通过所述DSP根据所述任务类型的标识为所述任务配置硬件链路HL;
所述任务对应的缓存器为所述HL对应的缓存器。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
通过所述DSP为所述HL配置信息,所述信息包括所述HL包括的队列的描述符,所述描述符用于描述硬件的工作方式;
通过所述DSP确定所述第一算法模型包括的加速任务,所述加速任务携带有计算类型和计算数据,所述计算数据为所述第一数据组或所述第一数据组被处理后的数据;
通过所述加速层从所述信息包括的描述符中选取所述计算类型对应的描述符;
所述通过第一硬件对第一数据组或所述第一数据组被处理后的数据进行处理包括:
通过选取的描述符对应的第一硬件根据所述选取的描述符对所述计算数据进行处理。
5.根据权利要求4所述的方法,其特征在于,所述通过选取的描述符对应的第一硬件根据所述选取的描述符对所述计算数据进行处理包括:
通过所述加速层获取选取的描述符对应的第一硬件的驱动函数;
通过所述驱动函数驱动所述选取的描述符对应的第一硬件根据所述选取的描述符对所述计算数据进行处理。
6.根据权利要求1所述的方法,其特征在于,所述业务请求还携带有句柄的标识,所述方法还包括:
通过所述DSP确定所述第一算法模型对应的消息回调函数表,所述消息回调函数表包括一个或多个消息回调函数;
通过所述DSP根据所述第一算法模型和所述句柄的标识,确定所述任务的句柄;
所述通过第一硬件对第一数据组或所述第一数据组被处理后的数据进行处理,同时通过所述DSP对第二数据组或所述第二数据组被处理后的数据进行处理包括:
根据所述第一算法模型、所述消息回调函数表和所述句柄,通过第一硬件对第一数据组或所述第一数据组被处理后的数据进行处理,同时通过所述DSP对第二数据组或所述第二数据组被处理后的数据进行处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳云天励飞技术有限公司,未经深圳云天励飞技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010086648.0/1.html,转载请声明来源钻瓜专利网。