[发明专利]一种数据处理方法、装置、运算芯片及存储介质在审
申请号: | 202010529663.8 | 申请日: | 2020-06-11 |
公开(公告)号: | CN111756650A | 公开(公告)日: | 2020-10-09 |
发明(设计)人: | 王江为;刘钧锴;阚宏伟 | 申请(专利权)人: | 广东浪潮大数据研究有限公司 |
主分类号: | H04L12/851 | 分类号: | H04L12/851;H04L12/801;G06F15/163;H04L29/08;G06F15/76 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 丁曼曼 |
地址: | 510620 广东省广州市天河区*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 运算 芯片 存储 介质 | ||
本申请公开了一种数据处理方法、装置、运算芯片及存储介质。该方法应用于对多个上游运算芯片传入的数据进行数据处理的当前运算芯片,步骤包括:获取缓存区的数据占用量;判断数据占用量是否达到控流阈值;如果是,则获取各上游运算芯片之间的优先级,并按照优先级的顺序向各上游运算芯片发送流量控制信息,以控制上游运算芯片停止传入待处理数据;对缓存区中的待处理数据进行数据处理;否则,接收上游运算芯片传入的待处理数据,并写入缓存区;对缓存区中的待处理数据进行数据处理。本方法相对保证了云计算平台通过多个运算芯片实现数据加速处理过程的稳定性。此外,本申请还提供一种数据处理装置、运算芯片及存储介质,有益效果同上所述。
技术领域
本申请涉及数据处理领域,特别是涉及一种数据处理方法、装置、运算芯片及存储介质。
背景技术
当前的云计算平台往往通过多个运算芯片共同构成,云计算平台把运算芯片作为云计算平台中的加速单元,即加速卡,多个运算芯片通过网络接口,如MAC(MultipleAccess Control,多路访问控制)协议的网络接口,连接到交换机,共同形成加速资源池。
当有待处理的数据到达云计算平台时,待处理的数据往往会基于网口传输的方式顺序经过加速资源池中的多个运算芯片,加速资源池中的每个运算芯片接收到待处理的数据时,均以自身既定的处理逻辑对数据进行相应的数据处理,并将处理得到的数据进一步传入到下一个运算芯片以做进一步的数据处理,待处理的数据经过加速资源池中多个运算芯片的顺序处理后得到数据处理结果,通过在运算芯片之间被流水处理的方式,达到对数据处理过程的加速效果。由于待处理的数据在到达云计算平台后,需要顺序经过加速资源池中多个运算芯片的数据处理,更进一步的,如图1所示,当前进一步存在由多个运算芯片向一个运算芯片提供数据以供该运算芯片进行处理的场景下,即存在当前运算芯片需要接收并处理多个上游运算芯片传入的数据的场景,在此场景下,确保数据在运算芯片之间传输的可靠性,是保证云计算平台进行数据加速处理时稳定性的重要因素。
由此可见,提供一种数据处理方法,以相对确保数据在运算芯片之间传输的可靠性,进而保证云计算平台通过多个运算芯片实现数据加速处理过程的稳定性,是本领域技术人员需要解决的问题。
发明内容
本申请的目的是提供一种数据处理方法、装置、运算芯片及存储介质,以相对确保数据在运算芯片之间传输的可靠性,进而保证云计算平台通过多个运算芯片实现数据加速处理过程的稳定性。
为解决上述技术问题,本申请提供一种数据处理方法,应用于对多个上游运算芯片传入的数据进行数据处理的当前运算芯片,包括:
获取缓存区的数据占用量;
判断数据占用量是否达到控流阈值;
如果是,则获取各上游运算芯片之间的优先级,并按照优先级的顺序向各上游运算芯片发送流量控制信息,以控制上游运算芯片停止传入待处理数据;
对缓存区中的待处理数据进行数据处理;
否则,接收上游运算芯片传入的待处理数据,并写入缓存区;
对缓存区中的待处理数据进行数据处理。
优选地,当按照优先级的顺序向各上游运算芯片发送流量控制信息时,在对缓存区中的待处理数据进行数据处理之后,方法还包括:
监控缓存区的数据占用量;
当缓存区的数据占用量小于控流阈值时,停止发送流量控制信息,并向上游运算芯片发送流量通行信息,以控制上游运算芯片继续传入待处理数据。
优选地,当存在与当前运算芯片相邻,且对当前运算芯片生成的结果数据进行数据处理的下游运算芯片时,在对缓存区中的待处理数据进行数据处理之后,方法还包括:
将对待处理数据进行数据处理生成的结果数据传输至下游运算芯片;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东浪潮大数据研究有限公司,未经广东浪潮大数据研究有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010529663.8/2.html,转载请声明来源钻瓜专利网。