[发明专利]一种数据处理方法及装置有效
申请号: | 201210180095.0 | 申请日: | 2012-06-04 |
公开(公告)号: | CN103455518B | 公开(公告)日: | 2018-01-02 |
发明(设计)人: | 张东涛;黄先进;缪贵海 | 申请(专利权)人: | 中兴通讯股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06F17/16 |
代理公司: | 北京康信知识产权代理有限责任公司11240 | 代理人: | 余刚,梁丽超 |
地址: | 518057 广*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种数据处理方法及装置。其中,该方法包括对第一矩阵中的数据进行整合,得到第一数据文件;对第二矩阵中的数据进行整合,得到第二数据文件;将第二数据文件划分为多个数据块,将多个数据块分布式缓存为多个缓存块文件;将第一数据文件分别与各个缓存块文件进行运算,记录运算结果。通过本发明,避免了从硬盘文件中读取第二数据文件、把数据转换成内存对象的问题,以及重复读取第二数据文件,而导致数据处理速度降低的问题,提高了数据处理中矩阵运算的速度,从而提高了数据处理的速度。 | ||
搜索关键词: | 一种 数据处理 方法 装置 | ||
【主权项】:
一种数据处理方法,其特征在于,包括:对第一矩阵中的数据进行整合,得到第一数据文件;对第二矩阵中的数据进行整合,得到第二数据文件;将所述第二数据文件划分为多个数据块,将所述多个数据块分布式缓存为多个缓存块文件;将所述第一数据文件分别与各个所述缓存块文件进行运算,记录运算结果;其中,将所述第一数据文件分别与各个所述缓存块文件进行运算,包括:创建多个任务组,每个任务组中包含多个任务;将所述第一数据文件划分为多个数据文件,将各个所述数据文件分别输入到一个任务组中的各个任务,其中,同一任务组中的各个任务输入的数据文件相同,不同任务组组间的任务输入的数据文件不相同;在各个任务组的各个任务中分别将一个所述缓存块文件载入到内存,与输入的所述数据文件进行运算,其中,同一任务组中不同的所述任务使用不同的所述缓存块文件。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中兴通讯股份有限公司,未经中兴通讯股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201210180095.0/,转载请声明来源钻瓜专利网。
- 上一篇:数据管理系统及方法
- 下一篇:一种基于手势控制的输入方法、装置及系统