[发明专利]一种数据处理方法及装置有效
| 申请号： | 201210180095.0 | 申请日： | 2012-06-04 |
| 公开（公告）号： | CN103455518B | 公开（公告）日： | 2018-01-02 |
| 发明（设计）人： | 张东涛;黄先进;缪贵海 | 申请（专利权）人： | 中兴通讯股份有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30;G06F17/16 |
| 代理公司： | 北京康信知识产权代理有限责任公司11240 | 代理人： | 余刚,梁丽超 |
| 地址： | 518057 广*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 数据处理 方法 装置 | ||
1.一种数据处理方法，其特征在于，包括：
对第一矩阵中的数据进行整合，得到第一数据文件；
对第二矩阵中的数据进行整合，得到第二数据文件；
将所述第二数据文件划分为多个数据块，将所述多个数据块分布式缓存为多个缓存块文件；
将所述第一数据文件分别与各个所述缓存块文件进行运算，记录运算结果；
其中，将所述第一数据文件分别与各个所述缓存块文件进行运算，包括：创建多个任务组，每个任务组中包含多个任务；将所述第一数据文件划分为多个数据文件，将各个所述数据文件分别输入到一个任务组中的各个任务，其中，同一任务组中的各个任务输入的数据文件相同，不同任务组组间的任务输入的数据文件不相同；在各个任务组的各个任务中分别将一个所述缓存块文件载入到内存，与输入的所述数据文件进行运算，其中，同一任务组中不同的所述任务使用不同的所述缓存块文件。
2.根据权利要求1所述的方法，其特征在于，所述各个任务组在多个运算节点上执行，其中，不同的所述运算节点执行不同的所述任务组。
3.根据权利要求2所述的方法，其特征在于，所述各个任务组中的各个任务在多个运算节点上执行，其中，不同的所述运算节点执行不同的所述任务。
4.根据权利要求2或3所述的方法，其特征在于，所述缓存块文件的大小不大于所述运算节点的内存大小。
5.一种数据处理装置，其特征在于，包括：
第一整合模块，用于对第一矩阵中的数据进行整合，得到第一数据文件；
第二整合模块，用于对第二矩阵中的数据进行整合，得到第二数据文件；
拆分模块，用于将所述第二数据文件划分为多个数据块；
缓存模块，用于将所述多个数据块分布式缓存为多个缓存块文件；
处理模块，用于将所述第一数据文件分别与各个所述缓存块文件进行运算，记录运算结果；
其中，所述处理模块包括：第二创建单元，用于创建多个任务组，每个任务组中包含多个任务；
拆分单元，用于将所述第一数据文件划分为多个数据文件；第二输入单元，用于将各个所述数据文件分别输入到一个任务组中的各个任务，其中，同一任务组中的各个任务输入的数据文件相同，不同任务组组间的任务输入的数据文件不相同；第二处理单元，用于在各个任务组的各个任务中分别将一个所述缓存块文件载入到内存，与输入的所述数据文件进行运算，其中，同一任务组中不同的所述任务使用不同的所述缓存块文件。
6.根据权利要求5所述的装置，其特征在于，所述第二处理单元在多个运算节点上执行所述各个任务组，其中，不同的所述运算节点上的第二处理单元执行不同的所述任务组。
7.根据权利要求6所述的装置，其特征在于，所述缓存块文件的大小不大于所述运算节点的内存大小。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中兴通讯股份有限公司，未经中兴通讯股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201210180095.0/1.html，转载请声明来源钻瓜专利网。
- 上一篇：数据管理系统及方法
- 下一篇：一种基于手势控制的输入方法、装置及系统
