[发明专利]分布式数据处理方法、装置、电子设备及存储介质在审
| 申请号： | 202211452286.8 | 申请日： | 2022-11-21 |
| 公开（公告）号： | CN115934317A | 公开（公告）日： | 2023-04-07 |
| 发明（设计）人： | 陶劲;曹梦雪;杨伏敏 | 申请（专利权）人： | 北京锐安科技有限公司;荆州市公安局;贵阳市公安局 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50;G06F9/54 |
| 代理公司： | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人： | 宋南 |
| 地址： | 100089 北京市海淀区西*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种分布式数据处理方法、装置、电子设备及存储介质，涉及计算机技术领域，在进行分布式数据处理时，创建了采用Spark作为分布式计算执行引擎的并行迭代器，并行迭代器包括线程数为计算并行度的计算线程组，当启动并行迭代器时，从输入迭代器中拉取数据至输入缓冲池，由计算线程组通过数据处理函数对输入缓冲池中的数据进行数据处理，将处理结果推入输出缓冲池，并由输出迭代器对输出缓冲池中的处理结果进行输出。如此基于采用Spark作为分布式计算执行引擎的并行迭代器，进行多线程的数据处理，具备较高的计算并行度，同时避免了数据重分区，从而减小了计算开销。 | ||
| 搜索关键词： | 分布式 数据处理 方法 装置 电子设备 存储 介质 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京锐安科技有限公司;荆州市公安局;贵阳市公安局，未经北京锐安科技有限公司;荆州市公安局;贵阳市公安局许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202211452286.8/，转载请声明来源钻瓜专利网。
- 上一篇：一种高反应速度高附着力的高固环氧底漆及其制备方法
- 下一篇：电机
