[发明专利]一种多源多模态海洋大数据的离线批处理方法及系统

摘要

本发明公开了一种多源多模态海洋大数据的离线批处理方法及系统，通过采集流数据；对流数据进行数据规整；分割处理流数据；构建调度分配模型，将流数据输入到计算节点中通过调度分配模型对计算节点进行任务调度处理；在数据反复倾斜的情况下也能快速的检测并隔离出错节点，并动态的调度分配新的节点接管出错节点的计算任务，缩减了处理时间，能够根据趋势时间的智能的调度各个计算节点，避免了在节点复活后有可能会反复的进行重复调用该复活/死亡频繁的各个节点从而陷入死锁。