[发明专利]应用于AI算法工程化、系统化的分布式框架

权利要求书

1.一种应用于AI算法工程化、系统化的分布式框架，其特征在于：整个分布式框架分为任务队列及调度服务、视频切割服务、算法分析服务、数据中心四个大部分；

1)任务队列及调度系统，视频文件内容输入之后首先会进入任务队列排队，等待调度程序处理；

2)视频切割服务，当有算法服务器空闲时，视频文件被从队列中取出，但并不会马上放到算法服务器上执行分析，需要先经过视频切割服务处理视频文件；加入这一个服务是对单个视频的分析进行提速；

3)算法分析服务，这里是最终执行深度学习算法的服务器，同时对于机器上的gpu和cpu的调度也在这里实现，单台物理机器上通常会配置多个gpu核和cpu核，具体针对硬件资源的使用在调用算法前由部署在机器上调度算法来完成，同时针对算法执行过程进行监控将执行状态反馈到前端显示，最后算法执行的结果会通过回调将结果反馈到下面的数据中心；

4)数据中心，在数据中心将视频的分析结果进行汇总，合并到同一个视频中的结果，处理成结构化的数据之后存储到数据库中，方便以后的检索。

2.如权利要求1所述的应用于AI算法工程化、系统化的分布式框架，其特征在于：为了方便实现1)-4)分布式方式，需要部署算法服务器；整个系统的部署采用docker的方式，通过将算法程序都做成docker封装好，在需要的时候将docker部署启动服务。

3.如权利要求2所述的应用于AI算法工程化、系统化的分布式框架，其特征在于：1)步骤中，队列系统的实现采用rabbitmq工具，采用队列的方式方便在遇到大量视频输入时，保证后端的服务能不受冲击；同时通过调度系统的后台观察到当前的任务量和状态，以帮助运维人员扩展机器应对分析任务；另外队列系统使得各个服务之间很好的解耦，保证各自的开发和运行不受影响。

4.如权利要求3所述的应用于AI算法工程化、系统化的分布式框架，其特征在于：2)步骤中，将视频文件分成多个视频，分发给多台算法服务器同时执行分析，减少单个视频的分析时间，具体减少的倍数取决于算法服务器的数量，为了保证最后分析结果的连续性，在切割时采取比较的策略，用部分重叠时间的方式；最后再将小文件的分析结果通过回掉返回给存储服务器进行处理。

5.如权利要求4所述的应用于AI算法工程化、系统化的分布式框架，其特征在于：4)步骤中，数据库同时放到elasticsearch这类的搜索系统中，做成一个视频检索系统，存储服务最后分析完成的状态，反馈到前端系统，通知用户分析完成，至此整个分析任务完成。