[发明专利]一种多级联动人工智能平台样本模型透明共享装置

说明书

本发明提供一种多级联动人工智能平台样本模型透明共享装置，包括：包括：全局目录服务子系统、至少一个样本模型透明共享子系统以及至少一人工智能平台；人工智能平台与所述样本模型透明共享子系统一比一配对部署；每个样本模型透明共享子系统均连接至所述所述全局目录服务子系统；通过全局目录服务子系统维护全部的样本模型目录，确保一致性；通过样本模型透明共享子系统接管来自本地人工智能平台的请求，并通过全局目录服务子系统协同，查询全网数据分布，再通过样本模型透明共享子系统进行样本模型数据的存储以及同步传输，解决跨区域多级人工智能平台海量样本模型数据透明共享、安全共享、高效传输的相关需求。

技术领域

本发明涉及人工智能技术领域，特别涉及一种多级联动人工智能平台样本模型透明共享装置。

背景技术

人工智能技术日渐成为推动生产力发展，改变生产作业模式，提高生产效率的关键要素。为支撑人工智能应用的的规模化开发和运行，大型企业也纷纷研发、上线了各自的“人工智能平台”，实现人工智能相关能力的汇总与融合，为包括人脸身份验证、流程机器人、知识检索、风险防控等各类企业人工智能应用场景提供支撑。

所谓人工智能平台，通常由“两库一平台”构成，及样本库、模型库和运行平台。其中，样本库作为存储和管理各专业、各类型样本资源的组件，依托样本入库、样本预处理、样本标注、样本标签管理和样本服务目录等功能，为人工智能模型训练提供样本资源；模型库作为存储和管理各专业通用和专用模型的组件，提供各类通用及电力专用算法模型，依托模型测试、镜像封装、版本管理、模型上传、模型下载和模型服务目录等功能，为人工智能应用提供智能模型资源；运行平台提供模型导入、模型校验、模型部署、服务发布和云边协同等功能，支撑模型推理和应用集成。

人工智能平台中包含的各类数据样本、模型，需要投入大量的智力资源和人力劳动制作。无论是外购或自研，都希望能在整个企业范围内集约使用，避免重复采购或研发。另一方面，对于包括中央企业等大型企业而言，其分支生成机构分布在全国乃至全世界，应用人工智能技术的网络环境包括物理隔离的内网、外网及互联网，应用环境包括企业内部和作业现场，从实时访问的性能和应用推广难度等角度考虑，无法靠一套人工智能平台为所有用户提供服务，而需要在不同的分支结构、网络中部署人工智能平台，从而大型企业有很强的意愿打通各个部署点的人工智能平台，实现多级人工智能平台间数据样本和模型文件的透明共享。

如图1所示，大型企业多级人工智能平台间样本模型透明安全共享需求；针对面向大企业的多级人工智能平台部署及多级平台间样本模型的透明安全共享难点问题，目前存在的技术难点主要包括：

(1)难以透明共享：需要在多级人工智能平台之间(包括总部、地区中心、边缘侧作业现场等)、不同网络之间(内网、外网、互联网)共享所有人工智能模型、样本数据，为所有用户提供统一的目录及访问手段。如何面向大量重复数据存储的情况下，让不同区域的用户可以访问全网的模型和样本，是需要考量的问题；

(2)难以实现安全规范统一遵从：不同级别平台、网络有不同的数据安全规范和特殊装置(防火墙、信息安全隔离装置)，这对实现跨网络级别的模型样本共享带来挑战：不同网络的“密级”要求不同，多级联动的人工智能平台需要满足不同网络区域的密级规范，提供一致、完整的支持。大型企业的网络一般会涉及三种：物理隔离的专有信息网络(内网)、逻辑隔离的专有信息网络(外网)和互联网。在三种网络中，互联网区域不能以任何形式存储使用涉密数据、外网可以使用及缓存低密级的文件、内网则可以使用及长期保存所有密级文件；

(3)对数据传输的传输性能传输及完整性校验：多级人工智能平台需要传输的数据分两类，一是单体GB级别的模型大文件，二是数量众多但单个文件较小的数据样本文件(如图片、音频等)。在不同级别平台，不同网络环境之间，如何充分利用网络带宽和信息安全隔离装置带宽，实现GB级别大模型和KB级别小样本文件的高效传输共享，也是需要整体考虑的问题。