[发明专利]智能算法优化的数据图书馆建设方法

说明书

本发明公开了一种智能算法优化的数据图书馆建设方法，基于大数据处理框架下，包括以下步骤：步骤S1、建立数据集分布式存储体系；步骤S2、搭建深度学习框架；步骤S3、预设智能优化算法对待训练算法模型进行优化训练。本发明缩短算法优化周期，降低人工智能门槛。

技术领域

本发明属于大数据与云计算领域。更具体地说，本发明涉及一种智能算法优化的数据图书馆建设方法。

背景技术

随着信息技术的蓬勃发展，信息化建设模式发生根本性转变，一场以云计算、大数据、物联网等技术为核心的人工智能浪潮风起云涌。数据平台建设也迅猛发展，但是目前大多数据平台基于传统的关系型数据库，服务对象为数据规模较小的中小企业，主要提供数据存储以及基本的信息交互功能，且只能满足关系型数据的存储要求，对于半结构化和非结构化数据束手无策。例如见中国专利：一种物流大数据平台，专利申请号为：CN201711260626.6,通过服务器数据中心接受数据并整合，将整合后的数据显示到显示端，集成用户和物流端的相互信息交流，提高物流端与用户端之间的信息交流；中国专利：一种智慧医疗信息集成平台，专利申请号：CN201410534797.3，包括卫生行政部门主导的区域内多家医院、社区诊所联合承建的总服务器，用于信息发布的医疗信息集成平台，用于医院、社区诊所用户登录验证发布信息的用户服务器终端，实现医疗信息实时查询；与此同时，近年兴起以hadoop、spark等分布式系统架构为核心的海量数据存储、计算的大数据平台。例如中国专利：基于Hadoop的数据处理方法，专利申请号：CN201710343155.9，主要使用异构硬件架设云基础设施服务层，基于多级容错的并行计算接口建立分布式计算架构，从而提高云计算的效率。但是此类数据平台往往作为企业大数据战略平台，其数据一般不对外开放且应用领域单一。因此实际意义上的共享数据平台少之又少，导致一方面有算法的科研机构缺少合适的试验数据，需重头获得试验数据，数据可重复利用率低，另一方面算法优化的过程中，需要人员实时跟踪、调整，费时费力。

发明内容

为了实现根据本发明的这些目的和其它优点，提供了一种智能算法优化的数据图书馆建设方法，基于大数据处理框架下，包括以下步骤：

步骤S1、建立数据集分布式存储体系；

步骤S2、搭建深度学习框架；

步骤S3、预设智能优化算法对待训练算法模型进行优化训练。

优选的是，所述步骤S1中具体步骤如下：

S11.建立基于Hadoop框架的分布式集群，优化HDFS数据分布存储阶段；

S12.根据数据集的领域进行分类、排序优化NameNode结构形成平台数据管理目录；

S13.将数据集进行分类并分为若干文件块，并分布于各个数据节点DataNode中。

优选的是，所述文件块的大小为64M，每个文件块中的内容均进行备份存储。

优选的是，建设方法中还包括数据安全处理。

优选的是，所述数据安全处理为数据脱敏、数据加密和数据权限管理中的一种或多种。

优选的是，所述步骤S2中，深度学习框架包括Tensorflow框架、Caffe框架以及Keras框架。

优选的是，所述Tensorflow框架的搭建依次包括定义添加神经层的函数、导入需要训练的数据、定义节点用于接受数据、定义神经层、定义optimizer使loss达到最小、对所有变量进行初始化并通过sess.run optimizer迭代多次进行学习；

其中，所述神经层包括隐藏层和预测层。

优选的是，Caffe框架的搭建依次包括对所有数据格式处理成caffe支持的格式、建立网络结构文件和参数文件；