[发明专利]一种基于分布式光纤测温原理的海底电缆埋深估计算法

说明书

本发明提供一种基于分布式光纤测温原理的海底电缆埋深估计算法，是通过采集得到的光纤温度数据并基于bagging的集成学习框架的计算法，集成学习框架包括数据解析模块、数据库IO模块、模型训练模块；数据解析模块，用于估计相对温度，将其存入分布式数据库中，作为后续计算的数据源；数据库IO模块，用于原始数据和预处理的因子数据的存取；模型训练模块，用于对现有因子数据的模型训练，利用因子数据的相关程度以及权值，构建学习网络；本发明可节省劳动力，减少数据处理时间，提高数据处理效率。

技术领域

本发明涉及一种海底电缆埋深估计算法领域，尤其是基于分布式光纤测温原理的海底电缆埋深估计算法。

背景技术

随着经济社会的不断发展，各类海上和海底工程项目的建设都在有序进展，方兴未艾，但是相对于陆地，人类在水下环境工作的困难和危险程度都要更高，特别是海洋环境更为复杂，也更容易遇到意外风险；目前在使用的海底埋深方法有：有限元技术和工程类比法，通过气象、水文和环境条件获得水利参数值等进行海底埋深计算，但是要据此建立分析模型，进行动力学计算，比较复杂。

发明内容

为解决上述问题，本发明提供一种基于分布式光纤测温原理的海底电缆埋深估计算法，可节省劳动力，减少数据处理时间，提高数据处理效率。

为解决上述技术问题，本发明的实施例提供一种基于分布式光纤测温原理的海底电缆埋深估计算法，所述估计算法是通过采集得到的光纤温度数据并基于bagging的集成学习框架的计算法，所述集成学习框架包括数据解析模块、数据库IO模块、模型训练模块；

所述数据解析模块，用于采集温度设备应用程序接口API在线生成的原始二进制文件，解析生成原始的频率数据，通过洛伦兹公式对频率散点进行曲线拟合，再通过梯度下降法生成拟合曲线，最后通过估计得到的中心频率与基线频率进行对比，估计出相对温度，将其存入分布式数据库中，作为后续计算的数据源；

所述数据库IO模块，用于原始数据和预处理的因子数据的存取；

所述模型训练模块，用于对现有因子数据的模型训练，利用因子数据的相关程度以及权值，构建学习网络。

其中，所述预处理的因子数据，通过数据库中现有的原始数据，使用特征工程设定的相关计算规则，量化每个设备属性特征的相关程度，生成一系列基于原始数据得到的模型因子和每个因子的权值。

其中，所述因子和权值数据同时应用于后台模型计算以及在数据库中备份中。

其中，所述模型训练模块主要包括分类引擎和回归引擎，所述分类引擎用于对现有因子数据的模型训练，利用因子数据的相关程度以及权重值，构建集成学习网络，所述集成学习网络包括7种分类模型，对于每一个分类场景，各模型以bagging的方式组合，生成埋深数值，所述回归引擎以热力学有限元分析模型为核函数，利用梯度下降法分布式计算并结合特征因子回归估计相应的埋深，并与所述分类引擎的埋深数值进行对比。

其中，所述各模型的训练是同时进行的，每个模型产生的数据分布式存储于数据库各自的表中，所述模型训练的结果用于对电缆状态和周边海况的发展趋势和动向进行预测。

其中，所述梯度下降法分布式计算单元采用分布式处理功能模块Hadoop平台对温度数据实现分布式处理，所述Hadoop平台中的MapReduce机制包括映射Map过程和化简Reduce过程，所述Map过程和化简Reduce过程是对原始数据进行有效分割和重组。

其中，所述梯度下降法分布式计算步骤如下：

（一）得到采样点的组合银子数据：使用Map操作并行地将原始因子转换为可读的数据格式，给不同服务器分配互不重复的采样点，并对其按照顺序编号，对这些采样点的因子数据进行预处理和特征工程，剔除明显的错值缺失值，得到等长等宽的组合因子矩阵数据；