[发明专利]船舶数据处理方法、装置和船舶数据质量管理平台

说明书

本发明提供了一种船舶数据处理方法、装置和船舶数据质量管理平台，涉及船舶数据分析的技术领域，包括根据船舶数据的种类判断船舶数据是否为异常数据；对将异常数据剔除后的船舶数据进行可信度分析；将分析得到的可信度指标与对应的可信度阈值进行比对，并根据对比情况，进行相应处理操作，能够为船舶状态数据提供较为完善的清洗规则，使得清洗处理后的数据更加准确，适应于船舶应用的各种场景。

技术领域

本发明涉及船舶数据分析的技术领域，尤其是涉及一种船舶数据处理方法、装置和船舶数据质量管理平台。

背景技术

目前船舶智能化已经成为全球航运业的大势所趋，通过智能船舶的总体设计，搭载相关的智能应用，如智能航行、智能船体、智能机舱、智能能效等，实现船舶的辅助决策、远程遥控、无人自主等功能。上述智能应用的正常运行均需船舶相应状态数据。通过梳理船舶各智能应用对于数据采集、存储、分发、船岸传输等场景的功能需求，开发数据管理平台，对数据流进行常规的清洗、分发、存储、船岸回传，减少了各智能应用对于数据处理的需求，使其专注于业务本身的实现。

当前的数据清洗处理方式，一般包括依据固定不变的清洗规则，对具有缺失值、重复值、类型错误等异常数据进行剔除，但船舶状态数据具有随着时间周期进行变化的性质，因此当前的数据清洗方式，并不能适用于船舶领域中的多种应用场景，该方式无法确保清洗处理后的船舶状态数据的准确性。

发明内容

本发明的目的在于提供一种船舶数据处理方法、装置和船舶数据质量管理平台，能够为船舶状态数据提供较为完善的清洗规则，使得清洗处理后的数据更加准确，适应于船舶应用的各种场景。

第一方面，本发明实施例提供了一种船舶数据处理方法，包括：

根据船舶数据的种类判断所述船舶数据是否为异常数据；

对将所述异常数据剔除后的船舶数据进行可信度分析；

将分析得到的可信度指标与对应的可信度阈值进行比对，并根据对比情况，进行相应处理操作。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，根据船舶数据的种类判断所述船舶数据是否为异常数据的步骤，包括：

将所述种类的船舶数据与所述种类的船舶数据对应的预设缺失阈值进行对比，判断所述的船舶数据是否为缺失值；

通过所述船舶数据的数据采集时间判断所述船舶数据是否具有重复异常；

将所述种类的船舶数据的数据类型与所述种类的船舶数据对应的预设数据类型进行对比，判断所述的船舶数据是否具有数据类型异常；

将所述种类的船舶数据的指标参数与所述种类的船舶数据对应的预设指标阈值进行对比，判断所述的船舶数据是否具有异常的取值范围。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，对将所述异常数据剔除后的船舶数据进行可信度分析的步骤，包括：

通过多源数据对比方式，将采集获得的船舶数据与理论计算获得的船舶数据进行相似度比对；

当比对结果的相似度较高时，所述船舶数据的可信度较高。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，对将所述异常数据剔除后的船舶数据进行可信度分析的步骤，包括：

通过统计分析方式计算出预设时段的船舶数据对应的均值和标准差；

根据目标时刻采集获得的船舶数据与所述均值和所述标准差，进行相似度比对；

当比对结果的相似度较高时，所述船舶数据的可信度较高。