[发明专利]一种基于MSVL的BP神经网络的构建和训练方法及系统

说明书

本发明属于BP神经网络技术领域，公开了一种基于MSVL的BP神经网络的构建和训练方法及系统，所述基于MSVL的BP神经网络的构建和训练方法包括：根据BP神经网络基本的层次化结构和属性行为特征，构建基于MSVL的BP神经网络的底层结构方法库；根据用户的定制需求，利用结构方法库中的MSVL结构体，构建BP神经网络的初始架构；读取样本数据，利用结构方法库中MSVL方法，对初始架构进行训练，得到BP神经网络的形式化架构。本发明涵盖了矩阵运算、反向传播、权值更新等多种神经网络系统的基本行为，可直接用于模型检测、插桩验证等形式化验证技术，并支持与这些行为相关的多方面性质的验证，从而系统的安全可信性能够得到有效的保障。

技术领域

本发明属于BP神经网络技术领域，尤其涉及一种基于MSVL的BP神经网络的构建和训练方法及系统。

背景技术

目前，随着神经网络系统的不断发展和广泛应用，这类系统是否安全可靠成为了一个人们越来越关注的问题。作为一种计算机系统，神经网络系统自身可能存在缺陷或漏洞，也可能遭到不同种类的恶意攻击，且这样的情形并不少见。尤其是许多系统应用在安全攸关的场景中，其细小的错误都可能导致严重的后果。2018年3月，美国亚利桑那州坦佩市一辆Uber无人驾驶汽车与行人发生碰撞，造成一名49岁女性重伤后救治无效死亡。2019年12月，一家名为Kneron的人工智能公司宣称使用3D面具突破了支付宝、微信的人脸识别系统，还骗过了国内某火车站的闸机，成功刷脸进站。

因此，检验并保障神经网络系统的安全性是非常必要的。目前，绝大多数神经网络系统采用测试的手段进行安全性检验。然而，测试不能确保系统不存在缺陷，而诸多的安全问题也说明了通过测试的系统仍不够可靠。另一种检验手段是形式化验证，采用模型检测、定理证明等形式化方法对系统满足预期性质进行严格的逻辑推导，能够保障系统的安全可信。

近年来，学术界对神经网络系统的形式化验证开展研究，形成了一些初步的技术。现有技术一面向BP神经网络，通过定义一组操纵对标准样本的邻域空间离散化，由此建立一组逻辑约束，并使用可满足性模理论逻辑求解方法来检验标准样本邻域空间中是否存在对抗样本。现有技术二面向BP神经网络和卷积神经网络，借助于由浮点多面体和区间所组成的抽象域及其变换操作，推导和检验这些网络的前条件、后条件和健壮性。现有技术三面向部署在云端的神经网络，通过一定的交互式证明协议实现了正确性的验证，但是对神经网络的结构做了一些限制，例如仅采用二次激活函数等。

在现有的神经网络形式化验证技术中，神经网络绝大多数是以Python、C等通用的程序设计语言所编写。这些语言不具备形式化的语义理论基础，不支持直接的数学逻辑推导，与形式化验证存在一定的技术鸿沟。这使得不同的验证技术不得不采用间接的方式，针对特定的神经网络和性质进行数学建模，并做出不同程度的简化限定。它们的技术内容较分散，适用范围偏小。

通过上述分析，现有技术存在的问题及缺陷为：待验证的神经网络采用非形式化的程序设计语言编写，缺乏数学逻辑基础，无法直接用于形式化验证，技术内容较分散，适用范围偏小，限定了各项神经网络验证技术只能针对特定方面的问题进行建模和推导，难以形成一套有机的方法理论体系。

解决以上问题及缺陷的难度为：解决上述技术问题的途径是采用形式化的方法来开发神经网络架构，包括网络的构建和训练。然而，神经网络的运行依赖于由机器学习而得到的各项参数，其行为被普遍认为是不透明、不可解释的。如何为其建立形式化的框架是不小的挑战。此外，神经网络的训练样本集和参数集往往规模庞大，这无疑增加了形式化的难度。

解决以上问题及缺陷的意义为：采用形式化的方法开发出的神经网络架构可直接用于形式化验证，这避免了非形式化的程序设计与语言与形式化的逻辑推导之间的技术鸿沟。此外，采用形式化方法开发出的神经网络架构支持神经网络的矩阵运算、反向传播、权值更新等多种行为，从而支持对神经网络多方面的性质进行检验，有助于形成一套有机的方法理论体系。