[发明专利]人工智能系统风险检测方法、装置、计算机设备与介质

说明书

本申请涉及人工智能的模型部署领域，具体涉及一种人工智能系统风险检测方法、装置、计算机设备和存储介质。所述方法通过运行待检测人工智能系统，获取待检测人工智能系统在运行中的各个风险评价指标的指标参数，根据各个风险评价指标的指标参数对人工智能系统进行多角度的量化检测，而后通过系统的源代码以及其用途，确定其对应的权重参数，综合考虑指标参数以及对应参数来得到待检测人工智能系统的运行风险参数，通过该运行风险参数来对人工智能系统的运行风险检测，来确保已运行的人工智能系统是安全可控的，在人工智能系统的应用过程中把握及规避风险，减少安全问题或者事件的发生。

技术领域

本申请涉及计算机技术领域，特别是涉及一种人工智能系统风险检测方法、装置、计算机设备和存储介质。

背景技术

随着计算机科学的发展，人工智能技术也在不断更新换代，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。

人工智能在帮助人们的生活更便捷，舒适的同时，也带来了巨大的安全风险，而这些安全风险可能不仅会造成财产的损失，甚至会危害人类的生命安全，目前，业界对于人工智能算法/模型、数据等的风险尚未有足够的认知和科学检测方法，无法对其风险进行检测。

发明内容

基于此，有必要对于人工智能算法/模型、数据等的风险尚未有足够的认知和科学检测方法，无法对其风险进行检测的技术问题，提供一种能够有效对人工智能风险进行检测的人工智能系统风险检测方法、装置、计算机设备和存储介质。

一种人工智能系统风险检测方法，所述方法包括：

启动待检测人工智能系统；

运行所述待检测人工智能系统，获取所述待检测人工智能系统在运行中的各个风险评价指标的指标参数；

识别所述待检测人工智能系统的源代码以及应用领域，根据所述待检测人工智能系统的源代码以及应用领域，获取待检测人工智能系统各风险评价指标对应的检测权重参数；

根据各个风险评价指标的指标参数以及各风险评价指标对应的检测权重参数，获取当前待检测人工智能系统的运行风险参数；

当所述运行风险参数大于预设风险阈值时，判定所述待检测人工智能系统存在安全风险。

在其中一个实施例中，所述风险评价指标包括代码安全风险参数、模型准确度、模型可解释度、模型敏感度以及模型输入数据攻击性，所述运行所述待检测人工智能系统，获取所述待检测人工智能系统测试在运行中的各预设检测时刻对应的各个风险评价指标包括：

获取所述待检测人工智能系统对应源代码，根据所述源代码获取代码安全风险参数；

获取带标记预设测试样本数据，将所述测试样本数据输入所述待检测人工智能系统，获取所述带标记预设测试样本数据对应输出数据，根据所述输出数据与对应的预测测试样本数据所带标记，获取模型准确度；

根据所述输出数据与对应的预测测试样本数据所带标记，获取所述输出数据中的出错数据，获取所述出错数据对应的错误解释信息，根据所述错误解释信息获取模型可解释度；

根据所述待检测人工智能系统的出错数据与所述待检测人工智能系统的应用领域，获取所述模型敏感度；

获取所述待检测人工智能系统对应依赖数据集，根据所述依赖数据集获取所述模型输入数据攻击性。