[发明专利]用于学习人工智能实体的基于上下文的防火墙有效
申请号: | 201910342746.3 | 申请日: | 2019-04-26 |
公开(公告)号: | CN110460565B | 公开(公告)日: | 2021-06-15 |
发明(设计)人: | C.A.皮科弗;K.韦尔德马里亚姆;E.A.扎莫拉杜兰 | 申请(专利权)人: | 国际商业机器公司 |
主分类号: | H04L29/06 | 分类号: | H04L29/06;G06N20/00 |
代理公司: | 北京市柳沈律师事务所 11105 | 代理人: | 王珊珊 |
地址: | 美国纽*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 学习 人工智能 实体 基于 上下文 防火墙 | ||
提供了在学习过程期间检测和阻止可能导致人工智能(AI)实体向用户产生不期望的行为的内容。接收一组一个或多个AI实体的输入信息。基于从一组策略中选择的策略的规则和与信息语料库相关联的信息的学习特征来评估输入信息的特征。确定评估输入信息的特征的结果是否超过预定阈值。响应于确定评估输入信息的特性的结果超过预定阈值,基于输入信息的上下文,通过使用防火墙执行选择性过滤动作来过滤所述一组AI实体的输入信息。
技术领域
本公开总体上涉及人工智能,并且更具体地,涉及由防火墙基于防火墙确定信息的特征本质上是不适当的或攻击性的并且不应该由人工智能实体学习,来提供过滤动作,以防止学习人工智能实体接收信息。
背景技术
人工智能(Artificial intelligence,AI)是计算机或计算机控制的机器人执行通常与智能生物相关联的任务的能力。人工智能经常应用于被赋予智能过程的系统,这些智能过程是人类的特征,诸如推理、发现意义、归纳和从过去经验中学习的能力。自从计算机的发展以来,已经证明计算机可以被编程以执行非常复杂的任务,诸如例如,发现数学定理的证明或下棋。然而,尽管计算机处理速度和存储器容量不断提高,但目前还没有能够在更广泛的域(domain)或需要日常知识的任务中匹配人类灵活性的程序。另一方面,在执行某些任务时一些程序已经达到了人类专家的性能水平,使得AI存在于诸如例如医学诊断、搜索引擎和语音或手写识别的应用中。
许多不同形式的学习应用于AI。最简单的形式是通过试错法(trial and error)来学习。例如,用于解决象棋问题的计算机程序可以尝试随机移动,直到发现将死(checkmate)。然后,程序可以将该解决方案与棋子位置一起存储,以便下次计算机遇到相同的棋子位置时,它将调用该解决方案。一个更具挑战性的问题是实施所谓的泛化学习(learning by generalization)。泛化涉及将过去的经验应用于类似的新情况。例如,一个通过死记硬背来学习常规英语动词的过去时态的程序将无法产生诸如jump的单词的过去时态,除非之前已经出现了单词jumped。但是,能够泛化的程序可以学习添加“ed”规则,从而基于具有类似动词的经验来形成jump的过去时态。
此外,可以编写能够以人类语言回答问题和陈述的计算机程序。尽管这些程序中没有一个程序能够真正理解语言,但原则上,它们可以达到一个程度,即他们对语言的掌握与正常人无异。
发明内容
根据一个说明性实施例,提供了一种用于检测和阻止内容的计算机实现的方法,其中该内容可以在学习过程期间导致人工智能(AI)实体向用户产生不期望的行为。计算机接收一组一个或多个AI实体的输入信息。计算机基于从一组策略中选择的策略的规则和与信息语料库相关联的信息的学习的特征来评估输入信息的特征。计算机确定评估输入信息的特征的结果是否超过预定阈值。响应于计算机确定评估输入信息的特征的结果超过预定阈值,计算机使用防火墙通过基于输入信息的上下文执行选择性过滤动作来过滤该组AI实体的输入信息。根据其他说明性实施例,提供了一种用于检测和阻止内容的计算机系统和计算机程序产品,其中该内容可以在学习过程期间导致人工智能(AI)实体向用户产生不期望的行为。
附图说明
图1是其中可以实现说明性实施例的数据处理系统网络的图示;
图2是其中可以实现说明性实施例的数据处理系统的图;
图3是示出根据说明性实施例的人工智能(AI)输入信息管理系统的示例的图;
图4是示出根据说明性实施例的AI学习过程的示例的图;
图5A-图5B是根据说明性实施例的用于防止AI实体学习不适当信息的过程的流程图;和
图6是根据说明性实施例的用于检测和阻止内容的过程的流程图,其中该内容可以在学习过程中导致AI实体向用户产生不期望的行为。
具体实施方式
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国际商业机器公司,未经国际商业机器公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910342746.3/2.html,转载请声明来源钻瓜专利网。