[发明专利]生物启发式好奇心认知发育系统及其运行方法

权利要求书

1.一种生物启发式好奇心认知发育系统，其特征在于：该系统认知模型以神经网络为基础，模拟人体大脑认知相关区域的协调机制，包括感知部分、评价部分、行为部分、价值衰减部分、好奇心部分、持续多巴胺调节部分，其中：

感知部分：表示为机器人的状态集合，相对应于大脑皮层中的感觉皮层；

行为部分：表示为机器人的输出行为集合，相对应于大脑皮层中的运动皮层；

评价部分：表示为机器人对当前状态的评价，相对应于基底神经节中的纹状体；

价值衰减部分：系统评价值随时间衰减，可以加快智能体的学习速度；

好奇心部分：在情绪的产生过程中，扣带皮层产生情绪感觉。好奇心具有情感和认知双重特征，我们以扣带皮层来作为好奇心的产生部位；

持续多巴胺调节部分：由黑质致密部所释放的持续多巴胺能用来使行为奖赏预测误差持续推动智能体学习更加精确的行为，加快智能体的学习进程。

2.根据权利要求1所述的生物启发式好奇心认知发育系统，其特征在于：评价部分中纹状体主要是预测生物体行为好坏的评价机制，定义评价函数如下:

J(t)＝r(t+1)+γr(t+2)+γ²r(t+3)+…

其中，γ∈[0,1]为折扣因子，r∈{0,-1}为环境给予系统的刺激，由于环境给予的刺激有正负的缘故，使得系统的评价函数J逐渐趋近于0，从而保证系统最终处于稳定状态。

3.根据权利要求1所述的生物启发式好奇心认知发育系统，其特征在于：价值衰减部分中具体衰减机制，定义价值衰减函数如下：

J(t)_new＝J(t)_old*(1-ψ)

其中，J(t)_old为机器人对t时刻状态的评价值，J(t)_new为计算好奇心时t时刻状态的评价值，ψ∈(0.01,0.1)为衰减因子，由于衰减因子的缘故，使得系统能快速的达到目标。

4.根据权利要求1所述的生物启发式好奇心认知发育系统，其特征在于：好奇心部分中，在情绪的产生过程中，扣带皮层产生情绪感觉，好奇心具有情感和认知双重特征，以扣带皮层来作为好奇心的产生部位，定义好奇心函数如下：

C(t)＝α(1-exp(-|r(t+1)+γJ(t+1)-J(t)_new|

其中，α∈(0,1)为权重系数。评价函数的预测误差的绝对值越大，智能体对环境的了解程度越小，好奇心越大；反之，好奇心越小。

5.根据权利要求1所述的生物启发式好奇心认知发育系统，其特征在于：持续多巴胺调节部分中多巴胺响应具体为：根据由纹状小体所决定的评价函数在t时刻的预测误差和由扣带皮层产生的好奇心信息进行处理，可以用下面公式来表示：

δ_DA(t)＝r(t+1)+γJ(t+1)-J(t)_new+C(t)

6.一种如权利要求书1-5任一项所述的生物启发式好奇心认知发育系统的运行方法，其特征在于，按照如下步骤进行：

(1)初始化：迭代学习步数初始值t＝0，迭代学习次数为step_max，初始化各个参数和突触权值，则实验开始时执行初始内部操作行为的概率相同；

(2)感知当前状态；

(3)在纹状小体中计算评价函数；

(4)评价函数的值随时间衰减；

(5)根据评价函数的预测误差计算好奇心C(t)；

(6)丘脑根据以上信息进行持续多巴胺调节评价值和行为值；

(7)由大脑运动皮层输出动作；

(8)重复执行(2)-(7)直到t＝step_max；学习结束。