[发明专利]一种社交网络舆论演变方法

说明书

本发明提供一种社交网络舆论演变方法，属于强化学习方法领域。本发明社交网络舆论演变方法包括两类智能体，分别为模拟社交网络中普通大众的Gossiper类智能体和模拟社交网络中以吸引普通大众为目的的媒体或公众人物的Media类智能体，其中，所述Media类智能体采用所述连续动作空间上的纳什均衡策略计算对其回报最优的观念，更新其观念并在社交网络中广播。本发明的有益效果为：在与其它智能体交互的过程中最大化自己的利益，并最终能学习到纳什均衡。

技术领域

本发明涉及一种纳什均衡策略，尤其涉及一种连续动作空间上的纳什均衡策略，还涉及一种基于所述连续动作空间上的纳什均衡策略的社交网络舆论演变模型。

背景技术

在连续动作空间的环境中，一方面，智能体对动作的选择是无限的，传统的基于Q的表格类算法也无法存储无限多的回报的估计；另一方面，多智能体环境中，连续的动作空间也会增加问题的难度。

在多智能体强化学习算法领域，智能体的动作空间可以是离散的有限集，也可以是连续的集合。因为强化学习的本质是通过不断的试错来寻找最优，而连续的动作空间具有无穷多的动作选择，而多智能体环境又增加了动作空间的维度，这使得一般的强化学习算法很难学习到全局最优(或均衡)。

目前大部分算法都是基于函数逼近技术解决连续问题，这类算法可分为两类：值近似算法[1-5]和策略近似算法[6-9]。值近似算法探索动作空间并根据回报估计对应的值函数，而策略近似算法将策略定义为连续动作空间上的概率分布函数并直接学习策略。这类算法的性能取决于对值函数或者策略的估计的准确性，在处理复杂问题如非线性控制问题时往往力不从心。此外，还有一种基于采样的算法[10、11]，这类算法维持一个离散的动作集，然后使用传统离散类算法选择动作集中的最优动作，最后根据一种重采样机制更新动作集从而逐渐学习到最优。这类算法可以很方便的与传统离散类算法结合，缺点是算法需要较长的收敛时间。上述所有算法都是以计算单智能体环境中的最优策略为目标设计的，并不能直接应用在多智能体环境的学习中。

近年来很多工作使用智能体仿真技术研究社交网络中的舆论演变[12-14]。给定的不同组具有不同观念分布的群体，研究群体在相互交往过程中其观念最终是会达成共识，或者两级分化还是始终处于混乱状态[15]。解决这一问题的关键是如何了解舆论演变的动态，从而得到引发舆论走向一致的内在原因[15]。针对社交网络中的舆论演变问题，研究者提出了多种多智能体学习模型[16-20]研究了不同信息共享或交换程度等因素对舆论演变的影响。其中[21–23]研究了不同信息共享或交换程度等因素对舆论演变的影响。[1424-28]等工作采用演化博弈论模型来研究智能体的行为(例如背叛和合作)如何从同伴互动中演变而来。这些工作对智能体的行为建模，并假设所有智能体都是相同的。然而，在实际情况中，个体在社会中会扮演不同的角色(例如，领导者或追随者)，而这根据上述方法是不能准确建模的。为此，Quattrociochi等人[12]将社交群体分为媒体和大众两部分并分别建模，其中大众的观念受其追随的媒体以及其它大众影响，而媒体的观念受媒体中的佼佼者影响。随后，Zhao等人[29]提出了一个基于领导追随者(leader-follower)类型的舆论模型来探索舆论的形成。在这两个工作中，智能体观念的调整策略都是模仿领导者或者成功的同行。基于模仿的相关工作还有Local Majority[30]、Conformity[31]和ImitatingNeighbor[32]。然而，现实环境中，人们在做决策中采取的策略要比简单的模仿复杂的多。人们往往是通过不断的与未知环境交互，并结合自己以掌握的知识，来决策自己的行为。此外，基于模仿的策略也不能保证算法能够学习到的是全局最优，因为其智能体策略的好坏要取决于领导者或者被模仿者的策略，而领导者的策略也并不都是最好的。

发明内容

为解决现有技术中的问题，本发明提供一种连续动作空间上的纳什均衡策略，本发明还提供了一种基于所述连续动作空间上的纳什均衡策略的社交网络舆论演变模型。

本发明包括如下步骤：