[发明专利]一种基于强化学习实现矩形宏单元的布图规划方法和系统

说明书

一种基于强化学习实现矩形宏单元的布图规划方法，包含：根据公开数据集ispd2005整理宏单元和标准单元信息；用GCN对宏单元编码；将宏单元按照面积从大到小排序，将排好顺序的宏单元信息和宏单元编码作为双线性模型的输入，提取环境特征；根据宏单元大小计算掩模矩阵确定当前宏单元可摆放的范围；将环境特征作为强化学习策略网络的输入，策略网络输出宏单元摆放位置的概率；根据策略网络的输出和掩模矩阵确定宏单元的位置；奖励函数设为总线长、拥塞程度和布局密度的加权和。还包括一种基于强化学习实现矩形宏单元的布图规划系统。本发明在满足宏单元互相不相交的约束条件下，为用强化学习求解不同大小的矩形宏单元的布图规划问题提供了一种解决方案。

技术领域

本发明与芯片的物理设计有关，具体为用强化学习算法对芯片中的元件做布图规划，具体涉及一种基于强化学习实现矩形宏单元的布图规划方法和系统。

背景技术

芯片是电子设备最重要的组成部分，它承担着运算和存储功能。随着芯片制程工艺的不断进步，芯片面积更小，功耗更优，但是集成的晶体管数量变得更多，设计流程更加复杂，使得一个芯片的平均设计制造周期将近26周。在芯片制造流程中，芯片的物理设计是芯片设计流程中最耗时的一环，它直接影响了芯片的面积、功耗、性能。布图规划和布局是芯片物理设计中的重要组成部分，因此，开发出设计周期更短、功耗和性能更优的芯片设计方法显得尤为重要。

芯片布图规划问题，是二维矩形装箱问题的一个具体应用，并且是一个多目标的优化问题。布图规划问题，以每个节点的大小形状、引脚的位置和节点之间的连接关系作为输入，以最小化总线长、功耗、面积等为目标，将所有单元互不相交地摆放在芯片画布上。近些年，强化学习在决策问题中显现出了独特的优势，因此受到了广泛的关注。在2020年，Google团队将芯片布局过程与下棋类比，率先将强化学习应用在芯片布局中，缩短了芯片布局时间，并且达到了人类设计师的水平。

在强化学习实现芯片布图规划问题中，通常用0-1矩阵描述智能体的动作空间，这使得动作空间变得非常大，增加强化学习的训练难度。对于形状不完全相同的宏单元，用矩阵描述的动作空间，较大的宏单元容易造成宏单元相交，然而较小的宏单元容易造成空间浪费，使得布图规划结果不合理。芯片布图规划和布局的结果直接影芯片布线，在布图规划阶段估计布线拥塞程度，可以增加布线的成功率。因此，降低训练难度，获得合理的布图规划，以及对总线长、拥塞程度等优化目标的估计是在用强化学习方法进行布图规划设计的过程中需要解决的重要问题。

发明内容

本发明要克服现有技术的上述缺点，提供一种基于强化学习实现矩形宏单元的布图规划方法和系统。

基于强化学习实现不同大小的矩形宏单元的布图规划方法，包含如下步骤：

S1：根据宏单元、标准单元、网表等信息对宏单元和标准单元进行初始编码，然后根据节点初始编码和网表的图结构进一步得到宏单元的编码；

S2：根据宏单元的面积大小按照降序排列，确定强化学习中智能体的摆放宏单元的顺序；

S3：用规则网格将矩形芯片画布划分为若干个矩形区域，同时用矩阵中的每个元素与矩形区域一一对应，获得离散的芯片画布，矩阵中每个元素的值由策略网络决定，该矩阵是智能体的动作空间；

S4：根据动作空间和宏单元的大小和位置信息，用0或1对动作空间再次编码，获得掩模矩阵，然后根据掩模矩阵限制智能体的行动范围；

S5：根据宏单元和标准单元的位置通过虚拟布线，计算总线长、拥塞程度和布局密度，并取三者的加权和作为强化学习的奖励函数；

S6：取总线长、拥塞程度和布局密度的加权和作为强化学习的奖励函数，根据奖励函数用PPO算法训练强化学习模型。

进一步，步骤S1中将宏单元和标准单元的编码包含性质、宽、高、引脚数量、与其直接相连的宏单元数量和标准单元数量以及位置。