[发明专利]一种基于深度强化学习的图书采访方法

权利要求书

1.一种基于深度强化学习的图书采访方法，其特征在于，包括：

步骤S1：获取图书馆历史书单数据、历史订单数据、历史借阅记录数据，并对上述数据进行预处理；

步骤S2：将历史书单数据与历史订单数据及历史借阅记录数据进行匹配，根据匹配结果将历史书单数据中的图书标记为未购买或购买n本后预定时间内总借阅的册次k；

步骤S3：将历史书单数据中图书的信息转化为向量的表示形式；

步骤S4：设计用于图书采访的深度强化学习模型，确定深度强化学习训练过程中的状态、动作、奖赏、惩罚及训练参数；步骤S4具体包括：

步骤S4.1：根据图书采访目标及输入和输出数据维度信息，确定用于图书采访的深度强化学习的具体模型；

步骤S4.2：设计深度强化学习模型中神经网络的结构、尺寸、神经元激活函数、损失函数及训练方法；

步骤S4.3：根据图书馆的特征、图书采访目标及深度强化学习模型，确定训练过程中的状态、动作、奖赏和惩罚，确定神经网络的初始权值、学习率和学习率衰减值；

步骤S4.3具体包括：

根据图书采访目标及数据维度选择合适的深度强化学习模型，在设计用于图书采访的深度强化学习模型中，状态取决于书单中图书的信息，动作即是否购买该图书及购买的册数，奖赏和惩罚即对是否购买及购买后图书的借阅情况是否达到预期进行刻画，训练参数即根据训练目标及实际情况确定的参数；

步骤S5：用步骤S3中处理好的数据对深度强化学习模型进行训练，更新、存储深度强化学习模型参数，得到训练好的深度强化学习模型；

步骤S6：将待处理书单中图书的信息转换后，输入训练好的深度强化学习模型，得到待处理图书的采购推荐结果。

2.如权利要求1所述的一种基于深度强化学习的图书采访方法，其特征在于，步骤S1具体包括：

步骤S1.1：获取图书馆历史书单数据、历史订单数据、历史借阅记录数据；

步骤S1.2：对上述数据进行预处理，包括格式转换和统一、空值填充、去除冗余和错误。

3.如权利要求1所述的一种基于深度强化学习的图书采访方法，其特征在于，步骤S2具体包括：

步骤S2.1：将历史书单数据与历史订单数据及历史借阅记录数据进行匹配；

步骤S2.2：如果历史书单数据中包含的图书出现在历史订单数据中，则继续匹配历史借阅记录数据，将历史书单数据中包含的图书标记为购买n本后预定时间内总借阅册次k，否则，将历史书单数据中包含图书的类别标记为未购买。

4.如权利要求1所述的一种基于深度强化学习的图书采访方法，其特征在于，步骤S3具体包括：

步骤S3.1：将历史书单数据中图书的信息进行分词，再得到每个词向量；

步骤S3.2：将历史书单数据中每一本图书的信息转换为特征向量。

5.如权利要求1所述的一种基于深度强化学习的图书采访方法，其特征在于，步骤S5具体包括：

步骤S5.1：将历史书单数据中图书的特征向量及标记购买借阅情况转换为深度强化学习模型的状态、采取的动作及奖赏或惩罚；

步骤S5.2：使用采集到并处理好的数据对深度强化学习模型采用离线的方式进行训练，同时更新和存储深度强化学习模型参数。

6.如权利要求1所述的一种基于深度强化学习的图书采访方法，其特征在于，步骤S6具体包括：

步骤S6.1：将待处理书单中图书的信息转换为深度强化学习模型的状态，输入深度强化学习模型；

步骤S6.2：深度强化学习模型根据训练得到的策略对输入的状态选择对应的动作。

7.如权利要求4所述的一种基于深度强化学习的图书采访方法，其特征在于，步骤S3.1中，历史书单数据中图书的信息包括图书的题目、作者、出版社、主题、简介。

8.如权利要求4所述的一种基于深度强化学习的图书采访方法，其特征在于，步骤S3.1中，对历史书单数据中图书信息进行分词并得到词向量的方法为：

将全部图书信息使用分词工具进行分词后作为词向量生成工具的语料库，再使用词向量生成工具将图书信息转换为预定维度的词向量。