[发明专利]一种行为引导资源投放策略生成方法及装置

权利要求书

1.一种行为引导资源投放策略生成方法，其特征在于，所述方法包括：

获取多个历史异常事件的历史事件信息，其中，所述历史事件信息中包括发生异常行为的历史用户在发生异常行为时的第一状态信息和接收到行为引导资源预设时间段之后的第二状态信息，以及所述历史用户对应的历史资源投放信息；

针对每个所述历史事件信息，确定所述第一状态信息对应的第一状态特征、所述第二状态信息对应的第二状态特征、历史资源投放特征以及历史资源投放效果特征；

基于每个历史事件信息对应的所述第一状态特征、所述第二状态特征、所述历史资源投放特征及所述历史资源投放效果特征，训练投放策略生成模型；

所述训练好的投放策略生成模型，用于基于目标用户的第一目标状态信息，生成针对所述目标用户的投放行为引导资源的目标投放策略。

2.根据权利要求1所述的方法，其特征在于，所述基于每个历史事件信息对应的所述第一状态特征、所述第二状态特征、所述历史资源投放特征及所述历史资源投放效果特征，训练投放策略生成模型，包括：

利用每个历史事件信息对应的所述第一状态特征、所述第二状态特征、所述历史资源投放特征及所述历史资源投放效果特征，对预先构建好的深度增强学习模型进行训练，得到使所述深度增强学习模型输出的行为引导资源的投放策略对应的行为变化期望最大的第一模型参数；

利用所述第一模型参数及所述深度增强学习模型，以及至少一个测试用户的第一测试状态信息，生成针对所述测试用户的投放行为引导资源的测试投放策略；

根据所述测试投放策略，对所述至少一个测试用户进行行为引导资源的测试投放，并确定测试投放的预设时间段之后，所述测试用户的第二测试状态信息；

根据所述第一测试状态信息、第二测试状态信息，以及预设的反向传播代价函数，对所述深度增强学习模型的参数进行更新，得到第二模型参数；

将参数为所述第二模型参数的深度增强学习模型作为训练好的投放策略生成模型。

3.根据权利要求2所述的方法，其特征在于，所述利用所述第一模型参数及所述深度增强学习模型，以及至少一个测试用户的第一测试状态信息，生成针对所述测试用户的投放行为引导资源的测试投放策略，包括：

根据所述至少一个测试用户的第一测试状态信息，确定每个所述第一测试状态信息对应的第一测试状态特征；

将每个所述第一测试状态特征输入至参数为所述第一模型参数的深度增强学习模型中，得到针对所述测试用户的投放行为引导资源的测试投放策略。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一测试状态信息、第二测试状态信息，以及预设的反向传播代价函数，对所述深度增强学习模型的参数进行更新，得到第二模型参数，包括：

根据所述第二测试状态信息，确定所述第二测试状态信息对应的第二测试状态特征；

根据所述第一测试状态特征及所述第二测试状态特征，确定所述测试用户对应的测试资源投放效果特征；

利用所述第一测试状态信息、第二测试状态信息、测试资源投放反馈特征，以及预设的反向传播代价函数，对所述深度增强学习模型的参数进行更新，得到第二模型参数。

5.根据权利要求1所述的方法，其特征在于，所述目标用户的数量为至少一个，所述训练好的投放策略生成模型，具体用于：

基于每个目标用户的第一目标状态信息，确定每个目标用户对应的第一目标状态特征；

将每个第一目标状态特征输入至所述行为引导资源投放策略生成模型中，得到针对全部目标用户的投放行为引导资源的目标投放策略。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

根据所述目标投放策略，对所述目标用户投放行为引导资源；

确定在根据所述目标投放策略，对所述目标用户投放行为引导资源预设时间段之后，每个目标用户的第二目标状态信息；

根据每个目标用户的所述第一状态信息、所述第二状态信息，以及预设的反向传播代价函数，对所述投放策略生成模型的参数进行更新。