（流程来自王树森《深度强化学习：AlphaGo》）

(资料图片仅供参考)

1. BC预训练策略网络

2. 通过策略梯度训练策略网络

3. 使用策略网络训练价值网络

4. 使用：（价值网络 - 策略网络）知道MCTS（蒙特卡洛树搜索）

----------------------------------------------------------------------------------------

策略函数（来自王树森《深度强化学习：策略学习》）

策略网络（来自王树森《深度强化学习：策略学习》）

softmax激活函数：让输出都是正数，且所有输出之和为1

（来自王树森《深度强化学习：AlphaGo》）

强化学习：需要奖励

模仿学习：不需要奖励

行为克隆是分类或回归

观测到当前状态

预测当前状态下下一步为各个动作的概率，得到361维向量p

假设真实动作为at* = 281

one-hot encode （门外汉 一脸懵）为361维向量y，其中281处为1，其余都为0

损失函数 交叉熵(y, p)

梯度下降更新网络

为什么要先使用BC预训练策略网络

在面对复杂且深广的新知识前，完全自学形成策略想法是需要花很长时间去探索、失败、总结。

使用BC思想，给定一个老师讲解那些难懂的概念，就可以快速学习到。

“师傅领进门，修行靠个人”。有了老师教学，自己不去动手学，那就是“眼睛学会了，手却学不会”。

数据准备

环境：

还是之前的简单数据，

# 为了简单，设置pos为index

pos=[0,  1,  2,   3,   4,   5,   6,   7,   8,   9,  10,  11, 12, 13]

fv = [10, 30, 80, 180, 330, 430, 480, 500, 450, 350, 200, 100, 50, 25]

先把这组数据测成功了，再使用create.c产生的数据，即之前torch.nn.Linear曲线拟合中的曲线

“专家轨迹”：传统算法“爬山法”，大步粗调，小步细调，震荡走，类似PID算法

(爬山算法)  初始 -(+4)->   -(+4)->   -(+4)->    -(-2)->   -(-2)->   -(-2)->   -(-2)->   -(+1)->   -(+1)->   -(+1)-> [7, 500]

expert_s = [[0, 10], [4, 330], [8, 450], [12, 50], [10, 200], [8, 450], [6, 480], [4, 330], [5, 430], [6, 480]]

需要多写几组，或者全部14条轨迹

动作

第一组数据少，+4, +2, +1, 0, -1, -2, -4

第二组pos 0 - 1000，有501组，先用+4, +2, +1, 0, -1, -2, -4，再用+20，+10, +5, +2, +1, 0, -1, -2, -5, -10, -20

模型

这里，不是图像，是离散的点数据，所以直接使用torch.nn.Linear，全连接、BP网络