容县建设工程交易中心网站wordpress 取消赞

容县建设工程交易中心网站,wordpress 取消赞,建设电影网站视频,宣传部网站建设方案深度强化学习算法#xff1a;DDPG TD3 SAC 实验环境#xff1a;机器人MuJoCo在让机器人学会倒立行走这件事上#xff0c;MuJoCo仿真环境就像个严苛的体育教练。当我在凌晨三点盯着屏幕上抽搐的机械臂时#xff0c;突然意识到深度强化学习算法之间的差异#xff0c;可能比咖…深度强化学习算法DDPG TD3 SAC 实验环境机器人MuJoCo在让机器人学会倒立行走这件事上MuJoCo仿真环境就像个严苛的体育教练。当我在凌晨三点盯着屏幕上抽搐的机械臂时突然意识到深度强化学习算法之间的差异可能比咖啡和红牛的区别还要重要。DDPG初恋总是刻骨铭心第一次看到DDPG的Actor网络结构时我仿佛看到了机器人控制世界的入场券。这个专为连续动作空间设计的算法用双网络结构玩起了演员-评论家的二人转class Actor(nn.Module): def __init__(self, state_dim, action_dim): super().__init__() self.fc1 nn.Linear(state_dim, 256) self.fc2 nn.Linear(256, 256) self.action_out nn.Linear(256, action_dim) def forward(self, x): x F.relu(self.fc1(x)) x F.relu(self.fc2(x)) return torch.tanh(self.action_out(x)) # 输出-1到1之间的动作这个输出tanh激活的设计很有意思相当于给机器人的关节运动加了物理限制。但就像初恋总有遗憾DDPG的Critic容易对Q值过度乐观导致训练后期策略突然崩盘——这感觉就像看着好不容易学会走路的机器人突然开始跳机械舞。TD3给算法戴上防抖云台当我在某次实验中发现目标Q值波动得像心电图时TD3的三个绝活拯救了局面。特别是它的双Q网络设计像给算法装上了稳定器q1 self.q_net1(state, action) q2 self.q_net2(state, action) target_q torch.min(q1_target, q2_target) self.policy_noise.clamp(-self.noise_clip, self.noise_clip)这个取最小值的操作像极了甲方总选报价低的供应商。加上延迟策略更新让我的机械臂终于能稳定地捡起虚拟乒乓球——虽然十次里还是会有八次把球拍甩飞。SAC佛系机器人的修炼手册SAC的最大熵理论让我想起少林寺的扫地僧。这个算法不追求即时最大回报反而鼓励探索各种可能# SAC的温度系数自动调节 alpha_loss -(self.log_alpha * (log_prob self.target_entropy).detach()).mean() alpha self.log_alpha.exp()这个自动调节的温度参数α就像智能空调的温度控制器。在机械臂抓取任务中我亲眼看到它从胡乱挥舞到突然开窍的全过程——虽然开窍后的动作看起来还是像在打太极拳。实战中的玄学时刻在HalfCheetah环境中测试时DDPG的前1000步表现惊艳TD3在中后期稳如老狗SAC则像突然顿悟的学霸。有次在随机种子固定的情况下SAC训练出的猎豹居然学会了用尾巴保持平衡这让我怀疑代码里是不是藏了外星科技。看着三种算法在同样的环境中走出不同的人生轨迹突然明白强化学习和养孩子其实差不多——给足探索空间适当设置约束剩下的就交给时间和随机种子吧。只是当看到TD3训练出的机器人终于完成完美后空翻时我还是忍不住把咖啡泼在了键盘上。