Diffusion_RL_Explore

项目任务：

GPT给的实现方案: https://chatgpt.com/share/6864ed4c-decc-800c-b9ad-3b7cb0d3adc0

学习目标：

1.学习生成模型，Diffusion的原理、code

2.复习强化学习，online\offline, on-policy\off-policy, model-based\model-free, MDP, DPO, PPO, GRPO

3.理解Diffusion如何和Reinforcement Learning有联系，分清楚在强化学习任务上用Diffusion，和是在生成任务中采用强化学习，二者的区别。

4.扩散+强化复现代码，看看有没有新问题或优化方案，写一篇论文。AAAI倒计时30天。

学习资料：

Diffusion：https://lilianweng.github.io/posts/2021-07-11-diffusion-models/

RL-Diffusion: 用强化学习做生成任务，学习建模方式，DDPO等算法

• paper https://arxiv.org/pdf/2305.13301
• code https://github.com/jannerm/ddpo

Diffuser：最早的规划工作 应该也有toy example

• post https://diffusion-planning.github.io
• paper https://arxiv.org/pdf/2205.09991
• code 1) https://huggingface.co/docs/diffusers/main/en/using-diffusers/rl 2) https://github.com/jannerm/diffuser
• 讲解 https://ayushtues.medium.com/rl-with-diffusion-i-d64c6e96d5ed

QSM：一个24年的新工作 YiMa 这个里面有carpole实验，可以复现

• code https://github.com/Alescontrela/score_matching_rl

• paper https://arxiv.org/pdf/2312.11752

Diffusion Policy: 机器人领域路径规划的工作

• code https://github.com/real-stanford/diffusion_policy
• paper https://arxiv.org/pdf/2303.04137v4

GenPO: on-policy 轨迹规划

• paper https://arxiv.org/pdf/2505.18763
• 讲解 https://zhuanlan.zhihu.com/p/1915431095794632653

…… ……

carpole RL方法：https://www.tensorflow.org/tutorials/reinforcement_learning/actor_critic?utm_source=chatgpt.com&hl=zh-cn

知识整理：

扩散模型与强化学习的融合思路在于——将去噪采样当作策略执行，并将外部目标（如路径平滑度、避障安全性）作为奖励，借助PG算法直接优化生成过程。
例如，可在采样中注入分类器梯度，引导生成过程满足特定约束或回报函数，使生成的轨迹更具任务相关性。

为什么要用扩散模型？生成模型能给出更丰富的结果、采样过程更连续

为什么引入强化学习？用Reward作为生成模型的condition。

原始的RL，序列的生成时autoregressive的, 即we observe a state and then predict the best action to go to the best next state. 如果我们生成整个序列in a single shot. 即we are generating an entire sequence of states connected in time together.

Trajectory Optimization: not considering a state one by one but looking at the entire trajectory of states at once and optimizing the trajectory to have a high cumulative reward.

扩散模型×RL 的融合优势

1. 多模态轨迹生成
   • 扩散模型天然可表示多峰分布，不会像单峰高斯策略那样只能输出一条“平均”轨迹。
2. 平滑自然
   • 去噪过程连续，生成的动作序列在时序上具有内在的平滑性和连贯性。
3. 条件灵活
   • 可在 UNet 输入端加各种条件（初始状态、目标位置、障碍物信息等），一体化地处理不同场景。
4. 易于微调
   • 先离线学习轨迹分布，再在线用小量策略梯度更新，既保留了离线数据的多样性，又能快速适应回报信号。