RL for LLM

知乎文章 https://zhuanlan.zhihu.com/p/1916994928132751692 学习笔记

Diffusers

原始的RL，序列的生成是autoregressive的, 即we observe a state and then predict the best action to go to the best next state. 如果我们生成整个序列in a single shot. 即we are generating an entire sequence of states connected in time together.

Trajectory Optimization: not considering a state one by one but looking at the entire trajectory of states at once and optimizing the trajectory to have a high cumulative reward.

背景知识

Model-Free RL：不显式学习环境的状态转移概率和奖励函数，直接学习策略或价值函数，如Q-learning、Policy Gradient等.

Model-Based RL：先学习一个环境模型（transition model 和 reward model），再利用该模型进行规划或模拟推演，以指导策略优化。通过“先学模型、后规划”的思路，显著提高了样本效率并增强了解释性，但也带来了模型偏差与计算复杂度的挑战。

model-based vs. model-free：并不矛盾，而是趋于融合

Model-based RL：核心在于先构建环境模型，再做规划。
Model-free RL：不建模型，直接围绕经验数据去学价值函数或策略。

虽然二者在“原理”上不同，实际的现代“基于模型”强化学习，往往会大量 in-herit（继承、借用）model-free 的技术，即用监督学习拟合模型（简单有效），再用 policy gradient + value function（避免对抗性规划），或者用简单的随机搜索优化未来轨迹。

但是由于Model并不能完美代表 real world，planning algo在model上学习到的结果可能并不能代表真实世界的规划，甚至反而会放大模型误差。因此World Model非常重要。

论文阅读

==把读论文当成阅读理解，每一段要总结一个大意，句子之间意思和逻辑，段落之间再整体看逻辑==

Introduction

1.介绍Model based强化学习的特点本质上还是监督学习，同时可以用于传统的轨迹规划

2.然而，用Model based 的强化学习做轨迹优化的系统经常出错，因为Model本身与真实世界存在gap，优化算法会不自觉地“挑模型最不准确的地方”去寻捷径，使得规划结果在真实环境中表现很差。因此要用value function和policy gradient即model-free的方法，不单单依靠轨迹优化

3.训练一个model要能直接目标为轨迹规划，而不仅去模拟世界，即sampling和planning 要identical。模型设计的目的和方法趋于一致。planning 和 action distribution即采用分布同等重要，融为一体。模型要求和reward function独立（无关）。同时模型还是不断通过结果可以优化的，即规划出来的轨迹随着训练不断优化。
–>GPT总结动机：与其先学一个“万能”但难以规划的环境模型，再拿去做优化，不如直接训练一个“天生会被优化”的模型，使得采样与规划浑然一体，并且从模型设计、训练目标到泛化能力，都围绕如何生成好轨迹这一核心来展开。这样能更高效、更稳健地解决数据驱动的轨迹优化问题。

4.Diffuser: a trajectory-level diffusion probabilistic model 同时预测所有时间步。调整采样过程，增加约束和指导，以实现trajectory recovery with high reward
优点：用整条生成轨迹计算复合loss，提高序列建模能力。支持mutiple rewards。把“生成模型”和“规划器”合二为一能够让planning更有效，即当模型学会更准确地“自我采样出高质量轨迹”时，这个“采样器”本身就成了一个更强的“规划器”——它会默认考虑长期回报，而不是只关注一步的局部最优。