一文讲明白LM中的RL（PPO，RLHF，DPO，GRPO，……）
Published:
本文系统梳理了语言模型中的强化学习方法，包括 PPO、RLHF、DPO、GRPO 等核心算法。
0 前置知识
RL从何而来：强化学习（1）—— 从模仿学习说起
策略梯度：强化学习（2）—— 策略梯度法（REINFORCE）
Actor-Critic：强化学习（3）—— Actor-Critic
Q-Le…
👍 知乎赞同：12
You May Also Enjoy
深度生成模型（2）—— 变分自编码器 VAE
less than 1 minute read
Published:
本文介绍变分自编码器（Variational Autoencoder, VAE）的原理和实现。
参考课程：Stanford CS236，MIT 6s978
1 VAE的原理
1.1 第一步
现在有一个MNIST手写数据集，数据集包含很多的图片，每一张图片的大小为 ，像素的灰度有十个等级 ，并且每张…
👍 知乎赞同：5
深度生成模型（1）—— 自回归模型 AR
less than 1 minute read
Published:
本文介绍生成模型的基础——自回归模型（Autoregressive Model）。
参考课程：Stanford CS236，MIT 6s978
1 从一切的开始说起
1.1 生成模型是什么？
生成无处不在，我们说的每一句话，都是我们的大脑生成的，我们看到的每一张图片，也是现实世界生成给我们的…
👍 知乎赞同：6
深度生成模型（7）—— 扩散模型 Diffusion
less than 1 minute read
Published:
本文深入介绍扩散模型（Diffusion Model）的原理，包括 DDPM 等经典方法。
参考资料：Stanford CS236，MIT 6s978，Song Yang’s Blog，DDPM论文，向diffusion更深处：score matching、随机微分方程和朗之万动力学
1 DDPM
…
👍 知乎赞同：7
深度生成模型（3）—— 流模型 Normalizing Flow Model
less than 1 minute read
Published:
本文介绍归一化流模型（Normalizing Flow）的原理及其在生成模型中的应用。
参考课程：Stanford CS236
1 Flow Model 的定义
1.1 密度变换公式 Change of Variables Theorem
上期我们谈到，VAE 使用变分下界 ELBO 绕过了…
👍 知乎赞同：9