最近Deepseek爆火，引发了大家对强化学习技术的关注，今天就从通俗科普角度和好专业技术角度跟大家一起探讨下强化学习的概念。

（关注公众号“AI演进”，持续学习与更新AI知识！）

一、让大家都能听懂的方式解读“强化学习”

举个例子类比一下：小明玩游戏自学成才

想象小明在玩一个复杂游戏，但没人告诉小明怎么操作。小明只能通过“尝试-反馈”自学：

  1. 观察屏幕（状态） → 按按钮（动作） → 得分变化（奖励）

  2. 反复玩多次后，小明摸索出一套高分策略（如“先躲避敌人再攻击”）。

这就是强化学习的核心思想：通过实践结果调整行为，而非死记硬背攻略。

在语言模型中的应用

  1. 传统方法（行为克隆）：像背答案的学生，直接模仿人类写出的句子，但遇到新问题可能不会推理。

  2. 强化学习：像主动解题的学生：

    • 先尝试写出思考步骤（think），再给出答案（answer）。

    • 老师只告诉最终答案对不对（奖励），不纠正中间步骤。

    • 学生自己调整思考方式，逐渐学会“先列公式再计算”等高效率策略。

二、从AI技术角度上谈谈“强化学习”

1、核心定义

强化学习是一种序列决策框架，其目标是让智能体（Agent）通过与环境（Environment）的交互，学习一种策略（Policy），使得长期累积奖励（Reward）最大化。与监督学习（如行为克隆）不同，RL不依赖预先标注的“正确动作”，而是通过试错和反馈动态优化策略。

2、强化学习的基本框架

1）在专业领域中，强化学习通常被形式化为一个马尔科夫决策过程（MDP），包括以下几个组成部分：

  • 状态空间（𝑆）：描述环境中所有可能出现的状态。
  • 动作空间（𝐴）：智能体在每个状态下可以选择的所有可能动作。
  • 状态转移概率（𝑃(𝑠′∣𝑠,𝑎)）：在状态𝑠下采取动作𝑎后，转移到下一个状态𝑠′的概率分布。
  • 奖励函数（𝑅(𝑠,𝑎)）：在状态𝑠下执行动作𝑎后所获得的即时奖励。

智能体的目标是学习一个策略（Policy, π），即从状态到动作的映射，以最大化从任一状态出发的长期累计奖励（通常以折扣累积奖励的形式表示）。

2）在大模型训练学习中如何进行强化学习

  1. 状态（State, s_t）：环境在某一时刻的表示（如当前对话上下文）。

  2. 动作（Action, a_t）：智能体在状态下的决策（如生成一个token）。

  3. 奖励（Reward, r_t）：环境对动作的即时评价（如回答正确性、人类偏好）。

  4. 策略（Policy, π）：从状态到动作的映射（如大语言模型的生成逻辑）。

  5. 轨迹（Trajectory）：状态-动作-奖励的序列（如生成整个回答的过程）。

3）与传统监督学习的区别

  • 监督学习（BC）：直接模仿专家数据（如人类的文本），最小化单步预测误差。

  • 强化学习（RL）：通过探索与反馈优化多步决策，最大化长期奖励（如生成连贯且正确的回答）。

4）RL在大语言模型中的特殊挑战

  1. 动作空间高维：每一步需从数万token中选择，复杂度极高。

  2. 稀疏奖励：最终答案正确性需覆盖多步推理（如数学解题）。

  3. 部分可观测性：模型需自行构建隐含状态（如推理链）。

三、DeepSeek-R1-zero的“纯RL”特性

  • 放弃过程监督：不依赖人工标注的中间推理步骤（think部分），而是将整个生成轨迹（think + answer）作为可优化对象。

  • 隐式策略优化：通过策略梯度（如PPO）直接调整生成分布，使轨迹的累积奖励最大化。

  • 与传统RL的差异：不显式建模贝尔曼方程（因语言生成的非马尔可夫性），而是端到端优化生成策略。

四、为什么需要RL？

  • 人类的局限：我们无法为所有问题标注详细思考过程（成本高，且未必最优）。

  • 模型的潜力：AI可能发现人类想不到的推理捷径（如更高效的数学证明）。

五、“隐空间思考”的想象

未来，AI的“思考”可能不再显示为人类可读的文字，而是像大脑神经元活动一样的隐藏信号。这类似于：

  • 人类解题：先在脑中快速推演，最后写下答案。

  • AI升级版：用数学张量（隐空间）完成“脑内推理”，直接输出最终结果。

强化学习让AI从“模仿者”进化为“探索者”：不依赖人类手把手指教，而是通过目标导向的试错，自主发现更优的解决方案。在语言模型中，这不仅提高了复杂问题的处理能力，还可能催生出超越人类认知的新颖推理模式。

关注公众号“AI演进”，持续学习与更新AI知识！