---
title: 世界模型与 RAP：LLM 作为推理代理
draft: false
tags:
  - World-Model
  - RAP
  - MCTS
  - Reasoning
  - 大语言模型
---

# 世界模型与 RAP：LLM 作为推理代理

---

## 一、世界模型的两种范式

### 1.1 范式 1：状态转移/规划模拟器

**核心思想**：

将 LLM 看作一个**世界状态预测器**——给定当前状态和行动，预测下一个状态。

**数学表示**：

$$s_{t+1} = f_\theta(s_t, a_t) \tag{1.1}$$

其中：
- $s_t$：当前世界状态
- $a_t$：行动
- $f_\theta$：由 LLM 参数化的状态转移函数

**应用场景**：
- 推理任务：将推理步骤视为"行动"，将状态视为"推理进展"
- 规划任务：将子目标视为"状态"，将行动视为"规划步骤"
- MCTS 搜索：在推理树中进行搜索

### 1.2 范式 2：环境动力学模型

**核心思想**：

在 embodied AI、机器人、视频生成等场景中，学习一个能够预测未来状态的模型。

**数学表示**：

$$\hat{s}_{t+k} = g_\theta(s_t, a_t, a_{t+1}, \ldots, a_{t+k-1}) \tag{1.2}$$

**应用场景**：
- 机器人控制：预测动作后的物理状态
- 视频生成：预测未来帧
- 游戏 AI：预测对手响应

### 1.3 从 LLM 主线看世界模型

**本笔记的关注点**：

从 LLM 的角度，世界模型的核心问题是：

> **如何让 LLM 在推理/规划任务中，像在真实世界中行动一样，进行搜索、探索和规划？**

**关键论文**：

- RAP（Reasoning with AlphaProof）：将 LLM 作为推理世界中的"Agent"，使用 MCTS 搜索推理树

---

## 二、RAP 的核心思想

### 2.1 核心洞察

**RAP**（Reasoning with AlphaProof）的核心是：利用 LLM 作为"世界模型"，在推理空间中进行 MCTS 搜索。

**关键观察**：

在推理问题中，"世界状态"是**推理的当前进展**，"行动"是**推理步骤**，状态转移是**执行推理步骤后得到的新状态**。

**与传统 MCTS 的区别**：

| 传统 MCTS | RAP |
|---------|-----|
| 游戏状态 | 推理状态 |
| 游戏规则 | 推理规则（由 LLM 隐式编码） |
| 评估函数 | LLM 自己判断进展 |
| 叶子节点评估 | 证明成功/失败判定 |

### 2.2 推理问题的形式化

**定义（推理问题）**：

给定问题 $x$，目标是找到一个有效的推理序列 $\{a_1, a_2, \ldots, a_T\}$，使得：
$$s_T \models \text{solved} \quad \text{and} \quad \forall t: s_t \vdash a_t \rightarrow s_{t+1} \tag{2.1}$$

其中 $s_t$ 是推理状态，$a_t$ 是推理行动（步骤），$\vdash$ 表示"可以执行"。

**状态表示**：

$$s_t = (x, \text{progress}_t, \text{evidence}_t) \tag{2.2}$$

其中：
- $x$：原始问题
- $\text{progress}_t$：当前的推理进展
- $\text{evidence}_t$：已有的证据和中间结论

### 2.3 LLM 作为世界模型

**定理（LLM 世界模型假设）**：

LLM 隐式地编码了推理世界的转移规则：
$$f_\theta(s, a) \approx s' \quad \text{where } s' = \text{LLM}([s; a]) \tag{2.3}$$

即给定当前状态 $s$ 和行动 $a$，LLM 能够预测执行 $a$ 后的新状态 $s'$。

**物理意义**：

这意味着 LLM 能够：
1. 判断给定的行动是否可以在当前状态执行
2. 预测执行行动后的新状态
3. 评估当前状态是否已达到目标

---

## 三、MCTS 搜索框架

### 3.1 Monte Carlo Tree Search 基础

**MCTS 的核心循环**：

```
while time_budget:
    1. Selection: 从根节点开始，选择最优子节点直到叶子
    2. Expansion: 扩展一个或多个子节点
    3. Simulation: 从新节点开始随机 rollout 直到终局
    4. Backpropagation: 将结果反向传播更新统计量
```

**UCB（Upper Confidence Bound）选择**：

$$a^* = \arg\max_a \left[ Q(s, a) + c \cdot \sqrt{\frac{\ln N(s)}{N(s, a)}} \right] \tag{3.1}$$

其中：
- $Q(s, a)$：状态-行动值函数
- $N(s)$：状态 $s$ 的访问次数
- $N(s, a)$：状态-行动对 $(s, a)$ 的访问次数
- $c$：探索常数

### 3.2 RAP 中的 MCTS 定制

**状态节点**：

每个节点 $n$ 存储：
- $s(n)$：推理状态
- $N(n)$：访问次数
- $Q(n)$：平均价值
- $P(n \rightarrow a)$：行动 $a$ 的先验概率

**行动空间**：

在推理任务中，行动空间是 LLM 可能的输出（推理步骤）：
$$a \in \mathcal{A} = \text{LLM outputs conditioned on } s \tag{3.2}$$

### 3.3 价值评估

**定义（叶子节点评估）**：

对于叶子节点 $s_L$，使用以下方式评估：

$$V(s_L) = \begin{cases} 1 & \text{if } s_L \models \text{solved} \\ 0 & \text{if } s_L \models \text{impossible} \\ \text{LLM\_eval}(s_L) & \text{otherwise} \end{cases} \tag{3.3}$$

**LLM\_eval 函数**：

让 LLM 评估当前状态是否"有希望"：
$$\text{LLM\_eval}(s) = \sigma(\text{LLM}([s, \text{"评估：这个推理是否在正确轨道上？"}])) \tag{3.4}$$

### 3.4 RAP 的算法流程

**Algorithm: RAP (Reasoning with AlphaProof)**

```
输入：问题 x，时间预算 T
输出：推理轨迹或"未解决"

# 初始化
root = Node(s = initial_state(x))
policy = LLM_policy  # 用于生成候选行动
evaluator = LLM_eval  # 用于评估状态

for t = 1 to T:
    # 1. Selection: 使用 UCB 选择路径直到未扩展节点
    node = root
    while node.is_expanded:
        node = UCB_select(node)

    # 2. Expansion: 使用 LLM 生成候选行动
    candidate_actions = policy(s(node))
    for a in candidate_actions:
        child = Node(s = f(s(node), a), parent=node)
        node.add_child(child)

    # 3. Simulation: 随机选择一个子节点 rollout
    if candidate_actions not empty:
        child = random_sample(candidate_actions)
        rollout_result = rollout(child)

    # 4. Backpropagation: 更新所有祖先节点的价值
    update_values(root, rollout_result)

    # 5. 检查是否找到解
    if node.is_terminal and node.is_solved:
        return extract_solution(node)

return "未在时间预算内解决"
```

---

## 四、世界模型在推理中的作用

### 4.1 状态评估

**LLM 作为评估器**：

给定推理状态 $s$，LLM 可以评估：
1. **可达性**：从当前状态能否到达目标？
2. **正确性**：当前推理步骤是否正确？
3. **前景**：继续当前方向是否有希望？

**数学表示**：

$$V_\theta(s) = P_\theta(\text{"有希望"} | s) \tag{4.1}$$

### 4.2 行动生成

**LLM 作为策略**：

给定当前状态 $s$，LLM 生成候选行动（推理步骤）：
$$a_t \sim P_\theta(\cdot | s, \text{prompt}) \tag{4.2}$$

**候选行动的多样性**：

使用 temperature 采样生成多个候选：
$$a_t^{(1)}, a_t^{(2)}, \ldots, a_t^{(K)} \sim P_\theta(\cdot | s, T=\tau) \tag{4.3}$$

### 4.3 状态转移

**执行行动得到新状态**：

$$s' = f_\theta(s, a) \approx \text{LLM}([s, a]) \tag{4.4}$$

**注意**：状态转移函数 $f_\theta$ 由 LLM 隐式定义，不是显式学习的。

---

## 五、与其他推理方法的对比

### 5.1 与 CoT 的对比

| 维度 | CoT | RAP |
|------|-----|-----|
| **推理结构** | 固定链式 | 搜索树 |
| **回溯** | 无 | 有 |
| **探索方式** | 单路径 | 树搜索 |
| **评估** | 无显式评估 | 显式状态评估 |
| **计算成本** | $O(T)$ | $O(T \cdot B \cdot D)$ |

### 5.2 与 ToT 的对比

| 维度 | ToT | RAP |
|------|-----|-----|
| **搜索算法** | 任意（可 BFS/DFS） | MCTS |
| **价值评估** | 启发式评估 | 学习评估 |
| **探索利用平衡** | 手动调参 | UCB 自适应 |
| **统计量利用** | 无 | 反向传播统计 |

### 5.3 与 AlphaZero 的对比

| 维度 | AlphaZero | RAP |
|------|----------|-----|
| **游戏规则** | 已知 | 由 LLM 隐式编码 |
| **价值网络** | 单独训练 | LLM 评估 |
| **策略网络** | 单独训练 | LLM 生成 |
| **搜索** | MCTS | MCTS |
| **应用** | 游戏（围棋等） | 推理任务 |

---

## 六、训练过程与问题

### 6.1 离线训练

**LLM 预训练**：

LLM 在大规模文本上预训练，学习推理规则和世界知识。

**状态转移学习**：

通过 next token prediction，隐式学习状态转移：
$$\mathcal{L} = -\sum_t \log P_\theta(s_{t+1} | s_t, a_t) \tag{6.1}$$

### 6.2 在线微调

**成功轨迹的正则化**：

当 MCTS 找到成功路径时，使用成功轨迹微调 LLM：
$$\mathcal{L}_{\mathrm{KL}} = -\sum_{s_t, a_t \in \mathrm{KL}} \log P_\theta(a_t | s_t) \tag{6.2}$$

### 6.3 训练中的问题

**问题 1：状态转移的不确定性**

LLM 预测的状态转移可能不确定或错误。

**解决方案**：
1. 使用多个采样轨迹
2. 对状态转移的不确定性建模
3. 只使用高置信度的转移

**问题 2：探索-利用平衡**

在推理空间中，过度探索浪费时间，过度利用可能错过正确路径。

**解决方案**：
1. 使用 UCB 自适应平衡
2. 课程学习（从简单到复杂）
3. 经验回放（优先采样有希望的路径）

### 6.4 收敛性分析

**定理（搜索收敛）**：

随着搜索时间 $T \to \infty$ 和探索常数 $c$ 的适当衰减，MCTS 收敛到最优策略：
$$\pi^*(s) = \arg\max_a Q(s, a) \tag{6.3}$$

**证明**：基于 MCTS 的标准收敛性理论。

---

## 七、数学公式速查

### 7.1 世界模型公式

**状态转移**：
$$s_{t+1} = f_\theta(s_t, a_t) \approx \text{LLM}([s_t; a_t]) \tag{7.1}$$

**状态评估**：
$$V_\theta(s) = P_\theta(\text{"有希望"} | s) \tag{7.2}$$

### 7.2 MCTS 公式

**UCB 选择**：
$$a^* = \arg\max_a \left[ Q(s, a) + c \cdot \sqrt{\frac{\ln N(s)}{N(s, a)}} \right] \tag{7.3}$$

**价值回传**：
$$Q(n) = \frac{1}{N(n)} \sum_{n' \in \text{descendants}(n)} V(n') \tag{7.4}$$

### 7.3 推理问题公式

**推理状态**：
$$s_t = (x, \text{progress}_t, \text{evidence}_t) \tag{7.5}$$

**目标达成**：
$$s_T \models \text{solved} \tag{7.6}$$

---

## 八、总结

**世界模型的核心洞察**：

> LLM 可以被视为一个"推理世界模型"——它隐式地编码了推理状态之间的转移规则，可以用于在推理空间中进行 MCTS 搜索。

**RAP 的贡献**：

1. 将 MCTS 框架应用于 LLM 推理
2. 利用 LLM 作为状态评估器和行动生成器
3. 通过搜索找到比单纯 CoT 更好的推理路径

**与其他方法的关系**：

| 方法 | 核心思想 | 搜索结构 |
|------|---------|---------|
| **CoT** | 显式推理链 | 链式 |
| **ToT** | 搜索树 | 树 |
| **RAP** | MCTS + LLM 世界模型 | MCTS 树 |
| **AlphaZero** | MCTS + 神经网络 | MCTS 树 |

**核心公式**：

- 状态转移：$s_{t+1} = \text{LLM}([s_t; a_t])$
- UCB 选择：$a^* = \arg\max_a [Q(s,a) + c\sqrt{\ln N(s)/N(s,a)}]$
- 价值评估：$V(s) = P_\theta(\text{"有希望"} | s)$

---

**延伸阅读**：

1. Silver et al., "A AlphaZero" (Science 2017) — AlphaZero 基础
2. Silver et al., "Mastering the Game of Go without Human Knowledge" (Nature 2017)
3. Yao et al., "Think before I Act: Large Language Models for Planning and Robotics" (2023)
4. Liu et al., "Towards Closed-Loop Agent in LLM-based RL" (2024)
5. Hu et al., "RAP: Reasoning with AlphaProof" (2024)