用 AI 把模糊研究想法整理成路线图

“我想让 GRPO 训练更稳定。”

这句话很容易被写进研究文档的标题。它有方向，也带着真实的不满：训练曲线可能波动，策略可能过早收敛，结果也可能对随机种子敏感。可当你准备启动实验时，它还无法决定第一张配置表该怎样填写。你尚未说明“稳定”对应哪种现象，也没有确定基线、预算、可动变量和停止条件。

此时向 AI 索要一份计划，几秒后通常会得到十几个步骤。它可能建议调整学习率、采样温度、KL 系数、group size，再补上监控、消融和评测。列表足够完整，读起来也很像已经想清楚的研究方案。真正困难的决定仍藏在列表下面：你观察到了什么，准备验证哪一个解释，什么证据足以让你放弃原来的判断。

AI 在这里更有价值的用途，是让这些空缺尽早显现。它可以持续追问，把脑中的半成品外化成一组能够被检查的句子。路线图随后才有可靠的起点。

先让含糊的词失去藏身处

“稳定”至少可能指向几类不同现象：奖励曲线的方差、不同运行之间的结果差异、策略熵的下降速度、响应长度的漂移、KL 的变化，或者训练中断与资源异常。它们彼此有关，也需要各自的观测方式。把它们装进同一个目标，实验结束时仍会留下多种解释。

GRPO 很适合用来展示这个问题。DeepSeekMath 引入 GRPO 后，公开研究继续从优化偏差、采样、裁剪与熵等角度分析训练行为。DAPO 把动态采样、裁剪和长度处理放进同一套大规模训练系统，Understanding R1-Zero-Like Training 则讨论了优化偏差与响应长度等现象。这些工作共同提醒我们，“训练更稳定”需要先被拆成具体问题。

在说明性案例里，我们可以把最初的直觉收窄成一句可研究的问题：

在固定基础模型、数据、奖励函数与计算预算的条件下，调整采样策略能否延缓策略熵的过早下降，同时维持验证集表现？

这句话仍然需要补充，但它已经暴露了几项决定。基础条件要固定，采样策略是主要变量，熵轨迹是观测信号，验证表现承担护栏作用。接下来还要定义“过早”、选择评测切片、决定重复运行的规模，并写下能够推翻假设的结果。

AI 无法替你决定哪些指标值得信任。它可以指出“稳定”存在多个解释，可以提醒你奖励上涨与能力提升之间仍有距离，也可以发现计划里同时改动了多个变量。研究者需要结合任务、数据与资源作出选择。职责边界一旦清楚，对话便从“给我一个方案”转向“检查这份研究定义还缺什么”。

路线图来自依赖关系

研究计划经常被写成日历：第一周读论文，第二周跑基线，第三周做实验。时间顺序容易理解，却没有说明每一步为什么能够进入下一步。基线无法复现时，消融实验缺少比较对象；观测信号没有接入时，大规模 sweep 只会更快地产生难以解释的数据。

更实用的路线图由依赖关系和决策门组成。每一阶段都应交付一个可以检查的产物，并明确接下来进入 GO、REVISE 或 STOP。到这个时刻，AI 才适合承担结构整理工作。你可以把当前材料交给它：

当前想法：我想让 GRPO 训练更稳定。
已观察到的现象：尚未确认，请先列出需要区分的信号。
固定条件：基础模型、训练数据、奖励函数、总计算预算。
候选变量：采样策略。
已有证据：训练日志、验证集结果、相关论文。

请先追问缺失的决定。信息充分后，再整理为分阶段实验计划。
每一阶段需要包含输入、动作、产物和 GO / REVISE / STOP 条件。
请标出混杂变量、无法由现有证据支持的假设，以及需要人工决定的位置。

经过几轮回答，说明性案例可以得到下面这份初始路线图。它展示计划的结构，未代表已经完成的实验或已经验证的结论。

阶段	输入	动作	产物	决策门
`00 / DEFINE`	模糊想法、已有日志	定义主要信号、护栏指标、预算与反证条件	一页研究说明	定义可观测则 `GO`；仍有多种解释则 `REVISE`
`01 / BASELINE`	冻结的模型、数据与奖励配置	在预算允许范围内重复基线，记录运行差异	基线分布与异常清单	目标现象可复现则 `GO`；无法复现则 `STOP` 或修改问题
`02 / INSTRUMENT`	基线日志	接入熵、奖励、KL、长度与系统指标，核对记录口径	可比较的观测面板	信号能够定位变化阶段则 `GO`；记录不完整则 `REVISE`
`03 / PROBE`	单一机制假设	小规模改变采样策略，其余条件保持固定	消融结果与成本记录	主要信号改善且护栏可接受则 `GO`；结果混杂则 `REVISE`
`04 / VERIFY`	候选配置	使用独立运行与评测切片检查结果	结论、限制与下一项问题	结果可重复则保留；证据不足则 `REVISE`；假设被推翻则 `STOP`

表格的价值来自暴露依赖。它迫使你承认，某些实验暂时没有资格启动；它也让“失败”变成预先定义的研究结果，而非事后寻找解释。固定周次可以等资源确定后再填，决策顺序已经先被明确。

计划完成时，判断才刚开始

一份整齐的路线图也可能建立在错误前提上。AI 可以继续扮演审查者，检查指标是否会鼓励错误行为、变量是否真正隔离、基线是否具有可比性、预算是否支持当前结论。它还能从相反立场提出问题：如果熵下降只是伴随现象，哪项观察能够区分因果解释？如果验证分数提高来自响应长度变化，护栏指标能否及时暴露？

这些追问会提高计划的可检查性，却不会自动提高证据质量。模型对相关工作的概括需要回到论文与代码核验，生成的实验建议也需要接受资源、安全和领域常识约束。研究价值、指标选择、风险取舍与停止条件仍由人负责。

因此，AI 帮助理清思路的关键产物并非更多文字。真正有用的变化，是一句直觉被转换成一组显式决定：研究问题可以被反驳，变量之间存在清楚边界，每一步都有可检查产物，失败条件提前写入计划。

路线图让研究开始得更清楚，也把一个更难的问题留在桌面上：当证据逐步否定最初的直觉时，你是否愿意按照自己写下的停止条件结束它？