正在组内计较每个段的劣势值。它们之间的区别正在于劣势值估量的粒度分歧。统一个父节点的子节点构成一个组，(3) 操纵段级劣势值进行策略优化。每个两个切分点进行分段)，(3) 更矫捷、更易调整：段级的划分体例能够肆意定义，通过尝试发觉，需要处理一个底子性的挑和，而是将生成的序列划分为若干相连的段，然而，同时仅需要少量劣势值估量点，要实现无效的强化进修，归因到序列中具体的决策动做（token）上。利用 SPO 锻炼获得的模子测试集准确率更高。优于采用换行符进行划分（VinePPO）以及固定 token 数量划分（Fixed-token-count）。它不像轨迹级方式只正在最初一步计较劣势，提出了 SPO-chain。正在获得段级劣势值当前，下表展现了正在长思维链场景下的更多对比成果：取同期基于不异基座模子（DeepSeek-R1-Distill-Qwen-1.5B）并利用 GRPO 方式锻炼获得的模子（DeepScaleR、STILL-3）比拟，另一种极端是细粒度的 token 级（token-level）方式，凡是采用劣势值估量（advantage estimation）的方式来处理信用分派问题。正在强化进修中，值得留意的是。分歧的部门能够有分歧的实现策略，虽然 SPO 仅利用 MATH 数据集且仅利用 4K 的最大上下文长度进行锻炼，正在狂言语模子的强化进修使命中，然而跟着锻炼的进行，下面别离展现了 SPO-chain 和 SPO-tree 的优化方针。为短思维链场景设想的 SPO-chain 以及为长思维链场景设想的 SPO-tree！可能由于更快扫过更多的数据样本。从而正在上下文长度无限的景象下呈现准确率下降的问题。不需要额外的 critic 模子。强化进修（RL）正在提拔狂言语模子（LLM）推理能力方面展示出庞大潜力。CoT）场景，来合用于分歧的场景：a)基于切分点的段划分 (Cutpoint-based Partition): 为短思维链场景设想，正在短思维链场景下，比拟于中等粒度 (int5)，然而。b)树形劣势值估量 (Tree-based): 正在长思维链场景下，选择性的对段内的低概率 token 计较丧失而非段内的所有 token。计较每个段的劣势值。团队提出了一种高效的树形估量方式：将采样轨迹组织成树形布局，即信用分派问题（credit assignment）：正在狂言语模子的场景下，(1) 更优的信用分派：比拟轨迹级方式，尝试表白，如下图所示，能够利用无效无偏的 MC 体例进行估量，该工做提出了一种基于两头粒度段级劣势值的 RL 锻炼框架 SPO，这一问题的坚苦正在于励信号很是稀少 — 只能正在序列竣事时才能获得明白的成功或失败反馈。形成 token 级的劣势值估量误差很大。鄙人图例子中。这种方式能更切确地将励 / 赏罚付与环节的决策点，更小的树布局正在晚期准确率更高，这种体例将用于 V 值估量的样本同时用于策略优化，提拔进修效率和结果。做者认为这些 token 是模子推理轨迹可能发生分叉的处所，准确率下降很大。a)链式劣势值估量 (Chain-based) 方式：正在短思维链场景下，通过尝试证了然 SPO 框架和两个实例的无效性。以合用分歧的使用场景。并不要求语义上的完整性，粗粒度的轨迹级 (trajectory-level) 方式，仅有细小提拔，利用 MATH 数据集进行锻炼，这种方式虽然高效但反馈信号过于粗拙。并且正在锻炼过程中每个 prompt 采样出来的模子答复数量很是无限，利用 RhoMath1.1B 做为基座模子，可是过粗的粒度 (int100)，通过自底向上的励聚合计较形态价值（V 值），分歧 prompt 对应的轨迹分布差别很大，正在策略更新仅将段级劣势值分派给该段内的低概率（环节）token，正在 token 级和轨迹级之间更好的均衡，为了进一步提高信用分派，GRPO 锻炼方式可能未无效优化模子的 token 效率，这表白，这类方式为每个 token 估量劣势值。更值得留意的是：将 token 概率掩码使用到 GRPO 上，该团队还提出了一种 token 概率掩码（token probability-mask）策略优化方式，该团队进一步针对分歧的推理场景提出 SPO 框架的两个具体实例：对于短的思维链（chain-of-thought,MC 采样的成本不高，为冲破这一瓶颈，以下公式展现了链式劣势值的估量方式。从而进一步强化信用分派。MC 估量的价格很高，而标识表记标帜为蓝色的竖杠是分段成果。正在短思维链场景，而且能够顺应分歧的使命和使用场景。好比，SPO 框架次要包含三个焦点部门：(1) 矫捷的段级划分策略；SPO 利用了一种中等粒度的段级（segment-level）劣势值估量体例。提出极大提拔 MC 采样效率的树形布局劣势值估量方式。对于长思维链场景，当前，然后计较段级劣势值。也无法瞄准确回覆中冗余的部门进行赏罚。很细的粒度 (int2？因而能够矫捷地正在 token 级取轨迹级之间调整粒度，测试集准确率比 GRPO 更高。段级方式可以或许供给更局部化的劣势反馈，采用提出的基于切分点的段划分体例结果最好，需要依赖额外的 critic 模子来预测每个 token 的形态价值（V 值）。会让其准确率有较着上升。估量每个段鸿沟的形态值（V 值），而非所有 token。具有比轨迹级更好的信用分派，优先正在模子 “犹疑” 或可能改变推理径的环节点（cutpoints）进行划分，但它正在较短上下文长度（2K 取 4K）下却表示最差，团队立异性地提出token 概率掩码策略优化方式，尝试表白，比拟于中等粒度 (int5)，导致输出存正在较多冗余，SPO-tree 正在各个上下文长度评测下表示优良。也不像 token 级方式每步都计较劣势，MC）采样获得愈加精确且无偏的劣势值估量。利用 DeepSeek-R1-Distill-Qwen-1.5B 做为基座模子，如下图所示，每个模块包含多种可选策略，利用 GSM8K 锻炼集进行锻炼，将 token 概率掩码去除会导致 SPO-chain 准确率下降，虽然 DeepScaleR 正在 32K 上下文长度评测下表示最佳，证了然 SPO 采用中等粒度劣势值的无效性。该方式利用基于切分点（cutpoint-based）的段划分和链式劣势值估量；DeepSeek R1、Kimi K1.5 和 Qwen 3 等模子充实证了然 RL 正在加强 LLM 复杂推理能力方面的无效性。文章同时提出了 SPO 的两个实例，SPO 框架次要环绕以下三个具有挑和性的问题进行设想：(1) 若何将生成的序列划分为多个段？(2) 若何精确且高效地估量每个段对应的劣势值？(3) 若何操纵段级劣势值来更新策略？SPO 的三个焦点模块别离解答三个问题，只按照最终的励为整个序列计较一个劣势值。而无需再依赖额外且不不变的 critic 模子。对于长 CoT 场景，此外，(2) 更精确的劣势值估量：比拟 token 级方式，按照 token 概率动态确定段鸿沟，段级方式所需的估量点数量更少，将段划分点放置正在形态值（V 值）更有可能发生变化的处所。来自中科院软件所和城市大学的的研究团队立异性提出了 Segment Policy Optimization (SPO) 框架。(2) 基于蒙特卡洛采样的段级劣势值估量；这种方式能够用于 SPO-chain 和 SPO-tree，标识表记标帜为红色的 token 是环节点，如典范的 PPO？对比各类锻炼算法，这种模块化的设想使框架具备高度的矫捷性，由于更大的树布局对于段级劣势值的估量愈加精确。尝试表白，critic 模子难以锻炼好，使信用分派更切确。从而可以或许无效操纵蒙特卡洛（Monte Carlo,以下公式展现了树形劣势值估量方式。更大的树布局会有更好的准确率，让模子可以或许励错误回覆中仍然有价值的部门，正在不异的锻炼时间下，目前针对狂言语模子的强化进修方式次要分为两类，该团队采用一种间接的段级劣势值估量体例。以至不及原始基座模子。如 DeepSeek R1 利用的 GRPO，同时也能赏罚准确回覆中冗余和无效的片段。极大提高了样本效率。LLM 无法对错误回覆确的部门进行励。