作家先容： 南京大学智能科学与时刻学院博士生甘念念远为本文第一作家；南京大学高阳培植为本文配合者；上海东谈主工智能本质室孟林建后生照拂员和南京大学霍静副培植为本文通信作家。

以 DeepSeek-R1、OpenAI o1 为代表的大型推理模子，凭借长念念维链的「念念考」才调在数学、代码等任务上大放异彩。但念念考是有代价的：冗长、反复的推理历程带来了宽绰的推理支出与延伸，这等于广受关心的「过度念念考」（Overthinking）问题。一个当然的处分念念路是查考羼杂推理模子：让模子说明问题难度，自动决定是「三念念此后行」（thinking 形态）照旧「妄下雌黄」（non-thinking 形态），并使用强化学习（RL）查考模子掌合手这种才调。

然而，这套看似合理的奖励瞎想，却埋下了一个经典的隐患：奖励诓骗（Reward Hacking）。模子很快学会了「钻空子」—— 名义上输出非念念考形态的时势象征，实质里却照样进行长篇念念考，既靠念念考拿到了正确谜底，又骗取了非念念考形态的出奇奖励。

为了处分这一问题，来自南京大学、上海东谈主工智能本质室和中国移动九天照拂院的照拂团队建议了Thinking-Based Non-Thinking（TNT）：不依赖不菲的 SFT，仅应用念念考形态回话中「谜底部分」的长度信息，为每个问题动态设定非念念考形态的 token 上限，就将奖励诓骗的发生概率压到了 10% 以下，同期在五个数学基准上罢露出准确率与遵守的最优衡量。

当今，该论文已被当然话语处理顶级会议 ACL 2026 Main Conference 经受。

论文辘集：https://arxiv.org/abs/2601.04805

代码辘集：https://github.com/SiyuanGan/Thinking-Based_Non-thinking

布景先容：羼杂推理模子与 RL 查考范式

咱们先来总结一下羼杂推理模子的基本设定。

给定一个以极度 token 收尾的输入指示，推理模子的回话领先是念念考部分 —— 包含不停探索、反念念与自我考据的长念念维链； 标追念念考结束；后来 则是最终的解答（solution）部分，只包含正确的解题设施与谜底。沿用先前职责的商定，若念念考部分为空，则该回话被判定为非念念考形态，不然为念念考形态。在 RL 查考中，为了饱读吹模子在才调允许时优先遴荐高效的非念念考形态，正确的非念念考回话会被赋予比正确的念念考回话更高的奖励。

动机：一个被低估的奖励诓骗问题

问题恰巧出在「更高的奖励」上。由于形态判定仅依赖第一个 token 这种名义信号，模子都备不错先输出 伪装成非念念考形态，随后的内容却照样反复推演，以致再次生成 间隔符 —— 靠真确的念念考得到正确谜底，却领走了非念念考形态的高额奖励。

奖励诓骗问题示例。模子生成的首个 token 为 ，被分类为 non-thinking 形态，但回话内容较着具有 thinking 形态特征（如使用 "Wait"、"Alternatively" 等要害词），组成了典型的奖励诓骗行径。

这一问题的严重性超出想象。著作实测发现，未处理奖励诓骗的 RL 步调在 AIME24 上，被判定为「非念念考形态」的回话平均 token 用量竟高达 10845，与念念考形态的 11976 险些不相凹凸 —— 所谓的「非念念考」已名存实一火，通盘查考事实上也曾垮塌。

针对该问题，现存决策约莫有两条路，但各有硬伤：其一是引入 SFT 来固定模子两种形态的输出行，但 SFT 打算支出极其竭力于；更糟的是，kaiyun官方网站SFT 还会带来显赫的性能退化，先前职责的 SFT 模子在 AIME24 上准确率仅约 10%。其二是为非念念考形态设定最大 token 上限，超限即视为诓骗，但现存职责对所有问题施加融合的上限，这在逻辑上是行欠亨的：简单问题（如「1+1 等于几」）即便用长念念维链反复考据，其 token 数也可能远低于复杂 AIME 题目广泛作答的长度。

步调：

用念念考形态的「谜底」

标定非念念考形态的「尺子」

图 1：TNT 步调概览。

破局的要害洞见终点优雅：念念考形态回话中 之后的解答部分，自身就不含念念考 —— 而这恰好就诟谇念念考形态的界说。换言之，念念考形态回话自带一份「该问题的谜底广泛应该写多长」的免费标尺。TNT 恰是应用这少许，为每个问题动态设定非念念考形态的 token 上限。

整套步调基于 GRPO 进行查考，无需任何 SFT，无需修改模子结构或 tokenizer，何况与 Dr. GRPO、DAPO、GSPO 乃至经典 PPO 等算法自然兼容，是一个即插即用的奖励层面修正。

本质考据：准确率与遵守的双赢

著作以 DeepSeek-R1-Distill-Qwen-1.5B/7B 和 DeepScaleR-1.5B 为基座模子进行了本质的考据。

更少的 token，更高的准确率。在 1.5B 模子上，TNT 比拟基座模子将平均 token 用量削减 46.2%，平均准确率反而升迁 4.1 个百分点，突出沿途同类步调成立。

不同羼杂推理模子查考步调在数学基准上的平均准确率与 token 用量对比。

各模子在 non-thinking 形态回话中出现 thinking 关系动词的概率。

奖励诓骗被灵验肆虐。著作统计了非念念考形态回话中「Wait」、「Alternatively」等念念考类动词的出现概率：未探究该问题的 AutoThink 概率最高，经受融合上限的 AdaptThink 也显赫偏高，而 TNT 在所有测试集上均低于 10%，仅次于付出了竭力于 SFT 代价的步调。

模子学会了「看菜下饭」。TNT 的非念念考形态占比与任务难度呈露出的负关系：在 AIME24/25 这类珍贵上险些全程念念考（占比仅 1.7%/0.8%），在相对简单的 AMC23 上则有近 30% 的问题凯旋作答，罢露出基于难度的自主形态遴荐。

基座越强，上风越大。在 DeepScaleR-1.5B 与 7B 模子上，TNT 的 TE 鉴别达到 0.70 与 0.79，大幅朝前次优步调的 0.54 与 0.67；在 7B 上更是同期拿下最高平均准确率（54.2%）与最低 token 用量。此外，TNT 在与 CoT 压缩步调的对比中全面胜出，并在 GPQA Diamond 这一散播外基准上获得最优畛域，展现了考究的泛化性。

总结和瞻望

一言以蔽之，这篇论文直面了羼杂推理模子 RL 查考中一个具体而致命的失效形态，奖励诓骗，并给出了一个四两拨千斤的解法：与其用不菲的 SFT 去「管住」模子的输出，或用一刀切的上限去「猜」每谈题的合理长度，不如让念念考形态我方的解答部分来告诉咱们kaiyun官方网站，这谈题不念念考时广泛应该写多长。由此建议的 TNT 无需 SFT、无需改换模子结构，仅在奖励层面引入一个动态 token 上限，便在三个基座模子、五个数学基准上一致地罢露出约 50% 的 token 削减与准确率升迁，并将奖励诓骗概率压制在 10% 以内。