大模型

大模型推理加速进化论(四):EAGLE-3——一个"减法"让推理加速突破了Scaling Law天花板

EAGLE-3发表于 2025 年 3 月,是本系列时间线上最老的一篇。但把它放在最后,不是因为它的技术最简单,而是因为它揭示了一个深刻的结构性问题——这个问题不仅影响了 EAGLE 自身的发展,也间接推动了 DFlash 和 DSpark 的诞生。

大模型推理加速进化论(四):EAGLE-3——一个"减法"让推理加速突破了Scaling Law天花板

一、为什么把 EAGLE-3 放在系列最后

EAGLE-3(arXiv:2503.01840)发表于 2025 年 3 月,是本系列时间线上最老的一篇。但把它放在最后,不是因为它的技术最简单,而是因为它揭示了一个深刻的结构性问题——这个问题不仅影响了 EAGLE 自身的发展,也间接推动了 DFlash 和 DSpark 的诞生。

这个问题是:推理加速的草稿模型,能不能像大语言模型那样,从更多的训练数据中持续获益?

大模型社区有一个牢不可破的共识:增加训练数据可以提升模型能力,而不增加推理成本。LLaMA 系列从 1T(LLaMA 1)→ 2T(LLaMA 2)→ 15T(LLaMA 3)token 的训练数据,模型架构不变,但效果持续提升——这就是著名的 Scaling Law。

EAGLE 团队的实验却显示:增加草稿模型的训练数据,加速比的提升非常有限。EAGLE-1/2 的 scaling law “失灵”了。

EAGLE-3 的整篇论文,就是围绕解开这个谜团展开的。


二、EAGLE 系列的三代演进

为了理解 EAGLE-3 的突破性,先快速回顾三代的演进。

2.1 EAGLE-1:特征级自回归

EAGLE-1 的核心洞察:大语言模型倒数第二层的隐藏特征比离散 token 更有规律、更容易预测。

传统推理加速方法(如 Medusa、Lookahead)让小模型在 token 层面做预测——猜”下一个词是什么”。EAGLE-1 说:不如让小模型在特征层面做预测——猜”下一个特征是什么”。

具体做法:

  1. 用目标模型对输入做前向传播,提取倒数第二层的隐藏特征序列

  2. 草稿模型自回归地预测下一个特征

  3. 把预测的特征喂进目标模型的 LM Head,得到 token 分布

这样做的好处:

  • 特征空间是连续的、高维的,比离散的 token 空间更”光滑”

  • 同时把”超前一步的采样 token”也作为输入,消除了采样随机性带来的不确定性

EAGLE-1 在 Vicuna 33B 和 LLaMA2-Chat 70B 上分别达到了 2.7×–3.5× 的加速,优于 Medusa(1.64×)和 Lookahead(1.94×)。

2.2 EAGLE-2:草稿树 + 动态扩展

EAGLE-2 的改进在验证端:

  • 置信度近似:草稿模型的输出概率可以近似代表接受率

  • 动态草稿树:根据置信度动态扩展/剪枝草稿树,让高置信度路径分叉更多,低置信度路径早点剪掉

EAGLE-2 把加速比推到了约 3–4×,但没有解决 EAGLE-1 的根本问题。

2.3 EAGLE-3:Scaling Law 的解锁

EAGLE-3 的核心问题是:为什么 EAGLE-1/2 无法从更多训练数据中获益?

答案出人意料:“特征预测”这个设计虽然巧妙,但恰恰是阻碍 scaling 的紧箍咒。


三、特征预测为什么是紧箍咒

3.1 EAGLE-1/2 的训练目标

EAGLE-1/2 的草稿模型同时优化两个损失:

L_total = L_feature + L_token
  • L_feature:预测下一个特征(feature-level prediction)

  • L_token:预测下一个 token(token-level prediction,通过 LM Head)

特征预测的作用是帮助草稿模型获得多步预测能力——因为特征空间是连续的,即使预测有偏差,接回输入链后偏差不会太大,模型可以继续工作。

3.2 为什么特征预测锁住了 Scaling

问题出在 L_feature 上。特征预测是一个额外的约束:它要求草稿模型不仅要学会预测 token,还要学会预测特征。这个约束限制了草稿模型的表达能力。

具体来说:

  1. 特征空间是目标模型定义的:草稿模型学习的是”目标模型第 N 层的特征”,而不是”对下一个 token 有用的表示”。这意味着草稿模型的内部表示被”对齐”到了目标模型的某一层,而不是自由地去发现对预测最有用的表示。

  2. 梯度冲突:L_feature 和 L_token 可能要求草稿模型学到不同的内部表示。当数据量增加时,模型本可以学到更丰富的模式,但两个损失的冲突限制了它能探索的空间。

  3. 特征不确定性:训练时草稿模型看到的是”真实特征”,但推理时它看到的是”自己预测的特征”。这个分布偏移导致链式误差累积。

论文用实验验证了这一点:当训练数据从 1× 增加到 8×(相对 ShareGPT),EAGLE-2 的加速比几乎不动(3.15× → 3.28×)。Scaling Law 失灵了。

3.3 证据:Scaling Law 对比图

论文中的这张图(来自 EAGLE-3 论文原文)非常直观地展示了问题:

图片 1

EAGLE-2 vs EAGLE-3 的 Scaling Law(加速比)

  • 红线(EAGLE-2):数据翻倍,加速比几乎不变。从 1× 数据的约 3.15× 微涨到 8× 数据的约 3.28×。

  • 蓝线(EAGLE-3):从 1× 的约 3.72× 稳步上升到 8× 的约 4.42×,展现出清晰的 scaling 趋势。

再看接受长度的 scaling:

图片 2

EAGLE-2 vs EAGLE-3 的 Scaling Law(接受长度)

EAGLE-2 的接受长度几乎不随数据增长(4.0 → 4.17),而 EAGLE-3 从 5.22 持续上升到 6.12。


四、EAGLE-3 的三项改进

EAGLE-3 的解法非常干净:去掉特征预测的约束,同时用新的训练策略补上多步预测的能力。

4.1 改进一:放弃特征预测,直接预测 Token

EAGLE-3 不再让草稿模型预测”下一个特征是什么”,而是直接预测”下一个 token 是什么”。

EAGLE-1/2:  L = L_feature + L_token
EAGLE-3:    L = L_token

这样做的好处:

  • 损失函数不再受特征预测约束,草稿模型的表达空间更大

  • 训练目标与推理目标完全一致——都是 token 预测

  • 草稿模型可以自由地发现对 token 预测最有用的内部表示

但这引出一个新问题:没有了特征预测,草稿模型如何获得多步预测能力?

EAGLE-1 中特征预测有一个巧妙的副产品:因为草稿模型在训练时学会了”预测特征”,推理时即使把自己的预测结果接回输入链,它也能继续工作(因为特征空间是连续的,偏差不会太大)。现在直接预测 token,如果训练时只给真实 token 做输入,推理时草稿模型面对自己的预测 token(可能有偏差),分布偏移会很严重。

EAGLE-3 的答案是下一项改进。

4.2 改进二:Training-Time Test(训练时模拟测试时的链式过程)

这是 EAGLE-3 最精妙的设计。论文用一张图清楚展示了三代方法的差异:

图片 3

EAGLE 三代架构对比

这张图分为三部分,从上到下分别展示了三种方案在训练和测试时的行为。

上半部分:EAGLE(特征预测)

训练:草稿模型接收真实特征序列,预测下一个特征(l_fea),然后过 LM Head 得到 token(l_token)。

测试:把预测的特征接回输入链,继续预测。

中间部分:EAGLE + l_fea removal(直接去掉特征预测)

训练:草稿模型直接预测 token。输入只有真实特征。

测试:问题来了——训练时输入永远是”真实特征”,但测试时第 2 步的输入是自己预测的特征。分布偏移导致后续预测越来越差(红色叉号表示不匹配)。

下半部分:EAGLE-3(Training-time test)

训练时就在模拟测试时的链式过程:

# 伪代码示意
for step in range(max_draft_length):
    # 第 1 步:用真实上下文预测
    if step == 0:
        input = target_features
    else:
        # 第 2 步及以后:用自己上一步的预测作为输入
        input = draft_model_output_from_prev_step

    logits = draft_model(input)
    predicted_token = sample(logits)
    loss += cross_entropy(logits, true_token)

红色虚线标注了”Training-time test”——训练时主动引入自己的预测作为下一步输入,让草稿模型在训练阶段就学会处理”有偏差的输入”。

这个设计的直觉是:与其让草稿模型在”干净的真实数据”上学习,不如让它在”和自己预测打交道”的环境中学习。 就像学开车不应该只在空旷的驾校练,而要在真实路况中练——EAGLE-3 的训练过程就是”真实路况模拟器”。

4.3 改进三:多层特征融合

EAGLE-1/2 只使用目标模型的顶层特征(倒数第二层)。EAGLE-3 发现这太浪费了——不同层蕴含的信息互补:

  • 低层特征:句法、词法信息

  • 中层特征:语义、局部上下文

  • 高层特征:全局语义、推理信息

EAGLE-3 将低、中、高多层特征拼接后降维,作为草稿模型的输入。这样草稿模型能获取更丰富的上下文信息。


五、实验效果:Scaling Law 被解锁了

5.1 数据 Scaling 效果

下面这张图展示了三种方案随数据增长的接受率:

图片 4

数据 Scaling 对接受率的影响

  • 红色(EAGLE):始终使用特征预测,数据增加几乎没收益(0.755 → 0.785,然后平台化)。

  • 黄色(EAGLE without fea pred):直接去掉特征预测,初始接受率很低(0.75),但随数据增加上升很快(0.75 → 0.81)。说明直接 token 预测的上限更高,只是需要更多数据。

  • 蓝色(EAGLE-3):加上 Training-time test 后,初始接受率更低(0.723)——因为训练时模拟了更难的场景——但数据增加后持续上升(0.723 → 0.758 → 0.783 → 0.801),最终追平甚至超越其他方案。

这个图的含义非常深刻:EAGLE-3 的训练策略虽然让初始学习更难,但解放了模型的表达能力上限,让它能从数据中持续获益。 就像一个学生,虽然入门课程更难,但一旦过了门槛,进步空间反而更大。

5.2 各模型上的加速比

图片 5

不同方法在各模型上的加速比对比

EAGLE-3(紫色柱)在多个模型上 consistently 领先:

模型 EAGLE-3 加速比 对比 EAGLE-2
Vicuna 13B 5.6× vs 4.1×
LLaMA-Instruct 3.1 8B 4.4× vs 3.2×
LLaMA-Instruct 3.3 70B 4.1× vs 2.8×
DeepSeek-R1-Distill-LLaMA 8B 5.0× vs 3.4×

最高加速比达到 6.5×。

5.3 为什么是推理模型?

值得注意的是 DeepSeek-R1-Distill-LLaMA 8B 上的 5.0×——这是推理模型(reasoning model),生成的是长思维链。EAGLE-3 在推理模型上的强势表现说明:

  1. 推理模型的输出是高度结构化的(步骤、推理链、结论)

  2. 这种结构化输出非常适合自回归草稿预测——因为每一步都有很强的局部规律性

  3. Training-time test 在”长链式预测”场景下价值更大,因为链式误差累积在长序列中更严重


六、EAGLE 3.1:修复 Attention Drift

EAGLE-3 虽然 benchmark 成绩亮眼,但在真实生产部署中暴露了一个问题:不同部署条件下的表现差距很大。换一个 chat template、上下文变长、或者 system prompt 和训练数据差异较大时,平均接受长度会显著下降。

2026 年 5 月,EAGLE 团队联合 vLLM 团队、TorchSpec 团队推出了 EAGLE 3.1,核心目的是解决 Attention Drift(注意力漂移) 现象。

6.1 Attention Drift 现象

核心发现:在推理加速过程中,草稿模型的注意力权重会随着投机步数的增加发生系统性偏移。

  • 第 1 步生成时,注意力分布正常,关注输入序列中的关键信息(sink token)

  • 随着投机步数增加,注意力逐渐从 sink token 转移到刚生成的 token 上

  • 经过数个投机步骤后,注意力几乎完全锁死在最近几个 token,对全局上下文关注度衰减

这就像写文章时,写着写着就只盯着刚写的那句话,完全忘了文章开头要表达的核心论点。

6.2 根因分析

EAGLE 3.1 发现两个结构性根因:

  1. 输入特征失衡:融合的输入表示中,高层隐藏状态逐渐主导了草稿模型的输入

  2. 数值残差爆炸:残差路径未进行归一化,隐藏状态的模长随投机步数累积增长

公式化表达:在旧版本中,随着投机步数 t 的增加,输入到草稿模型的特征 H_t 满足:

H_t = H_{t-1} + ΔH_t

由于缺乏均值和方差约束,‖H_t‖ 的模长在深层投机时发生漂移,导致草稿模型的预测分布与目标大模型严重失配。

6.3 EAGLE 3.1 的修复

引入了两项架构改进:

  1. 特征归一化:在残差路径中加入 RMSNorm,阻断模长爆炸

  2. 注意力重平衡:调整 attention 的初始化或缩放,防止注意力过度集中在最近生成的 token 上

EAGLE 3.1 已集成进 vLLM 和 TorchSpec,是 EAGLE 系列向生产环境成熟迈出的重要一步。


七、EAGLE-3 的方法论启示

回顾 EAGLE-3 的三项改进,可以看到一条清晰的设计主线:

  1. 发现问题:EAGLE-1/2 的特征预测限制了表达能力,导致数据 scaling 失效

  2. 大胆减法:直接去掉特征预测,让草稿模型回归最直接的目标——token 预测

  3. 聪明补偿:用 Training-time test 补上多步预测能力,用多层特征融合补全信息来源

  4. 验证效果:Scaling Law 被解锁,数据越多效果越好

这个思路对工程很有启发:有时候约束本身就是瓶颈。 EAGLE-1 的特征预测看起来是个巧妙的设计(特征比 token 更有规律),但它恰恰是阻碍 scaling 的紧箍咒。EAGLE-3 敢于”做减法”,反而打开了新的上限。

另一个启发是 Training-time test 这个技巧的本质——让训练分布与测试分布对齐。这在很多序列生成任务中都有借鉴价值:如果模型在推理时要面对自己生成的输出,那训练时就该让它习惯这种”自我对话”的场景。


八、全系列回顾

到此为止,五篇系列文章(含导论)全部完成。先看一张总图,理清四条路线的关系:

图片 6

需要注意的是:虚线表示的是”认知上的启发与回应”,不是”版本升级”。 四条路线今天是并列存在的——EAGLE-3 仍是 vLLM/SGLang 的标配,DFlash 系列和 DSpark 都在快速扩展,没有谁取代谁。它们分别从不同角度回答了”草稿怎么生成更快更准”这个问题。

每一代都在回答前一代留下的问题:

  • EAGLE-3 问:自回归草稿的 scaling 瓶颈在哪里? 答:特征预测是紧箍咒。

  • DFlash 问:能不能不用自回归? 答:可以,用块扩散 + KV 注入。

  • DSpark 问:并行草稿的结构性缺陷怎么补? 答:引入顺序性 + 验证端动态调度。

  • DFlash 2 问:能不能不引入顺序性也能提升准确率? 答:可以,选对路 + 补后劲。

四条路线今天仍在并行发展,尚未分出胜负。对于开发者来说,关键是理解每条路线的设计哲学和适用场景:

  • EAGLE-3/3.1:生态最成熟(vLLM/SGLang 原生支持),适合需要稳定生产部署的场景

  • DFlash/DFlash 2:并行效率天花板更高,适合延迟敏感、结构化输出的场景

  • DSpark:系统级优化能力最强,适合高并发、吞吐优先的服务场景


系列完整索引

  1. DFlash 2:并行草稿的精准化之路

  2. DSpark:半自回归 + 置信度调度,把推理加速推上生产线

  3. DFlash:用扩散模型给大模型推理”开涡轮增压”

  4. EAGLE-3:从特征预测到 Token 预测,解锁 Scaling Law(本文) ← 当前


参考资料

本文首发于微信公众号。原文:查看原文
微信搜一搜 AI拆解猿