从“堆算力”到“算得巧”：推理延迟优化的范式转移

过去提升智能推理速度，最直接的办法是堆更多GPU、用更激进的量化、裁剪模型规模。但大模型进入生产环境后，延迟问题不再是单纯算力不足，而是自回归解码阶段极低的算术强度：每生成一个Token，都要把海量权重和不断增长的KV Cache从显存中搬运一次，计算单元反而经常等数据。于是，衡量体验的核心指标被拆成首Token延迟TTFT和每Token延迟TPOT。新突破在于把延迟当作一等约束，从服务系统层面重新设计：连续批处理让不同请求动态拼批，PagedAttention减少显存碎片，Chunked Prefill把长提示切块并与解码交错，Prefill-Decode分离则让预填充和解码各自跑在最适合的硬件上。MoE专家并行、请求优先级和SLO感知调度进一步避免“快请求被慢请求拖死”。这种范式转移意味着，优化不再只盯着模型本身，而是让算法、缓存、编译和集群调度共同决定最终延迟。

投机解码与动态验证：把串行生成变成并行试探

自回归生成天生串行：第n个Token必须等第n-1个Token算完。投机解码打破了这一限制。它先用一个更小的草稿模型、额外预测头或特征复用模块，一次生成多个候选Token，再让目标大模型并行验证这些候选。如果候选前缀被接受，就能一次前向产出多个Token；如果被拒绝，则回退到正确位置继续生成。Medusa、EAGLE、Lookahead等方案通过多头预测或特征级草稿，显著降低草稿开销。最新突破在于动态验证：系统根据历史接受率、请求类型和硬件负载，实时调整草稿长度与树状分支，避免无效试探浪费算力。验证阶段还可与量化、FlashAttention和连续批处理结合，在几乎不改变输出分布的前提下，把每Token延迟降低到原来的二分之一甚至更低。对在线对话、代码补全和Agent工具调用而言，这种“并行试探、一次验证”的思路，正成为低延迟推理的关键组件。

KV Cache 分层与注意力稀疏化：降低长上下文的内存墙

长上下文推理的最大敌人之一是KV Cache。序列越长、批越大，缓存占用越接近线性增长，显存容量和带宽迅速成为瓶颈。新突破首先来自缓存管理：PagedAttention把KV Cache切成固定大小的页，按需分配、共享前缀、减少碎片；KV量化把FP16压缩到FP8或INT8，在精度损失可控的前提下降低搬运量；GQA、MQA则从注意力结构上减少Key/Value头数。更进一步，分层缓存把热数据留在GPU HBM，把冷数据放到CPU内存甚至NVMe SSD，并按注意力分数预取。注意力稀疏化则让模型不必计算所有历史Token：滑动窗口、块稀疏、检索式注意力和动态Top-K，只保留真正重要的上下文。最新系统会把稀疏模式与硬件块大小对齐，避免不规则访问导致的实际加速落空。结果是在百万级上下文场景下，TTFT和TPOT不再随长度线性恶化，长文档问答、会议纪要和代码库理解因此更接近实时交互。

编译、调度与软硬协同：端到端延迟的最后百分之二十

当算法和缓存优化到位后，最后一段延迟往往藏在算子启动、内核切换和调度抖动里。编译优化通过算子融合、FlashAttention、CUDA Graph和静态图执行，减少HBM读写与Kernel启动开销；Torch.compile、TensorRT-LLM、vLLM和SGLang等框架，把动态请求编译成更高效的执行计划。调度层面，连续批处理提升吞吐，Chunked Prefill避免长提示阻塞解码，优先级队列和抢占机制保障高价值请求的SLO。软硬协同则把模型结构、量化格式、并行策略与H100/H200、NPU、LPU等硬件特性对齐，例如利用FP8张量核心、HBM3e带宽和高速互联做张量并行、流水线并行与专家并行。新突破不只是单点技术，而是把编译、调度、缓存和芯片能力放进同一个反馈回路，根据实时负载动态选择路径。未来，智能推理延迟优化将越来越像系统工程：算法提出可能性，系统决定实际延迟，芯片提供最终上限，三者协同才能把“快”变成稳定可交付的体验。