DeepSeek 发布 V4.1-Flash：552B MoE 多模态模型，KV 缓存压缩至前代四分之一

DeepSeek 在 Hugging Face 上线 DeepSeek-V4.1-Flash，这是一款原生多模态的混合专家（MoE）模型，骨干参数规模 552B，支持最长 100 万 token 的上下文，可同时处理图像与文本并自回归生成文本。模型页面显示其采用 MIT 许可，基于 transformers 库，属于图像-文本到文本任务类型。

从架构看，V4.1-Flash 的核心变化在于用因果编码器-解码器（CED）结构替代传统解码器堆叠：整个模型为 40 层 Transformer，前 20 层为因果编码器、后 20 层为解码器。解码器的全局 KV 缓存不再由各解码层自身隐状态推导，而是从编码器最终隐状态投影而来。这一设计让模型在预填充阶段每 token 仅激活 8B 参数、解码阶段激活 16B 参数，对输入量大的智能体类工作负载可显著改善成本效率。

KV 缓存压缩是这份技术报告的主线。模型引入 SWA Bounded Replay，通过只回放最近 n_win 个 token 来重建缺失的滑动窗口注意力 KV 状态，无需把 SWA KV 持久化到 SSD，持久化 KV 缓存占用降至 DeepSeek-V4-Flash 的约八分之一。同时，压缩稀疏注意力 CSA2 为每个注意力层分配 Full、Reindex、Reuse 三种静态模式之一，跨层共享主 KV 与索引器 K，并复用 Top-K 稀疏注意力索引；解码器中的分层稀疏索引器进一步把后续索引层限制在首个 Full 模式层构建的候选池内，使深层索引成本与上下文长度解耦。配合 FP4 主 KV 缓存（E2M1 格式，每 16 通道一个 E4M3 缩放因子），全局 KV 缓存占用降至每 token 890 字节，约为 V4-Flash 的四分之一。报告给出的对比图显示，相比 V4-Flash 与初代 V1，V4.1-Flash 的每 token 全局 KV 缓存分别实现约 4 倍和 437 倍的缩减。

其他架构组件包括 Single-Pass mHC（改进的残差流混合，配套高效的 Mega-mHC 内核）、Engram 条件记忆（196B 参数，通过基于 token 的查找稀疏访问）以及 DSpark 推测解码（半自回归草稿生成，配合按置信度调度的验证）。MoE 层每层配置 1 个共享专家与 384 个路由专家，每 token 激活 6 个路由专家。多模态方面，视觉编码器 DeepSeek-ViT 从零训练，采用 2D-RoPE 与 3×3 像素反洗牌下采样，经两层 MLP 投影器转为视觉嵌入，从语言模型预训练之初就与文本嵌入联合处理。

训练层面，V4.1-Flash 在包含 45T token 的多模态语料上从零训练，稀疏注意力在 64K 序列长度上训练，并在 34T token 处把上下文扩展至 100 万 token。后训练沿用标准的 SFT → RL → 在线策略蒸馏（OPD）范式，未做算法改动，主要变化集中在数据管线：大规模自动化合成智能体任务与环境，并逐步扩展数据、任务与 rollout 规模。模型还支持 1 至 100 的连续可控推理力度设置，用于在推理成本与准确率之间做权衡。

评测方面，基础模型在内部框架统一设置下评估，差距在 0.3 分以内视为相当。V4.1-Flash-Base 在 MMLU-Pro 上取得 74.1，高于 V4-Flash-Base 的 68.3 与 V4-Pro-Base 的 73.5；HumanEval 为 79.4，GSM8K 为 93.0，均高于两个对照版本。多模态基准上，MMMU-Pro 为 56.5、CVBench 为 77.9、DocVQA 为 95.6、RefCOCO-avg 为 86.0。长上下文 LongBench-V2 为 45.2，低于 V4-Pro-Base 的 51.5。

指令模型方面，所有结果均在最大推理力度（reasoning_effort=100）、temperature=1.0、top_p=0.95 下评测。与前沿模型对比中，V4.1-Flash 在 GPQA Diamond 上得 90.9，Codeforces 评分为 3471，MathArena Apex 为 65.6；HLE 为 36.8（括号内 39.1）。代码智能体基准使用 DeepSeek Harness 的 Minimal 模式与 100 万 token 上下文窗口，其中 DeepSWE v1.1 采用 mini-SWE harness、SEC-Bench Pro 采用 Claude Code harness；视觉智能体基准使用 Claude Code harness 与 512k token 上下文窗口。

整体来看，V4.1-Flash 的发布延续了 DeepSeek 在 MoE 与稀疏注意力方向上的迭代思路，把重点放在长上下文与智能体场景下的推理成本控制上。对产业链而言，KV 缓存占用的大幅下降意味着同等显存条件下可承载更长的上下文或更高的并发，这对推理侧算力效率与部署成本具有直接影响；而原生多模态与百万级上下文的组合，也使其在文档理解、视觉智能体等输入密集型任务上具备更强的适用性。