跳到正文
论文与研究

近期开源大模型架构盘点:KV共享、mHC与压缩注意力

Recent Developments in LLM Architectures: KV Sharing, mHC, and Compressed Attention

Sebastian Raschka 梳理 2026 年 4–5 月开源权重模型的长上下文效率设计:Gemma 4 的跨层 KV 共享与逐层嵌入、Laguna XS.2 的逐层注意力预算、ZAYA1-8B 的压缩卷积注意力,以及 DeepSeek V4 的 mHC 与 CSA/HCA 压缩注意力;并指出 Transformer 仍在被针对性改造而非取代。

AAhead of AI阅读原文

相关阅读

论文与研究·Microsoft Research
微软研究披露Lazarus后门技术,可重编程休眠神经元控制AI智能体
论文与研究·Google DeepMind Blog
DeepMind 用 AlphaProof Code 形式化验证 Signal 协议代码
论文与研究·NVIDIA Blog
NVIDIA 在 CoRL 发布开源世界动作模型 GR00T 2 与 Isaac Lab 3.0