近期开源大模型架构盘点:KV共享、mHC与压缩注意力
Recent Developments in LLM Architectures: KV Sharing, mHC, and Compressed Attention
Sebastian Raschka 梳理 2026 年 4–5 月开源权重模型的长上下文效率设计:Gemma 4 的跨层 KV 共享与逐层嵌入、Laguna XS.2 的逐层注意力预算、ZAYA1-8B 的压缩卷积注意力,以及 DeepSeek V4 的 mHC 与 CSA/HCA 压缩注意力;并指出 Transformer 仍在被针对性改造而非取代。
AAhead of AI阅读原文