跳到正文
论文与研究官方

AWS提出Priming:免重训改造Transformer为混合架构

Can we change an AI model’s architecture without retraining it from scratch?

AWS团队提出Priming方法,复用预训练Transformer权重初始化混合状态空间模型,将混合架构预训练成本降低99%以上。实验显示GKA优于GDN和Mamba-2,32B混合模型推理速度最高提升约2倍且质量接近原模型,并开源模型库、训练代码与vLLM插件。

AAmazon Science阅读原文

相关阅读

论文与研究·Microsoft Research
微软研究披露Lazarus后门技术,可重编程休眠神经元控制AI智能体
论文与研究·Google DeepMind Blog
DeepMind 用 AlphaProof Code 形式化验证 Signal 协议代码
论文与研究·NVIDIA Blog
NVIDIA 在 CoRL 发布开源世界动作模型 GR00T 2 与 Isaac Lab 3.0