AWS提出Priming:免重训改造Transformer为混合架构
Can we change an AI model’s architecture without retraining it from scratch?
AWS团队提出Priming方法,复用预训练Transformer权重初始化混合状态空间模型,将混合架构预训练成本降低99%以上。实验显示GKA优于GDN和Mamba-2,32B混合模型推理速度最高提升约2倍且质量接近原模型,并开源模型库、训练代码与vLLM插件。
AAmazon Science阅读原文