亚马逊科学:蒸馏+Medusa让旅行LLM快20倍、成本降三分之二
Speeding up language models for travel applications
亚马逊科学介绍与Booking.com合作的研究:将知识蒸馏与Medusa并行解码结合,把70B教师模型能力迁移到1.1B学生模型,在旅行规划、智能筛选和住宿描述生成三个场景中保持质量,速度提升10–20倍、成本低于三分之一,该工作曾获ACL工业赛道最佳论文奖。
AAmazon Science阅读原文Speeding up language models for travel applications
亚马逊科学介绍与Booking.com合作的研究:将知识蒸馏与Medusa并行解码结合,把70B教师模型能力迁移到1.1B学生模型,在旅行规划、智能筛选和住宿描述生成三个场景中保持质量,速度提升10–20倍、成本低于三分之一,该工作曾获ACL工业赛道最佳论文奖。
AAmazon Science阅读原文