苹果研究者提出加权状态汤,提升SSM长上下文检索
Weighted State Souping for Efficient Long-Context Retrieval
苹果与哈佛研究者提出加权状态汤:为缓存的状态编码学习查询相关权重,在单跳与多跳文档问答、大海捞针检索、变量追踪和工具使用上明显改善长上下文表现,并可改为稀疏变体,使编码成本近常数。论文被NeurIPS 2026 PALM研讨会接收。
AApple Machine Learning Research阅读原文Weighted State Souping for Efficient Long-Context Retrieval
苹果与哈佛研究者提出加权状态汤:为缓存的状态编码学习查询相关权重,在单跳与多跳文档问答、大海捞针检索、变量追踪和工具使用上明显改善长上下文表现,并可改为稀疏变体,使编码成本近常数。论文被NeurIPS 2026 PALM研讨会接收。
AApple Machine Learning Research阅读原文