苹果研究揭示语言模型对齐的理论极限
Theoretical Limits of Language Model Alignment
苹果研究团队推导了KL正则化对齐在固定KL预算下可达到的最大期望奖励增益,给出由Jeffreys散度决定的闭式表达,并证明奖励集成可缓解奖励黑客。实验显示best-of-N接近理论极限,而PPO与GRPO明显次优。
AApple Machine Learning Research阅读原文Theoretical Limits of Language Model Alignment
苹果研究团队推导了KL正则化对齐在固定KL预算下可达到的最大期望奖励增益,给出由Jeffreys散度决定的闭式表达,并证明奖励集成可缓解奖励黑客。实验显示best-of-N接近理论极限,而PPO与GRPO明显次优。
AApple Machine Learning Research阅读原文