苹果研究:LLM评审在个性化写作评估中表现不稳
Evaluating the Evaluators: Investigating LLM Judges for Personalized Writing Style Assessment
苹果研究团队在NeurIPS 2026研讨会上发表论文,用四个LLM生成三类长文写作任务,并收集人类偏好标注与LLM评审标注进行对比。结果显示,评审质量与MMLU通用能力仅弱相关,且随任务和评估标准变化;成对比较比独立打分更一致;最强模型未必最能复现人类判断。
AApple Machine Learning Research阅读原文