斯坦福等联合发布湿实验预测基准SPU,前沿模型集体不及格
「史上最严」湿实验预测基准发布!推理拉满、算力翻5倍也白搭
UniPat AI牵头,联合斯坦福、哈佛、康奈尔等团队发布湿实验预测基准SPU,含116个任务、4207个湿实验,覆盖化学、材料、生物与医学。首轮评测12款前沿模型13种配置,最高分Claude Opus 5.5仅0.486,仅约半数任务超过随机水平;提高推理强度与算力投入几乎不提升得分。100个公开任务计划以Harbor任务包发布,数据集与代码已开源。
量量子位阅读原文「史上最严」湿实验预测基准发布!推理拉满、算力翻5倍也白搭
UniPat AI牵头,联合斯坦福、哈佛、康奈尔等团队发布湿实验预测基准SPU,含116个任务、4207个湿实验,覆盖化学、材料、生物与医学。首轮评测12款前沿模型13种配置,最高分Claude Opus 5.5仅0.486,仅约半数任务超过随机水平;提高推理强度与算力投入几乎不提升得分。100个公开任务计划以Harbor任务包发布,数据集与代码已开源。
量量子位阅读原文