号称省65%Token的Caveman实测仅8.5%
“母病速归”式 AI:号称省 65% Token,实测只有 8.5%
JetBrains用Claude Code跑86个真实编程任务测试Caveman Skill,约240次计费试验花费约106美元,输出Token仅从59.2万降至54.2万,节省8.5%而非宣传的65%,任务质量无显著差异。作者指出编程Agent的Token大头在上下文、代码和工具调用,压缩自然语言说明收益有限,真正该省的是上下文与返工。
宝宝玉的分享阅读原文“母病速归”式 AI:号称省 65% Token,实测只有 8.5%
JetBrains用Claude Code跑86个真实编程任务测试Caveman Skill,约240次计费试验花费约106美元,输出Token仅从59.2万降至54.2万,节省8.5%而非宣传的65%,任务质量无显著差异。作者指出编程Agent的Token大头在上下文、代码和工具调用,压缩自然语言说明收益有限,真正该省的是上下文与返工。
宝宝玉的分享阅读原文