BAIR综述自适应并行推理:让模型自主决定何时并行
伯克利AI研究博客发布综述,梳理并行推理从固定fork-and-join、树搜索到自适应并行推理(APR)的演进。APR让模型通过特殊token自行决定何时分解并行、开多少线程及如何协调,避免冗余计算并可按问题复杂度选择不并行。文章还比较Multiverse改引擎复用KV cache与ThreadWeaver客户端二次prefill两条推理路线,讨论训练奖励设计与关键路径效率,并列出准确率提升是否稳定等开放问题。
伯克利AI研究博客发布综述,梳理并行推理从固定fork-and-join、树搜索到自适应并行推理(APR)的演进。APR让模型通过特殊token自行决定何时分解并行、开多少线程及如何协调,避免冗余计算并可按问题复杂度选择不并行。文章还比较Multiverse改引擎复用KV cache与ThreadWeaver客户端二次prefill两条推理路线,讨论训练奖励设计与关键路径效率,并列出准确率提升是否稳定等开放问题。
Sebastian Raschka介绍自己绘制LLM架构图的工作流:从官方技术报告入手,再查看Hugging Face上的配置文件和transformers参考实现,以弥补论文细节不足。该流程主要适用于开放权重模型,且刻意保持手动操作,以便真正理解架构。
Berkeley AI Research博客介绍SPEX与ProxySPEX算法,利用稀疏性、低阶性和层次性,将特征、数据与模型组件归因中的交互发现扩展到数千组件规模;ProxySPEX约少10倍消融即可匹配SPEX,代码已并入SHAP-IQ仓库。
伯克利AI研究团队在NeurIPS 2025论文中提出基于互信息的成像系统评估框架,仅用带噪测量和噪声模型即可量化信息量,并在彩色摄影、射电天文、无透镜成像和显微成像四个领域验证其能预测下游重建性能;配套IDEAL方法通过梯度上升优化成像参数,无需解码器反向传播,在滤色片设计上达到端到端优化水平,代码已开源。