伯克利提出SPEX:可扩展识别LLM关键交互
Identifying Interactions at Scale for LLMs
Berkeley AI Research博客介绍SPEX与ProxySPEX算法,利用稀疏性、低阶性和层次性,将特征、数据与模型组件归因中的交互发现扩展到数千组件规模;ProxySPEX约少10倍消融即可匹配SPEX,代码已并入SHAP-IQ仓库。
BBerkeley AI Research阅读原文Identifying Interactions at Scale for LLMs
Berkeley AI Research博客介绍SPEX与ProxySPEX算法,利用稀疏性、低阶性和层次性,将特征、数据与模型组件归因中的交互发现扩展到数千组件规模;ProxySPEX约少10倍消融即可匹配SPEX,代码已并入SHAP-IQ仓库。
BBerkeley AI Research阅读原文