llama.cpp 与 ggml 发布 v1.0.0 库版本
llama.cpp 与 ggml 发布 v1.0.0 库版本,项目方称这是对下游开发者的责任体现。今后两个项目遇到 API 与 ABI 不兼容时都会提升主版本号,公共 C API 的破坏性变更对应 MAJOR 升级。llama.cpp 目前支持超过 150 种模型架构变体及主流投机解码方法,并已通过 Docker、Homebrew、conda-forge、MacPorts、Winget、XCFramework 等渠道分发。
公司与模型
Hugging Face 社区的热门开源模型、数据集、工具与榜单变化。
2 条精选近 30 天 2 条共收录 11 条
llama.cpp 与 ggml 发布 v1.0.0 库版本,项目方称这是对下游开发者的责任体现。今后两个项目遇到 API 与 ABI 不兼容时都会提升主版本号,公共 C API 的破坏性变更对应 MAJOR 升级。llama.cpp 目前支持超过 150 种模型架构变体及主流投机解码方法,并已通过 Docker、Homebrew、conda-forge、MacPorts、Winget、XCFramework 等渠道分发。
Hugging Face 发文介绍决策模型,并说明 Transformers 已支持 DecisionPipeline、AutoModelForDecision 和 DecisionConfig,模型接收 state 与 questions,直接返回 choice、score、noul 三类带概率的结构化决策,不生成文本。llama.cpp 也支持同一 /v1/systemone 接口,Hub 新增专用标签用于发现这类模型。作者称 TRL 的一等训练支持仍在 PR 阶段,Unsloth 已给出用 LoRA 加决策打分头把生成式 LLM 改造成决策模型的方案。