llama.cpp 与 ggml 发布 v1.0.0 库版本
llama.cpp 与 ggml 发布 v1.0.0 库版本,项目方称这是对下游开发者的责任体现。今后两个项目遇到 API 与 ABI 不兼容时都会提升主版本号,公共 C API 的破坏性变更对应 MAJOR 升级。llama.cpp 目前支持超过 150 种模型架构变体及主流投机解码方法,并已通过 Docker、Homebrew、conda-forge、MacPorts、Winget、XCFramework 等渠道分发。
11月16日 周一 · 今天已挑出 0 条
llama.cpp 与 ggml 发布 v1.0.0 库版本,项目方称这是对下游开发者的责任体现。今后两个项目遇到 API 与 ABI 不兼容时都会提升主版本号,公共 C API 的破坏性变更对应 MAJOR 升级。llama.cpp 目前支持超过 150 种模型架构变体及主流投机解码方法,并已通过 Docker、Homebrew、conda-forge、MacPorts、Winget、XCFramework 等渠道分发。
NVIDIA 在 KubeCon + CloudNativeCon 上宣布把用于保障和治理自主智能体的开源运行时 NVIDIA OpenShell 贡献给 CNCF,作为 Sandbox 项目由社区治理。NVIDIA 同时参与 Google 主导的 Agent Substrate 项目,并发布 DSX AI Factory Platform 的三个新组件 NVIDIA Kubernetes Engine、NVIDIA Kubernetes Recipes 和 NVIDIA Snapshot,其中前两者已进入公开预览。NVIDIA 称 OpenShell 上线不到一年已有数百家组织使用、收到数万次贡献;Snapshot 在 Crusoe 上用 NVIDIA HGX B300 测试 GLM-5.3,工作负载就绪时间从约 8 分钟缩短到 31 秒。
DeepSeek 开源自研推理框架 DeepInfer,该框架正以高吞吐、低延迟支撑 DeepSeek-V4.1-Flash 的大规模运行。DeepSeek 表示公开这套生产栈是为了帮助社区降低算力成本与能耗,代码已发布在 github.com/deepseek-ai/DeepInfer。
已经到底了