跳到正文
开源官方

DeepSeek 开源自研推理框架 DeepInfer

🚀 Introducing DeepInfer, our in-house inference framework, now fully open source!

DeepSeek 开源自研推理框架 DeepInfer,该框架正以高吞吐、低延迟支撑 DeepSeek-V4.1-Flash 的大规模运行。DeepSeek 表示公开这套生产栈是为了帮助社区降低算力成本与能耗,代码已发布在 github.com/deepseek-ai/DeepInfer。

要点

  1. DeepInfer 支撑 DeepSeek-V4.1-Flash 大规模高吞吐低延迟运行
  2. 代码托管于 github.com/deepseek-ai/DeepInfer
对你有什么影响

DeepSeek 公开了支撑 V4.1-Flash 的生产推理栈,关注部署成本与吞吐的团队可据此评估自建推理方案。

DDeepSeek (@deepseek_ai)阅读原文(英文)

相关阅读

开源·Hugging Face Blog
llama.cpp 与 ggml 发布 v1.0.0 库版本
开源·NVIDIA Blog
NVIDIA 将 OpenShell 贡献给 CNCF 并发布 DSX AI Factory 新组件
模型发布·IT之家
华为云发布并开源昇腾原生具身世界模型CloudRobo-WM1.2