跳到正文
部署工程

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

11 条精选近 30 天 10 条共收录 165 条

更新

部署工程的精选

今天11月16日周一第 1–11 条
  1. 模型发布·IT之家

    腾讯混元发布 Hy4 flash 模型:224B 总参、12B 激活,单任务成本约 Hy4 的 5%

    腾讯混元团队正式推出 Hy4 flash,总参数量 224B,其中含 64B Engram 参数,每个 token 激活 12B,支持多模态输入与 100 万 token 上下文,官方称其为迄今性价比最高的 Hy 模型。在官方 WorkBuddy 任务评测集 WorkIndex 上,Hy4 flash 单任务成本为 Hy4 preview 的 1/13、Hy4 的 1/20,以及 DeepSeek-V4.1-Flash-1017 的 1/8,综合效果略优于 Hy4 preview。该模型已在腾讯云 TokenHub、WorkBuddy、元宝、企业微信、QQ、ima、Marvis 等产品上线,并即将接入 OpenRouter;11 月 30 日前 WorkBuddy 限时免费、TokenHub API 限时 5 折,官方同时表示计划开源。

  2. 模型发布·Qwen (@Alibaba_Qwen)官方

    阿里发布Qwen4 Max,智能指数43分超Qwen3.8 Max 9分

    阿里发布Qwen4 Max,在Artificial Analysis智能指数(xhigh推理档)得43分,比Qwen3.8 Max高9分,比Kimi K3.1 Pro低3分。每任务成本$3.27,约为Qwen3.8 Max($10.02)的三分之一,比Kimi K3.1 Pro($3.68)低约11%,每任务输出token约105k,比Qwen3.8 Max少39%。模型支持1M tokens上下文和文本、图像输入,首方API定价$1.50/$4.50每1M输入输出tokens,缓存命中$0.075。

  3. 公司与融资·爱范儿

    黄仁勋考虑重返英伟达任CEO,硅谷高管组建作战室施压董事会

    据金融时报爆料,因婚外情风波辞职不到几天的黄仁勋正与核心心腹探讨重返英伟达继续担任CEO,硅谷科技高管连夜组建作战室向董事会施压。公开请愿网站Bring Jensen Back签名人数周末突破16万,页面显示含近8000名英伟达现役员工、1400多名老员工和8.6万名股东,但这些标签由签名者自行勾选、未经第三方核验。马斯克、Tim Sweeney、Amjad Masad、Garry Tan等实名站台,Altimeter Capital与Atreides Management负责人周五发公开信要求董事会保留包括请回黄仁勋在内的所有选项;美国财政部长Scott Bessent则在周日电视节目中主张董事会从外部寻找新CEO。

11月14日周六
  1. 产品与应用·AWS Machine Learning Blog官方

    AWS 发布下一代 AgentCore runtime,会话启动快至 15 倍

    AWS 发布下一代 Amazon Bedrock AgentCore runtime 更新,每个会话仍运行在独立的 Firecracker MicroVM 中,会话启动快至 15 倍、算力扩至 4 倍、运行效率提升 68%。会话规格提升到最高 8 vCPU 和 32 GB,支持 10 GB 容器镜像,启动时间低于 2 秒且不受镜像大小和并发影响。计费改为按实际用量,空闲会话可缩容至零,多轮会话每会话内存消耗最多减少 68%,并支持通过 FUSE 将工作数据挂载到 Amazon S3 等文件系统。

  2. 智能体·Google Research Blog官方

    Google 在 Antigravity 开放 /teamwork 多智能体工具

    Google 在 Antigravity 中向外部研究者与开发者开放 /teamwork 多智能体工具,可与 Gemini 4 Argon、Carbon、Hydrogen 及 /boost、Deep Review 配合使用。官方称该工具已在信息论、形式化验证、分子结构解析和内核优化上产出成果,例如 /teamwork-LEAP 自主生成约 180 万行 Lean 的 Weil 猜想形式化。Google 同时开放 1 万名学术研究者六个月的免费高用量档申请,并称后续会把形式化证明模式等更多工作流带入 Antigravity。

11月13日周五
  1. 开源·Hugging Face Blog官方

    llama.cpp 与 ggml 发布 v1.0.0 库版本

    llama.cpp 与 ggml 发布 v1.0.0 库版本,项目方称这是对下游开发者的责任体现。今后两个项目遇到 API 与 ABI 不兼容时都会提升主版本号,公共 C API 的破坏性变更对应 MAJOR 升级。llama.cpp 目前支持超过 150 种模型架构变体及主流投机解码方法,并已通过 Docker、Homebrew、conda-forge、MacPorts、Winget、XCFramework 等渠道分发。

11月12日周四
  1. 产品与应用·Google AI (The Keyword)官方

    Google 发布 Gemini Decisions API 与 Gemini Decision 1 模型

    Google DeepMind 推出 Gemini Decisions API,由新模型 Gemini Decision 1(gemini-decision-1)驱动,已在 Google AI Studio 的 Gemini API 中开放。该接口对文本、图像、音频、视频和 PDF 的同一份多模态输入(上限 256K tokens)一次评估最多 1000 个是/否、多选和评分问题,单次前向打分返回概率与 0 到 1 的置信度,端到端延迟 150-250 ms。定价为每 1M 输入 tokens $0.10、输出 tokens 不计费,并提供 AI Studio 免费额度用于原型开发。

11月11日周三
  1. 开源·NVIDIA Blog官方

    NVIDIA 将 OpenShell 贡献给 CNCF 并发布 DSX AI Factory 新组件

    NVIDIA 在 KubeCon + CloudNativeCon 上宣布把用于保障和治理自主智能体的开源运行时 NVIDIA OpenShell 贡献给 CNCF,作为 Sandbox 项目由社区治理。NVIDIA 同时参与 Google 主导的 Agent Substrate 项目,并发布 DSX AI Factory Platform 的三个新组件 NVIDIA Kubernetes Engine、NVIDIA Kubernetes Recipes 和 NVIDIA Snapshot,其中前两者已进入公开预览。NVIDIA 称 OpenShell 上线不到一年已有数百家组织使用、收到数万次贡献;Snapshot 在 Crusoe 上用 NVIDIA HGX B300 测试 GLM-5.3,工作负载就绪时间从约 8 分钟缩短到 31 秒。

11月10日周二
  1. 产品与应用·Hugging Face Blog官方

    Hugging Face 介绍决策模型及 Transformers 的 DecisionPipeline 支持

    Hugging Face 发文介绍决策模型,并说明 Transformers 已支持 DecisionPipeline、AutoModelForDecision 和 DecisionConfig,模型接收 state 与 questions,直接返回 choice、score、noul 三类带概率的结构化决策,不生成文本。llama.cpp 也支持同一 /v1/systemone 接口,Hub 新增专用标签用于发现这类模型。作者称 TRL 的一等训练支持仍在 PR 阶段,Unsloth 已给出用 LoRA 加决策打分头把生成式 LLM 改造成决策模型的方案。

10月20日周二
  1. 开源·DeepSeek (@deepseek_ai)官方

    DeepSeek 开源自研推理框架 DeepInfer

    DeepSeek 开源自研推理框架 DeepInfer,该框架正以高吞吐、低延迟支撑 DeepSeek-V4.1-Flash 的大规模运行。DeepSeek 表示公开这套生产栈是为了帮助社区降低算力成本与能耗,代码已发布在 github.com/deepseek-ai/DeepInfer。

10月15日周四
  1. 智能体·Google Research Blog官方

    Google 发布地理空间推理智能体技术报告并开源两个新基准

    Google Research 发布地理空间推理智能体技术报告,在四个基准上评估 Gemini 3.8 Flash 与 Gemini 3.1 Pro 的四种配置,并开源 GeoKTools 和 GeoExpertQueries 两个新基准的开发集。报告称接入 Earth AI 专用工具后,GeoExpertQueries、GeoKTools 和 CBGB 得分明显提升,而开放式任务还需前置规划阶段;UnivEARTH 上单靠 LLM 即得 93.6%。同时 Google 扩大 Ask Google Earth 深度分析与 Agent-to-Agent API 的早期访问,WHO 非洲区办在刚果(金)埃博拉疫情中用它数分钟内定位 48 个高风险定居点、逾 4.55 万人。