跳到正文
多模态

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

12 条精选近 30 天 12 条共收录 55 条

更新

多模态的精选

今天11月16日周一第 1–12 条
  1. 模型发布·IT之家

    腾讯混元发布 Hy4 flash 模型:224B 总参、12B 激活,单任务成本约 Hy4 的 5%

    腾讯混元团队正式推出 Hy4 flash,总参数量 224B,其中含 64B Engram 参数,每个 token 激活 12B,支持多模态输入与 100 万 token 上下文,官方称其为迄今性价比最高的 Hy 模型。在官方 WorkBuddy 任务评测集 WorkIndex 上,Hy4 flash 单任务成本为 Hy4 preview 的 1/13、Hy4 的 1/20,以及 DeepSeek-V4.1-Flash-1017 的 1/8,综合效果略优于 Hy4 preview。该模型已在腾讯云 TokenHub、WorkBuddy、元宝、企业微信、QQ、ima、Marvis 等产品上线,并即将接入 OpenRouter;11 月 30 日前 WorkBuddy 限时免费、TokenHub API 限时 5 折,官方同时表示计划开源。

  2. 模型发布·Qwen (@Alibaba_Qwen)官方

    Qwen 发布 Qwen4-Max,新 MoE 架构配 1M-token 上下文

    阿里云 Qwen 发布 Qwen4-Max,基于新 MoE 架构,原生支持视觉,上下文窗口为 1M-token。官方内部评测显示其比 Qwen3.8-Max 最多少用约 50% token,单任务平均成本下降超 60%。API 已在 QwenCloud 上线,输入 $1.5/M tokens、输出 $4.5/M tokens、隐式缓存 $0.075/M tokens,隐式缓存价格较 Qwen3.8-Max 降 70%。

  3. 模型发布·Qwen (@Alibaba_Qwen)官方

    阿里发布Qwen4 Max,智能指数43分超Qwen3.8 Max 9分

    阿里发布Qwen4 Max,在Artificial Analysis智能指数(xhigh推理档)得43分,比Qwen3.8 Max高9分,比Kimi K3.1 Pro低3分。每任务成本$3.27,约为Qwen3.8 Max($10.02)的三分之一,比Kimi K3.1 Pro($3.68)低约11%,每任务输出token约105k,比Qwen3.8 Max少39%。模型支持1M tokens上下文和文本、图像输入,首方API定价$1.50/$4.50每1M输入输出tokens,缓存命中$0.075。

11月13日周五
  1. 产品与应用·爱范儿

    World Labs 开放世界模型 Atlas 并上线网页应用与 API

    World Labs 正式开放世界模型 Atlas,同步上线网页应用和开发者 API,新用户注册送 10000 积分。平台包含 Viewfinder、Chisel、Relight、Splat to mesh 四款工具,覆盖从图片或提示词生成场景、智能体搭白模、重新打光到转 GLB 网格的链路。作者实测用一句提示词生成重庆山城场景,Chisel 内置智能体执行 6 步计划、耗时约 30 分钟,最终场景含 38 级石阶和 8 个零遮挡机位。

  2. 模型发布·Google DeepMind Blog官方

    Google DeepMind 发布 Gemini 4 Hydrogen 模型

    Google DeepMind 发布 Gemini 4 Hydrogen,面向日常编码与智能体工作流,并同步开放给 AI Studio、Gemini API、Gemini app、Google Search 及付费 Pro/Ultra 订阅用户。该模型在 Artificial Analysis 智能指数默认高档得 51 分,高于 Argon 的 50 分,xhigh 档达 54 分;100 万 token 上下文窗口统一按每百万输入 token $1.50、输出 $7.50 计价。相比 Gemini 3.8 Flash,其默认高档完成任务快 2.5 倍,Terminal-Bench 4.1 得分从 18.2% 升至 57%。

  3. 产品与应用·Google AI (The Keyword)官方

    Google Search 全球上线 Gemini 4 Hydrogen 模型升级

    Google Search 面向所有用户全球上线 Gemini 4 Hydrogen,官方称这是 Search 迄今最大的一次模型升级。新模型增强意图理解与指令遵循和工具调用能力,可处理多部分问题、难辨拼写错误和高度具体请求。其推理能力强化查询扇出,跨相关子主题同时检索并给出更多链接,回复也更多采用图片、对比表格和定制工具等可视化形式。

11月12日周四
  1. 产品与应用·Google AI (The Keyword)官方

    Google 发布 Gemini Decisions API 与 Gemini Decision 1 模型

    Google DeepMind 推出 Gemini Decisions API,由新模型 Gemini Decision 1(gemini-decision-1)驱动,已在 Google AI Studio 的 Gemini API 中开放。该接口对文本、图像、音频、视频和 PDF 的同一份多模态输入(上限 256K tokens)一次评估最多 1000 个是/否、多选和评分问题,单次前向打分返回概率与 0 到 1 的置信度,端到端延迟 150-250 ms。定价为每 1M 输入 tokens $0.10、输出 tokens 不计费,并提供 AI Studio 免费额度用于原型开发。

11月11日周三
  1. 模型发布·Simon Willison

    Google 向所有用户开放 Gemini 4 Carbon

    Gemini 4 Carbon 此前两周仅面向部分网络安全人员开放,现已向所有用户开放。该模型定价为输入$2/百万、输出$10/百万,与GPT-6.1 Sol、Claude Sonnet 5.5同档,并计划在12月1日翻倍至$4/$20。作者用低中高三档思考强度各生成一张鹈鹕图,默认中档,并在Google Antigravity IDE中让它生成Three.js动画。

11月10日周二
  1. 产品与应用·One Useful Thing

    Ethan Mollick 实测 Claude Fable 5.2 称其接近 Jagged AGI

    Ethan Mollick 提前试用 Claude Fable 5.2 后认为,按他给出的定义,即 AI 在多数可用电脑完成的知识任务上达到多数人类专家水平,这已接近 AGI,但仍属他所说的 Jagged AGI。他用硬件破解、创业方案、复现 Auden 课程、原创学术论文和 3D 世界生成等项目测试,多数任务达到专家水准,例如一篇 182 页论文和 450 多个由代码实时绘制的世界。他指出主要短板是模型不会自己发现作品冗长、重复或乏味,评审 agent 只查错不查质量,因此他仍不放心让模型独立经营业务。

11月6日周五
  1. 模型发布·Google AI (The Keyword)官方

    Google 发布 Gemini Omni 1.2 Flash 视频模型,支持 15 秒片段并降价 30%

    Google DeepMind 发布 Gemini Omni 1.2 Flash,并在 Gemini API 与 Gemini for business 全面开放。该版本支持原生 15 秒视频生成,可按 1 秒步长指定 3 至 15 秒时长,720p 定价 $0.07/秒,较 Omni 1.1 降价 30%。新增多轮对话式编辑和更强的参考遵循,可组合人物、产品、风格图、3 秒以内运动片段与音频线索,保持人脸、服装和品牌色一致。

  2. 论文与研究·Google Research Blog官方

    Google Research 在 Nature 发表智能手表无袖带检测高血压的多模态 AI 研究

    Google Research 在 Nature 发表多模态 AI 系统 AI-PPG-ACC-HTN,用消费级智能手表的光电容积脉搏波(PPG)与加速度计(ACC)数据被动检测高血压迹象,无需袖带校准。系统先用 2109 名参与者共 492347 小时的无标注传感器数据做自监督预训练,再按人聚合多日嵌入向量并结合身高,用正则化逻辑回归输出连续高血压概率。在覆盖美国 5 个中心、196 名参与者的前瞻性多中心研究中,以 24 小时动态血压监测(ABPM)为金标准,初筛灵敏度 65.8%、特异度 90.0%、PPV 80.6%;在初始诊室血压升高的 48 人子集中,确认测试灵敏度 78.4%、特异度 90.9%、PPV 96.7%。作者称该工作属早期可行性研究,不替代袖带诊断,相关发现已用于 Google Health 应用的血 pressure trends Health Guardian 功能。

10月22日周四
  1. 论文与研究·Google Research Blog官方

    Google Research 研究:AI盲扫超声估孕龄误差4.18天,接近专家水平

    Google Research 在 JAMA Network Open 发表研究,评估AI孕龄评估模型在盲扫超声下的泛化能力。385名16至36周孕妇的前瞻性队列中,AI平均绝对误差为4.18天,专家超声标准为4.48天;芝加哥为4.10天,内罗毕在零本地优化下为4.27天。模型仅用芝加哥120名参与者约6%的原始训练集数据微调,即适配了新的Clarius C3手持探头。