跳到正文
开源官方

SGLang-Neuron登陆AWS Trainium,公开可用

Deploy frontier AI models on AWS Trainium with SGLang-Neuron

Amazon宣布SGLang-Neuron公开可用,通过AWS深度学习容器发布,由RadixArk与Annapurna Labs合作推出。它作为SGLang的树外插件运行在原生PyTorch上,保留原有服务器接口与生成API,支持PD分离与NKI内核,可在Trainium3实例上部署gpt-oss-120b等模型。

AAWS Machine Learning Blog阅读原文

相关阅读

开源·Hugging Face Blog
llama.cpp 与 ggml 发布 v1.0.0 库版本
开源·NVIDIA Blog
NVIDIA 将 OpenShell 贡献给 CNCF 并发布 DSX AI Factory 新组件
开源·DeepSeek (@deepseek_ai)
DeepSeek 开源自研推理框架 DeepInfer