SGLang-Neuron登陆AWS Trainium,公开可用
Deploy frontier AI models on AWS Trainium with SGLang-Neuron
Amazon宣布SGLang-Neuron公开可用,通过AWS深度学习容器发布,由RadixArk与Annapurna Labs合作推出。它作为SGLang的树外插件运行在原生PyTorch上,保留原有服务器接口与生成API,支持PD分离与NKI内核,可在Trainium3实例上部署gpt-oss-120b等模型。
AAWS Machine Learning Blog阅读原文