Nvidia Dynamo Open-Source Library beschleunigt KI-Inferenzmodelle

NVIDIA Dynamo verbessert die GPU -Ressourcenauslastung in AI -Fabriken durch intelligente Inferenzplanung, erhöht die Token -Output und senkt die Kosten.Es wird eine disaggregierte Servicearchitektur angewendet, in der die LLM -Verarbeitungs- und -generationsphasen über verschiedene GPUs hinweg für eine genauere Optimierung und einen höheren Durchsatz über eine genauere Optimierung und einen höheren Durchsatz verteilt werden.

Jensen Huang, CEO von NVIDIA, erklärte, dass Dynamo einen skalierbaren KI -Inferenzeinsatz ermöglicht und die Leistung und Effizienz von Llama gegenüber Nvidia Hopper mit denselben GPU -Ressourcen verdoppelt.In GB200 NVL72 -Clustern erhöht Dynamo die pro GPU erzeugten Token um 30x.

Darüber hinaus passt Dynamo die GPU -Ressourcen dynamisch an, optimiert Inferenzdatenspeicher und reduziert die Berechnungs- und Routingkosten.Es unterstützt Pytorch, Sglang, Tensorrt-LlM und VLLM und beschleunigt die Akzeptanz von KI-Inferenz in den wichtigsten Unternehmen, einschließlich AWS, Google Cloud, Meta und Microsoft Azure.