NVIDIA accelera l’IA locale con nuovi modelli open source e agenti

NVIDIA ha presentato Nemotron 3.5 Lightning, un modello aperto e personalizzabile progettato per l’esecuzione locale di compiti agentici su PC dotati di GPU NVIDIA RTX e su sistemi DGX Spark. Il modello opera in combinazione con NeMo Switchyard, una libreria di routing open source progettata per bilanciare accuratezza, velocità e costi tra differenti architetture.

Nemotron 3.5 Lightning registra una generazione di token fino a quattro volte più rapida e una riduzione del 30% nei tempi di esecuzione rispetto ai modelli della stessa classe. Il sistema consente l’affinamento locale tramite esempi personalizzati per la gestione di e-mail, calendari, dispositivi domotici e assistenti di programmazione operanti su basi di codice locali.

L’azienda ha inoltre introdotto soluzioni per la scalabilità dei sistemi DGX Spark. Tramite NVIDIA Sync Cluster Assistant è possibile unire due o più unità in un cluster ad alta velocità con routing dei carichi di lavoro e monitoraggio dello stato di rete. Il nuovo NVIDIA Sync Resource Monitor fornisce analisi storiche e in tempo reale dell’utilizzo di CPU e GPU per singoli sistemi o interi cluster. Su DGX Spark viene inoltre integrata la versione nativa di Google Chrome per Linux ARM64.

Tra i modelli open weight ottimizzati per l’hardware dell’azienda figura Muse Glimmer di Meta, un modello da 30 miliardi di parametri progettato per agenti locali e in grado di superare i 200 token al secondo su scheda grafica RTX 5090. Per la creazione e l’editing generativo di video in locale, il modello LTX-2.5 offre un raddoppio delle prestazioni e una riduzione del 40% nell’uso della memoria su GPU RTX, DGX Spark e DGX Station. L’ecosistema dei modelli aperti accelerati comprende inoltre Cosmos 3 Edge, MiniMax-H3, Laguna S 2.1 di Poolside, DeepSeek-V4-Flash, Inkling-Small di Thinking Machines Lab, Unsloth Desktop e Wan-Animate-2.

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.