NVIDIA Nemotron 3.5 Lightning is an open mixture-of-experts model from NVIDIA, with 3B active parameters out of 30B total. It is suited for high-throughput agentic workloads and specialized tasks that…
Unikátní charakteristiky
Nemotron 3.5 Lightning je vysoce optimalizovaný MoE model, který při inferenci aktivuje pouze 3 miliardy parametrů z celkových 30 miliard. Díky této architektuře dosahuje extrémně vysoké propustnosti a nízké latence, což jej činí ideálním pro nasazení v autonomních agentech a iterativních úlohách náročných na rychlost.
Silné stránky
Rychlost a propustnost
Díky aktivaci pouze 3B parametrů nabízí bleskovou inferenci, která je kritická pro real-time aplikace a rychlé agentní smyčky.
Cenová efektivita
S cenou 0,10 USD za vstup a 0,25 USD za výstup patří k nejlevnějším modelům na trhu, což umožňuje masivní škálování úloh.
Symetrický kontext
Model podporuje masivních 262 144 tokenů nejen na vstupu, ale i na výstupu, což je v oboru velmi vzácné a umožňuje generování extrémně dlouhých dokumentů.
Slabé stránky
Omezené uvažování
S pouze 3B aktivními parametry nedosahuje hloubky komplexního uvažování (reasoning) jako větší a výpočetně náročnější modely.
Absence multimodality
Model je striktně textový (text-to-text) a nepodporuje zpracování obrazu, zvuku ani videa.