Meta vydala Spark 1.3 pouhé čtyři týdny po předchozí verzi. V testu Artificial Analysis se veřejná varianta xhigh vyrovnala Solu a Groku, jedna úloha však stojí 0,55 dolaru místo přibližně 0,95. Za obdobnou kvalitu a výkon výrazně lepší cena! Stojí to za pozornost?
Dobrý výkon za půldolar…
Souhrnný index Artificial Analysis vypadá k 3. září následovně:
| Model | Index | Cena za úlohu | Ceník za tokeny |
|---|---|---|---|
| Claude Fable 5.1 (max) | 66 | ||
| Claude Opus 5 (max) | 63 | 2,34 | 5 / 25 |
| Muse Spark 1.3 (max) | 62 | 1,25 / 4,25 | |
| Muse Spark 1.3 (xhigh) | 61 | 0,55 | 1,25 / 4,25 |
| GPT-5.6 Sol (max) | 61 | ~0,95 | 5 / 30 |
| Grok 4.6 (high) | 61 | ~0,95 | 2 / 6 |
Veřejně dostupná varianta xhigh má tedy stejných 61 bodů jako Sol i Grok a úloha na ní vyjde na 0,55 dolaru místo 0,95. To je zhruba o čtyřicet procent méně za srovnatelný výsledek. Proti Opusu 5, který je o dva body výš, je rozdíl v ceně čtyřnásobný.
Spark skočil
Oproti předchozí verzi Spark 1.2 poskočila novinka o čtyři až pět bodů Indexu. Jak to?
Tak především, problém s dlouhým kontextem se prakticky vyřešil. Na benchmarku MRCR, který měří schopnost najít a propojit informace rozeseté v obřím kontextu, dosáhl model v rozsahu 512 tisíc až milion tokenů 98,1 procenta. Předchozí verze měla 55,5 a GPT-5.6 Sol má 73,8. Opus 5 v tom řádku nemá data radši vůbec. Na síti X se hned objevila domněnka, že benchmark může být částečně přeučený, protože vzorek úloh je malý. U čísla, které vypadá takhle dobře, tedy raději počkejme na další potvrzení. Právě aktualizuju Muse Code, abych to viděl v praxi.
V červenci jsem o Muse Sparku 1.1 psal, že ho Meta tlačí na kódování, jenže tehdy byl ve skutečnosti v programování byl slabý. To už je minulost. Verze 1.3 v testech exceluje. Meta k tomu uvádí, že model spotřebuje o čtvrtinu méně tokenů a udělá o pětinu méně volání nástrojů než jeho předchůdce. Tím se dostává na tu nízkou cenu za splněnou úlohu. O šetření tokenů jsou určité pochybnosti, ještě uvidíme, co praktické zkušenosti a další testy…
Tři místa, kde si Meta pomohla
Tabulka občas srovnává jablka s hruškami. Meta v ní staví verzi 1.3 v režimu max proti verzi 1.2 v režimu xhigh. Část zlepšení je tedy jen změna efortu. Navíc je režim max zatím v omezeném náhledu, běžný zákazník si ho nezapne.
Harness posunul čísla o čtyři body. Tak to chodí. Na tenhle problém narážím pravidelně. Rozdíl mezi harnessy dělá běžně víc než rozdíl mezi generacemi modelů.
Na nezávislém žebříčku Stata Benchmark, který testuje ekonometrický kód, se Muse Spark 1.3 umístil třetí s 88 procenty. Po sítích se to šířilo jako tvrzení, že model poráží všechno kromě Claude Fable. Ve skutečnosti je rozdíl mezi nimi jedna dokončená úloha z 220 a od třetího místa po dvanácté je rozdíl pěti úloh. Zázrak se nekoná, odstup je prostě maličký.
Placení daty a ne-otevřené váhy
Meta k modelu nabízí druhý koncový bod, takzvaný Contributor, kde stejný model stojí kolem 0,10 dolaru za milion vstupních tokenů a 0,20 za výstupní, tj. cca 12x méně než standardní sazba. Rozdíl platíte tím, že Meta smí na vašich datech trénovat. Já ho rád používám na projektech, kde mám stejně veřejná data, na veřejném repozitáři, kde je to fuk. Ale ne každý projekt je takový. Do srovnání jsem ho tedy neuvedl, to je tak na hobby projekty.
Zuckerberg 10. srpna oznámil otevření vah modelu Muse Spark 1.2, jenže to nějak neklaplo a otevřené váhy pořád nejsou venku. Takových slibů už Zuckerberg v minulosti pár dal, tohle je třetí. I nový Spark tak zatím zůstává uzavřeným modelem. Až váhy Meta vydá, dáme si vědět, ale zatím sliby-chyby.
Kdy Spark 1.3 dává smysl
Muse Spark 1.3 stojí za vyzkoušení, pokud provozujete agenty nebo programujete a hlídáte náklady. Jenže ruku na srdce, pokud máte Codex nebo Claude Code v paušálním tarifu, tak vás moc ceny Sparka zajímat nemusí, pravděpodobně se do tarifu vejdete. Pokud kódujete za API ceny, bude situace výrazně jiná, jenže to už jste také zvyklí na to, jak na vás reaguje váš stávající model. Přeškolovat se na nový model není snadné a nechce se to každému. V USA, kde hodně firem jede za API ceny, to bude důležité, v Česku, kde naopak převládají paušály, bude vliv Muse Spark asi menší…