8. 6. 18:13
Společnost Xiaomi ve spolupráci s týmem TileRT představila model MiMo-V2.5-Pro-UltraSpeed, který jako první na světě překonal rychlost generování 1000 tokenů za sekundu u modelu s bilionem parametrů. Tohoto milníku bylo dosaženo na běžných grafických kartách díky hluboké optimalizaci a co-designu modelu a systému, konkrétně pomocí FP4 kvantizace a spekulativního dekódování DFlash. Tato průlomová rychlost umožňuje nasazení velkých modelů v reálném čase pro úkoly jako je kódování, obchodování nebo lékařská asistence. 👉