22. 7. 05:34
Nový tokenizer Gigatoken je přibližně 500 až 1000krát rychlejší než HuggingFace a zhruba 100krát rychlejší než tiktoken od OpenAI. Tyto konkurenční nástroje přitom již využívají vícevláknové implementace v jazyce Rust. 👉
Nový tokenizer Gigatoken je přibližně 500 až 1000krát rychlejší než HuggingFace a zhruba 100krát rychlejší než tiktoken od OpenAI. Tyto konkurenční nástroje přitom již využívají vícevláknové implementace v jazyce Rust. 👉