18. 8. 22:10
Na GitHubu se objevil zajímavý projekt oMLX, což je výkonný inferenční server pro lokální provozování velkých jazykových modelů na počítačích s procesory Apple Silicon. Tento nástroj lze pohodlně ovládat přímo z horní lišty macOS a díky inovativnímu ukládání mezipaměti na SSD disk umožňuje bleskově rychlou práci s modely bez zbytečného plýtvání operační pamětí. 👉