Система для запуска больших языковых моделей на локальных компьютерах Ollama представила поддержку открытого фреймворка Apple для машинного обучения — MLX. Это ключевое обновление, которое обещает значительно повысить производительность на компьютерах Mac с чипами Apple Silicon (M1 и новее).
Помимо интеграции с MLX, разработчики сообщают об улучшении производительности кэширования и добавлении поддержки формата сжатия моделей NVFP4 от Nvidia. Вместе эти изменения позволяют более эффективно использовать память при работе с определёнными моделями.
Обновление появилось в самый подходящий момент, поскольку локальные модели набирают популярность не только среди исследователей и энтузиастов. Яркий пример — феноменальный успех проекта OpenClaw, который набрал более 300 000 звёзд на GitHub, стал героем новостей благодаря экспериментам вроде Moltbook и вызвал особый ажиотаж в Китае. Всё это побуждает всё больше пользователей экспериментировать с запуском моделей на своих устройствах.
Росту интереса способствует и разочарование разработчиков в облачных сервисах: их сдерживают лимиты на запросы и высокая стоимость подписок на инструменты вроде Claude Code или ChatGPT Codex. Недавнее расширение интеграции Ollama с Visual Studio Code также подогрело эксперименты с локальными моделями для программирования.
Новая поддержка MLX доступна в предварительной версии Ollama 0.19. На текущий момент она работает только с одной моделью — 35-миллиардной версией Qwen3.5 от Alibaba. Однако требования к железу остаются высокими даже по меркам продвинутых пользователей. Помимо Mac с чипом Apple Silicon, для работы требуется как минимум 32 ГБ оперативной памяти.
