Бум генеративного искусственного интеллекта взвинтил цены на оперативную память, и Google активно участвует в этом тренде. Теперь компания предлагает менее прожорливые локальные ИИ-модели, выпустив новую версию Gemma 4, которая заполняет пробел в линейке, представленной ранее в этом году. Новая модель настолько эффективна, что её можно запустить на довольно обычном потребительском ноутбуке.
В апреле Google выпустила четыре модели в семействе Gemma 4, что также ознаменовало переход на более открытую лицензию Apache 2.0. Изначально были представлены две оптимизированные для мобильных устройств версии (E2B и E4B) и пара моделей для серьёзных задач (26B Mixture of Experts и 31B Dense). Это оставило довольно большой незаполненный сегмент в середине, куда как раз и попадает новая модель.
Gemma 4 12B значительно мощнее мобильных версий, но для её локального запуска не потребуется 20-тысячный ИИ-ускоритель. Google заявляет, что Gemma 4 12B уникальна тем, что может работать на многих потребительских ноутбуках без потери качества. Если у вас есть компьютер с 16 ГБ системной оперативной памяти или видеопамяти, 12-миллиардная параметрическая модель заработает. Это примерно вдвое меньше, чем у Gemma 4 26B MoE, и, по словам Google, новая модель почти так же способна, судя по результатам тестов.
Компания утверждает, что новая модель способна на сложное многоступенчатое рассуждение и агентские рабочие процессы, которые ранее требовали более крупных вариантов Gemma. Несмотря на меньшее количество параметров, Gemma 4 12B поставляется с недавно разработанными драфтерами Multi-Token Prediction (MTP), которые используют неиспользованные циклы обработки для вычисления возможных будущих токенов. Результат — большая скорость и эффективность. Google выпустила опциональные версии MTP для других моделей Gemma 4, но это первая модель, у которой MTP включён из коробки.
Gemma 4 12B также более эффективна благодаря новому подходу к мультимодальности. Семейство Gemma 4 изначально мультимодально и принимает текст, аудио или изображения в качестве входных данных. Большинство генеративных ИИ-моделей, включая другие варианты Gemma 4, используют специальные энкодеры для обработки нетекстовых входных данных и передачи этой информации в большую языковую модель. Это работает, но увеличивает задержку и использование памяти.
В новой средней по весу модели Google реализовала упрощённый модуль эмбеддинга для зрения, использующий однократное матричное умножение и позиционное эмбеддинг, что позволяет передавать данные в LLM с правильным пространственным восприятием. Это устраняет необходимость в громоздком промежуточном энкодере. Для аудио энкодирования вообще нет. Разработчики нашли метод проецирования исходного аудиосигнала в те же векторы, что используются для текстовых токенов.
Если вы хотите ознакомиться с новой моделью Gemma 4, это можно сделать без скачивания через такие инструменты, как LM Studio, Google AI Edge Gallery и другие. Но вся идея Gemma 4 12B в том, что вы можете запускать её локально и на своих условиях. Если у вас достаточно оперативной памяти, веса модели доступны для немедленной загрузки на Kaggle и Hugging Face. Их размер — чуть меньше 18 ГБ.
