Google DeepMind представил новый член семейства открытых моделей Gemma 4, который принципиально отличается от остальных. DiffusionGemma не генерирует текст линейно, как большинство ИИ-моделей. Вместо этого он может производить весь блок текста параллельно. По словам Google, это делает модель быстрее и более эффективной при работе на локальном оборудовании.
Большинство ИИ-моделей авторегрессивные — они генерируют текст слева направо, один токен за раз. DiffusionGemma больше похож на модели генерации изображений, которые начинают со статики и затем удаляют шум для создания нужного контента. Эта модель использует поле placeholder токенов, проходящих по canvas несколько раз, чтобы генерировать вероятные токены и использовать их для улучшения оценки других. В конце процесса модель финализирует свои токеновые выходы в одном большом блоке — «обешумлённом» текстовом canvas.
DiffusionGemma довольно крупный в мире открытых моделей Google. Это модель Mixture of Experts (MoE) с общим количеством параметров 26 миллиардов, но во время инференса активируются только 3,8 миллиарда. Это означает, что она должна помещаться в 18GB RAM выделение высококлассного GPU. В тестах с RTX 5090 DiffusionGemma выдавал около 700 токенов в секунду. С одним Nvidia H100 AI акселератором DiffusionGemma может производить более 1000 токенов в секунду. Это примерно в четыре раза больше выходной мощности аналогичных по размеру авторегрессивных моделей Gemma.
Множество путей к локальной эффективности
Если диффузия так быстрее, почему Google не использует её в больших облачных моделях Gemini? Google экспериментировал с этим, но есть несколько недостатков текстовой диффузии, включая более высокую частоту ошибок. В моделях диффузии изображений один плохо предсказанный пиксель не делает изображение бесполезным, но язык дискретный. Ошибка в тексте может сделать блок токенов бессмысленным и заставить вас начать заново для получения лучшего результата. Диффузионные модели также тратят ресурсы, когда желаемый вывод составляет всего несколько токенов. Они должны делать гораздо больше параллельной работы, чтобы сократить до, скажем, пяти токенов, которые авторегрессивная модель делает от начала до конца всего за пять шагов.
DiffusionGemma примерно так же способен, как другие модели Gemma, но он гораздо быстрее. Прирост эффективности для локальной обработки делает это привлекательным направлением экспериментов. В облаке авторегрессивные модели могут группировать большое количество вычислений от нескольких пользователей, поэтому они всегда выдают токены, а высокопроизводительная память (HBM), используемая в этих системах, может перемещать данные гораздо более эффективно.
Напротив, локальный ИИ встречает потерянные циклы вычислений из-за более низкой пропускной способности памяти и времени простоя. Диффузионные модели могут более эффективно использовать доступные вычисления, но это не единственный способ. Google также начал реализовывать Multi-Token Prediction (MTP) drafters, которые используют в противном случае потерянные циклы вычислений для предсказания возможных токенов, чтобы увеличить скорость. Но диффузия даже быстрее, чем MTP версии Gemma.
Google подчеркивает, что DiffusionGemma экспериментальный, но он доступен под той же Apache 2.0 лицензией, как и все другие модели Gemma четвертого поколения. Веса модели можно скачать сегодня с Hugging Face. Google сообщает, что работал с Nvidia, чтобы обеспечить оптимизацию DiffusionGemma для различных настроек, включая высококлассные RTX GPU (quantized) и корпоративные системы, такие как H100 или DGX Spark platform.
