Как работает генерация изображений: диффузия простыми словами

Большинство современных генераторов изображений построены на диффузии. Идея настолько неочевидная, что кажется шуткой: чтобы научиться рисовать, модель сначала учат портить картинки.

Обучение наоборот

Берут изображение и постепенно добавляют к нему случайный шум — шаг за шагом, пока не останется однородная рябь. Модель учат предсказывать, какой именно шум был добавлен на каждом шаге.

Научившись этому, она умеет и обратное: взять чистый шум и последовательно убирать из него предсказанный шум. Через несколько десятков шагов из ряби проступает изображение.

Что такое шаги

Число шагов — это сколько раз модель проходит цикл очистки. Мало шагов — результат сырой, размытый. Много — детальнее, но дольше и с убывающей отдачей: разница между двадцатью и сорока шагами заметна, между сорока и восемьюдесятью обычно нет.

Откуда берётся управление текстом

Параллельно с изображениями обучается текстовый кодировщик: он превращает описание в набор чисел, а модель учится связывать эти числа с содержанием картинок. При генерации текстовое описание задаёт направление, в котором из шума проявляется изображение.

Отсюда важное следствие: модель понимает не слова, а статистические связи между словами и картинками из обучающего набора. Если понятие в наборе встречалось редко, описание не сработает, сколько его ни уточняй.

Почему один и тот же запрос даёт разное

Стартовый шум каждый раз новый. Его задаёт число — зерно. Зафиксировав зерно и все настройки, можно повторить результат в точности, что удобно, когда нужно изменить одну деталь, сохранив остальное.

Материалы предназначены для лиц старше 18 лет и носят информационный характер.