LoRA: как обучить модель под конкретную внешность

LoRA — это небольшая добавка к готовой модели, которая учит её конкретному объекту: лицу, стилю, предмету. Полностью переобучать модель ради одного человека невозможно, а добавку — реально за час на домашней видеокарте.

Как это устроено

Вместо того чтобы менять миллиарды параметров модели, обучается компактный набор поправок к ним. Файл получается размером в десятки мегабайт вместо гигабайтов, а подключается к базовой модели по требованию — и так же отключается.

Сколько снимков нужно

Для лица обычно достаточно от пятнадцати до сорока кадров. Больше не значит лучше: важнее разнообразие, чем количество. Тридцать снимков с разным светом и ракурсами дадут результат лучше, чем двести кадров из одной съёмки.

• Разные ракурсы: анфас, полуоборот, профиль
• Разный свет: студийный, дневной, вечерний
• Разные планы: крупный, поясной
• Одинаковое качество: один размытый кадр в наборе испортит всю выборку

Переобучение

Главная ошибка новичков — учить слишком долго. Переобученная добавка перестаёт быть добавкой: она тащит за собой фон, одежду и позы из обучающих кадров, и внешность становится невозможно поместить в новую сцену. Недообученная модель просто слабее влияет — это исправимо, переобучение нет.

Правовая сторона

Обучение добавки на чужих фотографиях — это создание инструмента для воспроизведения чужой внешности. Даже если сами снимки взяты из открытого профиля, результат подпадает под те же ограничения, что и любая работа с изображением человека: нужно согласие. Технически ничто не мешает, юридически мешает всё.

Материалы предназначены для лиц старше 18 лет и носят информационный характер.