Артефакты нейросетей: руки, зубы, украшения и другие слабые места

Ошибки генеративных моделей распределены неравномерно. Есть места, где они возникают почти всегда, и понимание причины помогает находить их за секунды.

Руки

Самый известный случай. Причина не в сложности формы, а в вариативности: кисть принимает тысячи положений, пальцы перекрывают друг друга, а в обучающих данных руки чаще всего мелкие и нечёткие. Модель усвоила, что «здесь несколько вытянутых объектов», но не усвоила, что их ровно пять.

Зубы

На фотографиях зубы обычно занимают мало пикселей и часто размыты. Модель воспроизводит «светлую область во рту», не понимая границ отдельных зубов. При улыбке крупным планом это сразу заметно.

Украшения и повторяющиеся элементы

Цепочка, браслет, кружево, шнуровка — всё, что состоит из одинаковых звеньев. Модель понимает фактуру, но не понимает счёт: звенья то сливаются, то удваиваются, а цепочка может уйти под кожу и не выйти обратно.

Текст

Надписи на одежде и предметах превращаются в псевдобуквы. Причина та же — модель воспроизводит облик текста, а не его смысл.

Как искать быстро

• Сначала кисти и пальцы
• Затем границы: где предмет пересекает тело
• Затем симметричные пары: серьги, обувь, рукава — они часто разные
• Затем мелкие повторы: зубы, звенья, ресницы
• В последнюю очередь фон: там ошибки заметны меньше всего

Что исправимо

Локальная перегенерация нужного участка решает большинство проблем с руками и украшениями. Не исправляется композиционная ошибка — когда неверна сама постановка фигуры: проще сгенерировать заново, чем чинить.

Материалы предназначены для лиц старше 18 лет и носят информационный характер.