Почему дипфейк дрожит на поворотах и как это лечится

Дрожание — не единая проблема, а три разные, которые лечатся по-разному. Первое, что нужно сделать, — определить, какая именно перед вами.

Тип 1. Покадровое мерцание

Лицо целиком слегка меняет форму или яркость от кадра к кадру. Причина в том, что каждый кадр обрабатывался независимо и модель каждый раз принимала чуть иное решение.

Лечится временным сглаживанием: результат обрабатывается с учётом соседних кадров, а не изолированно. Побочный эффект — лёгкая потеря резкости, поэтому важно не переусердствовать.

Тип 2. Скачки границы

Само лицо стабильно, но шов с окружением дёргается. Обычно это ошибка детекции: на части кадров опорные точки нашлись чуть иначе, и маска сместилась.

Лечится сглаживанием траектории опорных точек по времени и расширением маски. Если сбои приходятся на конкретные кадры — проще вырезать этот фрагмент, чем бороться с ним настройками.

Тип 3. Плавающий тон

Лицо постепенно уходит в другой оттенок на протяжении ролика. Причина — автоматическая цветокоррекция, подстраивающаяся под каждый кадр отдельно, или смена освещения в сцене.

Лечится фиксацией параметров цвета по опорному кадру для всего фрагмента.

Что важнее всего

Стабильность целевого видео. Съёмка со штатива даёт результат заметно чище, чем съёмка с рук, — даже при одинаковых настройках обработки. Дрожание камеры складывается с дрожанием генерации, и заметность растёт быстрее, чем сумма.

Материалы предназначены для лиц старше 18 лет и носят информационный характер.