Как работает замена лица на видео: по шагам

Замена лица выглядит как единая операция, но внутри это конвейер из пяти шагов. Понимание того, где именно всё ломается, экономит часы бессмысленных перезапусков.

Шаг 1. Детекция

В каждом кадре находится лицо и расставляются опорные точки: углы глаз, крылья носа, контур губ и подбородка. Если в кадре несколько человек или лицо частично закрыто рукой, ошибка на этом шаге тянется дальше по всей цепочке.

Шаг 2. Выравнивание

Найденное лицо приводится к стандартному положению — как будто человек смотрит прямо. Так модель работает всегда в одной системе координат, независимо от исходного поворота головы.

Шаг 3. Реконструкция

Собственно генерация: по референсу строится лицо в том выражении и под тем углом, которые заданы кадром целевого видео. Это самый ресурсоёмкий шаг и единственный, где действительно работает нейросеть.

Шаг 4. Вписывание

Готовое лицо возвращается в кадр и смешивается с исходным по маске. Границу маски приходится подбирать: слишком тесная оставляет видимый шов у линии волос, слишком широкая тянет за собой чужую форму черепа.

Шаг 5. Цвет

Референс снимали при одном свете, целевое видео — при другом. Без выравнивания тона лицо выглядит наклеенным. Здесь же решается вопрос зерна: если у видео заметный шум, а у сгенерированного лица кожа идеально чистая, подмена считывается мгновенно.

Где ломается чаще всего

На первом и четвёртом шагах. Детекция сбивается на резких поворотах, при закрытом лице и в темноте. Вписывание подводит на границе с волосами — особенно если у человека в кадре чёлка или распущенные пряди.

Материалы предназначены для лиц старше 18 лет и носят информационный характер.