Липсинк нейросетью: говорящий аватар из фото и аудио

TL;DR. Липсинк — это когда нейросеть двигает губы человека на фотографии под заданную звуковую дорожку. На входе нужны две вещи: portrait-изображение и аудио. На выходе — видео, где человек проговаривает вашу запись. В Pixyn это Kling AI Avatar v2 в двух вариантах, Standard и Pro; длительность ролика задаёт длина аудио, поэтому и цена зависит от неё. Работает из России без VPN, расход — от 40 токенов.

---

Три разные задачи, которые называют одним словом

Под «липсинком» в поиске имеют в виду минимум три непохожие вещи. Выбор модели зависит от того, что у вас уже есть на руках.

Что есть на входе	Что получаем	Какой инструмент
Фотография + аудио	говорящий человек с фото	аватар (о нём эта статья)
Готовое видео + аудио	переозвучка с попаданием в губы	липсинк по видео
Готовое видео + текст	озвучка синтезом и синхронизация	липсинк по тексту

Второй и третий варианты не создают человека заново — они перерисовывают губы в вашем ролике. Это то, что нужно для перевода готового видео на другой язык: картинка остаётся вашей, меняется речь. В третьем варианте аудиофайл не нужен вовсе — голос синтезируется по тексту, и можно задать язык и скорость речи.

Дальше — про первый случай, самый частый: одна фотография и звуковая дорожка.

Что нужно на входе

Всего три поля, и два из них обязательны:

Вход	Обязателен	На что влияет
Фотография	да	кто говорит
Аудиодорожка	да	что и как долго говорит
Промпт	нет	подсказка по поведению в кадре

Длительности как отдельной настройки нет — ролик выходит ровно такой, как ваше аудио. Это важно для цены: в базу входит несколько секунд, дальше идёт добавка за каждую следующую. Двухминутная запись обойдётся заметно дороже пятнадцатисекундной, и это видно на кнопке до запуска.

Какое фото подойдёт

Модель работает с лицом, поэтому от исходника зависит почти всё:

• Лицо крупно и анфас. Профиль и полуоборот дают заметные искажения при движении рта.
• Ничего не перекрывает рот и подбородок — микрофон, рука, шарф.
• Ровный свет. Жёсткие тени на лице модель дорисовывает по-своему.
• Одно лицо в кадре. С групповым фото результат непредсказуем.

Так не стоит: брать кадр из движения, где лицо смазано, и ждать чёткой артикуляции.

Липсинк не восстанавливает детали, которых нет в исходнике. Смазанный рот останется смазанным, а движение только подчеркнёт это. Возьмите резкое фото анфас — это влияет на результат сильнее, чем выбор между Standard и Pro.

Как подготовить аудио

Звук здесь важнее, чем кажется: модель синхронизирует губы именно с ним, и всё, что мешает разобрать речь, превращается в неровную артикуляцию.

• Пишите в тихом помещении. Фоновый гул и эхо модель воспринимает как часть дорожки.
• Говорите ровным темпом. Скороговорка и резкие паузы синхронизируются заметно хуже.
• Уберите музыку из-под голоса. Если нужен фоновый трек, накладывайте его после генерации, на монтаже.
• Обрежьте тишину в начале и в конце. Она войдёт в длительность ролика — а значит, и в цену.

Своего голоса нет — текст можно сначала озвучить синтезом речи, а полученный файл подать сюда как аудио. Это обычная связка из двух шагов.

Standard или Pro

Pro даёт более аккуратную мимику и лучше держит лицо на длинных записях, но и стоит дороже — и по базе, и по добавке за секунду.

Практический подход: проверяйте на Standard, финал делайте на Pro. Если на пятнадцати секундах Standard дал приемлемый результат, а вам нужна минута — переходите на Pro. Если Standard заметно исказил лицо, дело чаще в исходном фото, а не в версии модели.

Чего липсинк не умеет

Границы, которые стоит знать до оплаты:

• Не создаёт голос. Нужна готовая аудиодорожка. Если её нет — сначала озвучьте текст, это отдельный шаг.
• Не поворачивает голову. Человек остаётся в том ракурсе, в каком он на фото. Живой жестикуляции и смены планов здесь нет.
• Хуже попадает в быструю речь. Скороговорка и сильные акценты синхронизируются хуже спокойного темпа.
• Не спасает плохой звук. Шум, эхо и обрывы в записи переходят в неровное движение губ.

Где применять

1. Говорящая голова для обучающего ролика — без съёмки и студии.
2. Локализация. Одно фото спикера плюс дорожки на разных языках.
3. Аватар для соцсетей. Короткие вертикальные ролики с одним персонажем.
4. Озвученная презентация. Слайды отдельно, говорящий ведущий отдельно.

Когда НЕ брать

• Нужен человек в движении, с жестами и сменой планов — это обычная генерация видео, не липсинк.
• Нет готового аудио и не планируете его делать.
• Исходное фото в профиль или низкого качества — результат разочарует независимо от версии.
• Нужна точная повторяемость дублей — её не даёт ни одна генеративная модель.

---

Попробовать. Создать аккаунт — на старте начисляем 3 токена. Их хватит на пробную картинку, но не на говорящее видео: расход здесь начинается от 40 токенов и зависит от длины аудио. Тарифы — на странице тарифов.

FAQ

Сколько длится готовое видео? Столько же, сколько ваше аудио. Отдельной настройки длительности нет.

Можно ли сначала озвучить текст, а потом сделать липсинк? Да, это обычный сценарий: сперва синтез речи, потом полученный файл подаётся сюда как аудио.

Почему цена меняется? Она зависит от длины аудиодорожки: в базу входит несколько секунд, дальше добавка за каждую. Как устроен расход — в карточке про токены.

Подойдёт ли рисунок или 3D-персонаж вместо фотографии? Иногда да, но модель обучена на людях: чем ближе исходник к реальному портрету, тем стабильнее результат.

Можно ли перевести готовое видео на другой язык? Да, но это второй сценарий из таблицы выше: берётся ваш ролик, а не фотография, и к нему подаётся новая дорожка или текст. Лицо и обстановка остаются вашими, меняется только речь.

Работает ли из России? Да, через Pixyn — без VPN и зарубежной карты. Подробнее про доступ — в этой статье. Разбор остальных версий Kling — в гайде по семейству.

Источник: карточка Kling AI Avatar v2 у fal — там же видно, что на входе ровно изображение, аудио и необязательный промпт, а длительность видео наследуется от длины аудиодорожки.