Как изменить готовое видео нейросетью по размеченным кадрам

Чтобы изменить готовый ролик нейросетью, больше не нужно описывать словами, где именно находится нужный объект. Вы ставите ролик на паузу, обводите объект рамкой прямо на кадре и пишете, что с ним сделать. Модель получает и картинку с пометкой, и текст — и меняет именно то, что вы обвели.

Этот приём закрывает главную боль текстового редактирования видео: фраза «убери сумку со стола справа» работает, пока в кадре одна сумка и один стол. Дальше начинается угадывание.

TL;DR

• Что это. Загружаете ролик, ставите на нужном кадре рамку, стрелку или метку, пишете правку — на выходе новый ролик.
• Где живёт. Экшен Видео-редактор Seedance 2.5 в разделе Экшены.
• Вход. MP4 или MOV, до 48 МБ, длина от 2 до 30 секунд. Размеченных кадров — до 30 за один запрос.
• Цена. От 64 токенов за ролик; итог зависит от длительности и разрешения — точную сумму страница показывает до запуска.
• Главное ограничение. Это не монтаж. Модель пересобирает ролик заново, а не режет исходник по таймлайну.
• Доступ. Работает из России без VPN, оплата в рублях; результат остаётся в вашей галерее на pixyn.ru.

Почему разметка на кадре работает лучше описания

Текстовый промпт к видео — это адрес без улицы. Модель знает, что искать, но не знает где. В ролике с двумя людьми фраза «поменяй куртку на пальто» — лотерея.

Размеченный кадр снимает неоднозначность: вы отдаёте модели картинку, на которой нужный объект уже обведён, и в тексте ссылаетесь на неё. Дальше работает не поиск по описанию, а указание пальцем.

Приём опирается на способность моделей video-to-video принимать не только исходный ролик, но и набор опорных изображений. У Seedance это режим reference: до тридцати картинок-подсказок плюс сам ролик.

Так не стоит: «убери всё лишнее и сделай красиво». Модель не знает, что для вас лишнее, и вернёт свою версию красоты. Обведите конкретный объект и напишите, чем его заменить.

Как это выглядит по шагам

1. Загрузите ролик. MP4 или MOV, до 48 МБ, от 2 до 30 секунд. Длинное видео обрежьте заранее — страница откажет до списания, а не после.
2. Найдите кадр. Полоса миниатюр под холстом; стрелками влево-вправо шаг по времени, с Shift — ровно секунда.
3. Разметьте. Рамка, стрелка, кисть, подпись, нумерованная метка или ластик. Инструменты переключаются буквами R, A, B, T, P, E.
4. Примените кадр. Разметка вжигается в картинку, кадр уходит в набор опорных, а в промпт добавляется чип вида @image-1.
5. Опишите правку и запустите генерацию.

Кадров можно применить несколько — под разные моменты ролика. Каждый получает свой номер, и в тексте вы ссылаетесь именно на него.

Что есть в самом редакторе

Холст — не картинка с рамкой, а рабочая поверхность.

• Шесть инструментов. Рамка выделяет область, стрелка задаёт направление движения, кисть обводит сложный контур, подпись пишет текст прямо на кадре, нумерованная метка ставит точку для пошаговых инструкций, ластик убирает лишнее.
• Правка нарисованного. Фигуру можно выделить, перетащить, изменить размер за уголки и удалить клавишей Delete. Стрелку и мазок кисти вдобавок можно повернуть — у рамки и подписи поворота нет намеренно: модель принимает их только по осям, и повёрнутая фигура вернулась бы обратно.
• Отмена и возврат. Ctrl+Z и Ctrl+Shift+Z, история на весь сеанс рисования.
• Зум и сдвиг кадра. Колесо мыши приближает к курсору, зажатый пробел временно превращает любой инструмент в «руку». Клавиши +, − и 0 — приблизить, отдалить, вписать.
• Таймлайн с миниатюрами. Двенадцать кадров под холстом, засечки в местах, где вы уже что-то разметили — видно, что сделано, и не приходится размечать дважды.

Возврат к кадру для правки

Это то, чего нет у похожих сервисов: там применённый кадр — просто картинка, и передумать нельзя. Мы храним вектор разметки, поэтому клик по превью в ленте возвращает разметку на холст: ролик встаёт на нужный таймкод, фигуры оказываются на своих местах, можно дорисовать или стереть лишнее.

Правка заменяет кадр на его же месте — номер и порядок сохраняются. Это важнее, чем кажется: модель адресует картинки их позицией, и если бы кадр уезжал в конец списка, ваша фраза «@image-1 убери серьгу» начала бы относиться к чужой картинке.

Если на холсте лежит неприменённая разметка, редактор не станет её затирать — сначала попросит применить или сбросить.

Настройки, которые видно до запуска

Справа — параметры модели, и меняются они до генерации, а не после:

• Соотношение сторон — от вертикали 9:16 до кинематографичного 21:9, плюс «авто» по исходнику.
• Качество — 480p, 720p, 1080p.
• Длительность — от 4 до 30 секунд.
• Битрейт и нативный звук — модель умеет сгенерировать звуковую дорожку сама.

Стоимость пересчитывается на каждое изменение и показывается прямо на кнопке. Это не косметика: у этой модели надбавка за разрешение идёт за секунду, и переключение с 480p на 1080p меняет сумму кратно. Готовый ролик появляется тут же, на странице, со ссылкой на скачивание — не приходится искать его в галерее.

Промпт собирается автоматически: ваш текст, легенда разметки («красная рамка — объект для замены») и непрерывная шкала таймингов. Последнее — требование модели: отрезки должны идти без дыр и перекрытий, иначе она выберет наугад, к какому моменту относить инструкцию.

Промпт, который можно скопировать

Формулировка, работающая стабильнее прочих: ссылка на кадр, затем действие, затем что сохранить.

@image-1 замени коричневую сумку на столе на чёрный рюкзак того же размера.
@image-2 убери отражение в стекле справа.
Всё остальное — люди, свет, движение камеры и порядок событий — оставь без изменений.

Последняя строка не украшение. Без явного «остальное не трогай» модель считает себя вправе переосмыслить сцену целиком: меняется свет, приезжает другой ракурс, люди в кадре получают другую одежду.

Чего эта схема не умеет

Список не маркетинговый — это то, обо что спотыкаются на практике.

Задача	Результат
Порезать ролик, склеить дубли, наложить титры	Не подходит. Это монтаж, берите монтажную программу
Заменить лицо конкретного человека	Модель может отказать на входе: реальные лица часто блокируются
Мелкий текст на вывеске или этикетке	Переписывается нестабильно, часто превращается в похожие закорючки
Ролик длиннее 30 секунд	Не примет. Резать заранее
Точный липсинк под новую реплику	Отдельная задача и отдельные модели

Отдельная ловушка — слова-переключатели. Глаголы «продолжи», «extend», «continue» переводят модель в режим продолжения ролика. В нём она сама выбирает формат и длительность, ваши настройки игнорируются, а отказ приходит асинхронно — уже после списания. Страница предупреждает о таких словах до запуска, но формулировку всё равно лучше менять на «замени», «убери», «добавь».

Вторая ловушка тоньше: разметка иногда прожигается в результат. Модель принимает вашу красную рамку за часть сцены и рисует её в готовом ролике. Мы добавляем в промпт отдельную инструкцию против этого, но полностью явление не исчезает — на однотонном фоне контурная рамка проходит чаще.

Когда НЕ брать

• Нужен точный тайминг. Модель пересобирает ролик заново; кадр в кадр с исходником он не совпадёт.
• Ролик — документ. Съёмка для суда, отчётности или медицины: изменённое видео перестаёт быть доказательством.
• Правок больше пяти-шести. Дешевле и предсказуемее переснять или отдать монтажёру.
• Важна каждая секунда исходника. Секунды входного ролика тарифицируются, и тридцатисекундное видео ради правки в одном кадре — переплата. Обрежьте до нужного фрагмента.

Сколько стоит

Стоимость считается за ролик и зависит от длительности и разрешения: чем длиннее и чем выше качество, тем больше. Начальная точка для этой модели — от 64 токенов, а точную сумму страница показывает на кнопке до запуска, ещё до списания.

Совет по экономии простой: сначала прогоните правку на 480p и коротком фрагменте, убедитесь, что модель поняла задачу, и только потом повторите на нужном разрешении.

Что почитать дальше

• Улучшить качество видео нейросетью — если ролик нужно не менять, а вытянуть по резкости и разрешению.
• Замена фона в видео — когда объект остаётся, а меняется всё вокруг него.
• Seedance 2.5: три режима видео — разбор самой модели: режимы, расход токенов и правда про 4K.
• Что умеет Seedance — семейство моделей целиком.

Модель разрабатывает ByteDance — описание семейства Seedance есть на официальной странице ByteDance Seed.

Часто задаваемые вопросы

Исходный ролик остаётся прежним? Да. Модель не правит ваш файл, а собирает новый ролик. Исходник остаётся у вас.

Можно разметить несколько моментов в одном ролике? Можно, до тридцати кадров за запрос. Каждый получает свой номер, и в промпте вы обращаетесь к нужному через @image-2. Если удалить кадр из ленты, номера у оставшихся сдвинутся автоматически — вместе с упоминаниями в тексте.

Почему на готовом ролике видно мою красную рамку? Модель иногда принимает разметку за часть сцены. Помогает более тонкая линия и цвет, контрастирующий с фоном; на однотонных поверхностях явление встречается чаще.

Ролик длиннее 30 секунд — что делать? Обрезать до нужного фрагмента перед загрузкой. Страница откажет на входе, до списания токенов, так что деньги не пропадут — но время потеряете.

Чем это отличается от текстового промпта к видео? Текст описывает объект, разметка на него указывает. Разница видна там, где в кадре несколько похожих предметов: словами их приходится различать описанием, рамкой — одним движением.

Коротко

Разметка на кадре — это способ показать модели пальцем вместо того, чтобы объяснять словами. Работает там, где объект видно и его можно обвести: заменить предмет, убрать лишнее, поменять деталь одежды. Не работает там, где нужен монтаж, точный тайминг или неприкосновенный исходник.

Попробовать можно на странице Видео-редактора — ролик, рамка, фраза. Чтобы запустить, нужно создать аккаунт: новым пользователям открыт бесплатный старт, оплата из России проходит в рублях.