Улучшить качество видео нейросетью — онлайн

TL;DR. Нейросеть-апскейлер увеличивает разрешение видео и дорисовывает детали, которых в исходнике не было: мутный ролик с телефона становится чётче, старая запись — смотрибельнее. Но она не восстанавливает то, чего в кадре нет вовсе: сильно смазанное лицо останется неузнаваемым, а текст на вывеске может «дорисоваться» в бессмыслицу. Работает в браузере, без регистрации на зарубежных сервисах и без водяных знаков, расход — от 8 токенов.

Что вообще делает апскейл

Обычное увеличение растягивает пиксели — картинка становится больше и мутнее. Нейросеть работает иначе: она усвоила, как выглядят резкие края, кожа, ткань, листва, — и достраивает недостающие детали по этим закономерностям.

Отсюда главное свойство, которое стоит понять сразу: она не «проявляет» скрытую информацию, а придумывает правдоподобную. На большинстве сюжетов это ровно то, что нужно. На некоторых — источник проблем, о них ниже.

Что улучшается хорошо	Что улучшается плохо
Общая резкость и детализация	Сильно смазанное движение
Кожа, волосы, ткань, природа	Мелкий текст, номера, вывески
Компрессионные артефакты сжатия	Лица на дальнем плане
Старые записи низкого разрешения	Кадры, где объект неразличим

Когда это работает лучше всего

Видео с телефона, снятое в тесном формате — соцсети сжимают ролики, апскейл частично возвращает потерянное.
Старые записи — оцифровка с кассет, семейный архив, ролики нулевых.
Материал для монтажа, где исходник ниже, чем нужно проекту.
Кадры из видео, которые пойдут в печать или на большой экран.

Так не стоит: прогонять через апскейл смазанное видео в надежде прочитать номер машины или лицо в толпе.

Модель не восстановит того, чего в пикселях нет. Она дорисует правдоподобное — и результат будет выглядеть чётким, но окажется выдумкой. Для любых задач, где важна достоверность, апскейл не подходит принципиально: это не «улучшение записи», а генерация похожего.

Чего апскейл не умеет

Не умеет убирать дрожание камеры. Это стабилизация, отдельная задача монтажа.
Не улучшает звук. Работа идёт только с картинкой.
Не чинит пересветы и провалы в тенях. Что выбито в белое, там информации нет.
Не добавляет кадров. Дёрганое видео 15 кадров в секунду останется дёрганым: лимит апскейла — разрешение, а не плавность.
Не делает из вертикали горизонталь. Кадрирование — тоже отдельная работа.

Ступени разрешения и частота кадров

У апскейла есть три ступени, и берут их не «по максимуму», а под задачу:

Ступень	Куда идёт
1080p	соцсети, YouTube, презентации — в большинстве случаев достаточно
2K	монтаж, где нужен запас на кадрирование
4K	большой экран, печать кадров, съёмка под последующий кроп

Каждая следующая ступень дороже предыдущей. И есть отдельная деталь, о которой обычно узнают постфактум: обработка в 60 кадров в секунду стоит вдвое дороже, чем в 30. Если исходник снят в 60 fps, а результат уйдёт в соцсети, где всё равно будет 30, — переплата ни за что.

Форматы на входе принимаются обычные: mp4, mov, webm, m4v и даже gif.

Сколько это стоит и почему

Профильные программы вроде Topaz продаются по подписке, и оплатить их из России сейчас нельзя. Здесь другой принцип: платите за конкретный ролик, а не за месяц доступа. В базовую стоимость входит первая секунда, дальше идёт добавка за каждую следующую — то есть короткий фрагмент обойдётся заметно дешевле, чем полнометражная запись.

Число на кнопке видно до запуска и меняется вместе с длиной ролика. Как устроен расход — в карточке про токены.

Практический порядок

Обрежьте лишнее до апскейла. Платить за секунды, которые не войдут в финальный монтаж, смысла нет.
Начните с короткого фрагмента. Десять секунд покажут, справится ли модель с вашим материалом, — и это дешевле, чем прогнать всё и разочароваться.
Сравните до и после на стоп-кадре. На движении разница видна хуже, чем на паузе.
Не гонитесь за 4К, если ролик уйдёт в соцсети. Там его всё равно пережмут.

Апскейл или пересъёмка

Частая развилка: улучшать имеющееся или снимать заново. Ориентир простой.

Апскейл выигрывает, когда исходник в принципе нормальный, но мелкий: архивная запись, видео из мессенджера, скачанный из соцсети ролик, кадр со старого телефона. Здесь модели есть на что опереться, и результат обычно радует.

Пересъёмка выигрывает, когда проблема не в разрешении: не в фокусе, пересвет, шум от высокого ISO, тряска. Апскейл всё это увеличит вместе с картинкой, а часть артефактов ещё и подчеркнёт — модель воспримет шум за деталь и «дорисует» его аккуратнее, но не уберёт.

Промежуточный случай — когда исходника нет вовсе, а нужен похожий кадр: тогда дешевле сгенерировать сцену заново видеомоделью, чем вытягивать негодный материал.

Когда НЕ брать

Нужно разобрать детали на записи как доказательство — апскейл дорисовывает, а не восстанавливает.
Исходник настолько плох, что объект неразличим глазом: модели тоже не из чего исходить.
Проблема не в разрешении, а в дрожании, звуке или свете — это другие инструменты.
Нужно улучшить фотографию, а не видео — для этого есть отдельный разбор.

Попробовать. Создать аккаунт — на старте начисляем 3 токена. На пробную картинку хватит, на апскейл видео нет: он стоит от 8 токенов и растёт с длиной ролика и выбранной ступенью. Тарифы — на странице тарифов.

FAQ

Будет ли водяной знак? Нет. Результат скачивается как есть.

Нужна ли регистрация на зарубежных сервисах? Нет, и VPN тоже не нужен — всё работает из России. Подробнее про доступ — в этой статье.

До какого разрешения можно поднять? Зависит от исходника: апскейл увеличивает его в несколько раз, но чем хуже оригинал, тем скромнее результат. Из совсем маленького ролика полноценные 4К не получатся.

Сколько занимает обработка? Дольше, чем генерация картинки: модель обрабатывает каждый кадр. Чем длиннее ролик, тем дольше ждать.

Можно ли улучшить видео, скачанное из соцсети? Технически да, и это как раз частый случай — соцсети сильно сжимают. Но помните про авторские права на чужой материал.

Источник: карточка видео-апскейлера ByteDance у fal — там перечислены ступени 1080p/2K/4K, принимаемые форматы и надбавка за 60 кадров в секунду.

Как улучшить качество видео нейросетью