ControlNet video2video workflow - Apkawa/stable-diffusion-wiki-awesome GitHub Wiki

Подготовка видео

Нужно сохранить исходное видео покадрово в файлы jpeg. Для этого есть 2 варианта

  • Воспользоваться онлайн конвертерами, например https://ezgif.com/video-to-jpg
  • ffmpeg -i input.mp4 -vf fps=10 output/%04d.jpg
    • опционально можно передать параметр -t 10 - только первые 10 секунд видео

Настройка

  • Settings/ControlNet установлен чекбокс Do not append detectmap to output

Процесс

  • На вкладке img2img сначала копируем картинку.
  • Включаем ControlNet
  • Выбираем нужный препроцессор и модель, например canny
  • Играемся с тем во что хотим превратить исходное изображение, фиксируем сид и прочие параметры
  • Очищаем картинку из img2img и контрола, переходим на вкладку Batch
  • в input папка со всеми картинками, в output - куда будут положены будущие кадры
  • Жмем, ждем. на 10 секунд нужно где то 30 минут, в зависимости от настроек

Получение видео

  • https://ezgif.com/maker
  • ffmpeg -f image2 -r 10 -i output/%04d.jpg -vcodec libx264 -crf 18 -pix_fmt yuv420p output.mp4
    • -r 10 framerate (fps)

Links