ControlNet video2video workflow - Apkawa/stable-diffusion-wiki-awesome GitHub Wiki
Подготовка видео
Нужно сохранить исходное видео покадрово в файлы jpeg. Для этого есть 2 варианта
- Воспользоваться онлайн конвертерами, например https://ezgif.com/video-to-jpg
ffmpeg -i input.mp4 -vf fps=10 output/%04d.jpg
- опционально можно передать параметр
-t 10
- только первые 10 секунд видео
- опционально можно передать параметр
Настройка
Settings/ControlNet
установлен чекбоксDo not append detectmap to output
Процесс
- На вкладке
img2img
сначала копируем картинку. - Включаем ControlNet
- Выбираем нужный препроцессор и модель, например canny
- Играемся с тем во что хотим превратить исходное изображение, фиксируем сид и прочие параметры
- Очищаем картинку из img2img и контрола, переходим на вкладку
Batch
- в input папка со всеми картинками, в output - куда будут положены будущие кадры
- Жмем, ждем. на 10 секунд нужно где то 30 минут, в зависимости от настроек
Получение видео
- https://ezgif.com/maker
ffmpeg -f image2 -r 10 -i output/%04d.jpg -vcodec libx264 -crf 18 -pix_fmt yuv420p output.mp4
-r 10
framerate (fps)