Гайд по анимациям

Есть несколько расширений которые позволяют сделать анимацию

Deforum

Links

• https://github.com/deforum-art/deforum-for-automatic1111-webui
• https://rentry.org/AnimAnon-Deforum

Мощная штука.

Позволяет перемещаться в пространстве и промптами и еще куча настроек

Например, 2d zoom

https://user-images.githubusercontent.com/16043/230944182-9f2820cd-4e18-4bfb-8bd6-8ec686383c23.mp4

Или 3d FOV change

https://user-images.githubusercontent.com/16043/230944401-de106fed-72a7-471f-b5ef-afff7856d152.mp4

AnimatedDiff

Создает плавную анимацию движения и даже какие то небольшие действия, например поцелуя (без дополнительных промтов). Плюс можно задавать дополнительные промпты типа открыть рот

https://github.com/Apkawa/stable-diffusion-wiki-awesome/assets/16043/2e73c4c7-c024-4fea-ae33-af720ddbbdfe

https://github.com/Apkawa/stable-diffusion-wiki-awesome/assets/16043/b30d1f38-0f86-49c2-a806-2ad0de9a67e1

Важные особенности:

• в Settings/Optimization и активировать галочку Pad prompt/negative prompt to be same length. Иначе будет баг с двумя сценами в видео
• Для некоторых моделей нужен CLIP Skip: 2 в противном случае просто все развалится
• Подобранный сид все равно не будет иметь ничего общего с анимацией, анимации придется перебирать пока не получится хорошая анимация с нужным сидом.

Links

• https://habr.com/ru/articles/771840/

sd-extension-steps-animation

анимация шагов генерации

https://github.com/vladmandic/sd-extension-steps-animation

Сообственно визуализация процесса генерации, то что мы видим в превью когда запускаем generate, пример на странице расширения

https://user-images.githubusercontent.com/16043/230960109-494e3607-70b9-44cd-a0b3-9eaa0ea1a554.mp4

stable-diffusion-webui-prompt-travel

анимация переходов между промптами

https://github.com/Kahsolt/stable-diffusion-webui-prompt-travel

Создает анимацию в разрезе промптов, 1 промпт - 1 строка.

https://user-images.githubusercontent.com/16043/230962196-be834a76-c12a-4ffe-9a52-925298c36b2b.mp4

seed_travel

Анимация переходов между сидами

https://github.com/yownas/seed_travel

https://user-images.githubusercontent.com/16043/230965474-a45dc2f3-c2ca-4fa1-bfd4-a8f4913defb0.mp4

animator_extension

Комбинирует все остальное, между промптами, сидами, моделями. Позволяет создавать более интересные эффекты.

https://github.com/Animator-Anon/animator_extension

На данный момент протестировать не удалось, кривовато работает

stable-diffusion-webui-depthmap-script

Позволяет создать эффект движения для существующего изображения путем построения мешей по карте глубины.

Работает только на вкладке скрипта Depth

https://github.com/thygate/stable-diffusion-webui-depthmap-script

https://www.youtube.com/watch?v=jRmVkIMS-SY

Пример

https://user-images.githubusercontent.com/16043/230951871-81ad2482-aa35-4660-a3c1-52c7604bd3f4.mp4

Гайды

• Гайд с гайдами по анимациям

Продолжение

TODO Поковырять

• https://stable-diffusion-art.com/text-to-video/
• Loopback Wave Script