KEN’S CAT LOG

Ускоряющая LoRA для MiniMax H3: насколько она действительно быстрее? Сравнение 20 видео в FL2 и REF4

Сравнили arry v4_step600 для FL2 и PDD Ref2VA для REF4 с ускоряющей LoRA и без неё на 20 видео. Замерили время генерации и различия в результате.

Я добавил ускоряющую LoRA в FL2 и REF4 для MiniMax H3 и решил проверить, насколько меняется время генерации при одинаковых условиях.

Использовал такую конфигурацию.

  • FL2: arry v4_step600. Обычная версия — 20 шагов, версия с ускоряющей LoRA — 8 шагов
  • REF4: PDD Ref2VA. Обычная версия — 20 шагов, версия с ускоряющей LoRA — 8 шагов
  • Все видео: 8 секунд, 768×1344, 24 fps
  • В каждой паре одинаковые промпт, seed и референсное изображение
  • Слева — без ускоряющей LoRA, справа — с ней

Тесты охватывали пять типов сцен: быстрое движение, резкие смены сцены, почти неподвижное видео, мелкие детали волос и ткани, а также движение камеры с перекрытием передним планом. Получилось 10 видео для FL2 и 10 для REF4 — всего 20.

FL2 — arry v4_step600

1. Быстрое движение

Видео с паркуром на залитой дождём неоновой улице. Условия включали быстрое перемещение, брызги воды и активное движение одежды и волос.

Без ускоряющей LoRA · 20 шагов С ускоряющей LoRA · 8 шагов
FL2 Быстрое движение без LoRA再生 FL2 Быстрое движение с LoRA再生

Без ускоряющей LoRA генерация заняла 504 секунды (8 минут 24 секунды), с ней — 272 секунды (4 минуты 32 секунды). Время для варианта без LoRA включает начальную загрузку FL2 в VRAM. При первом переключении на вариант с LoRA соединение с контейнером один раз оборвалось, поэтому здесь указано время успешной повторной попытки.

2. Резкие смены сцены

Хромированная колибри оставалась неизменной, а окружение последовательно переключалось между музеем, джунглями, плавильной печью, ледяной пещерой, бумажным городом и космосом.

Без ускоряющей LoRA · 20 шагов С ускоряющей LoRA · 8 шагов
FL2 Резкие смены сцены без LoRA再生 FL2 Резкие смены сцены с LoRA再生

Без ускоряющей LoRA — 454 секунды (7 минут 34 секунды), с ней — 236 секунд (3 минуты 56 секунд). В этой паре ускорение составило примерно 1,92 раза.

3. Видео с минимальными изменениями

Неподвижная камера наблюдает за часовщиком. Движутся только моргание, пинцет на несколько миллиметров, секундная стрелка и пыль.

Без ускоряющей LoRA · 20 шагов С ускоряющей LoRA · 8 шагов
FL2 Небольшие изменения без LoRA再生 FL2 Небольшие изменения с LoRA再生

Без ускоряющей LoRA — 447 секунд (7 минут 27 секунд), с ней — 233 секунды (3 минуты 53 секунды). Даже при небольшом количестве движения время генерации почти не изменилось: разница составила примерно 1,92 раза.

4. Детали волос и ткани

Быстрое вращение в полупрозрачном шифоновом платье с серебряными нитями. Эта сцена нужна, чтобы оценить, насколько при ускорении ухудшаются ткань и волосы.

Без ускоряющей LoRA · 20 шагов С ускоряющей LoRA · 8 шагов
FL2 Детали без LoRA再生 FL2 Детали с LoRA再生

Без ускоряющей LoRA — 448 секунд (7 минут 28 секунд), с ней — 234 секунды (3 минуты 54 секунды). Здесь ускорение также составило примерно 1,91 раза.

5. Движение камеры и перекрытие передним планом

Маунтинбайк, едущий по лесу. Папоротник полностью закрывает кадр, пока камера разворачивается вокруг велосипеда на 180 градусов.

Без ускоряющей LoRA · 20 шагов С ускоряющей LoRA · 8 шагов
FL2 Перекрытие камерой без LoRA再生 FL2 Перекрытие камерой с LoRA再生

Без ускоряющей LoRA — 448 секунд (7 минут 28 секунд), с ней — 234 секунды (3 минуты 54 секунды). Даже при значительном движении камеры ускорение составило примерно 1,91 раза.

Если усреднить четыре случая FL2 после загрузки в VRAM, без LoRA получается 449,25 секунды, а с LoRA — 234,25 секунды. В этой среде ускорение составило примерно 1,92 раза.

REF4 — PDD Ref2VA

Для REF4 я передал один референс в виде раскадровки из шести кадров, созданной генератором изображений ChatGPT.

1. Быстрое движение

Та же последовательность с паркуром, что и в FL2, была превращена в видео по шести позам раскадровки.

Без ускоряющей LoRA · 20 шагов С ускоряющей LoRA · 8 шагов
REF4 Быстрое движение без LoRA再生 REF4 Быстрое движение с LoRA再生

Без ускоряющей LoRA — 481 секунда (8 минут 1 секунда), с ней — 299 секунд (4 минуты 59 секунд). Время варианта без LoRA включает загрузку REF4 в VRAM. В первом запуске с LoRA соединение оборвалось во время декодирования, поэтому приведено время успешной повторной попытки.

2. Резкие смены сцены

Та же колибри и шесть разных миров были развёрнуты из раскадровки на шесть кадров.

Без ускоряющей LoRA · 20 шагов С ускоряющей LoRA · 8 шагов
REF4 Резкие смены сцены без LoRA再生 REF4 Резкие смены сцены с LoRA再生

Без ускоряющей LoRA — 424 секунды (7 минут 4 секунды), с ней — 251 секунда (4 минуты 11 секунд). Ускорение — примерно 1,69 раза.

3. Видео с минимальными изменениями

Небольшие изменения в сцене с часовщиком были заданы шестью кадрами. В варианте с ускоряющей LoRA сама сетка раскадровки осталась заметной в итоговом видео.

Без ускоряющей LoRA · 20 шагов С ускоряющей LoRA · 8 шагов
REF4 Небольшие изменения без LoRA再生 REF4 Небольшие изменения с LoRA再生

Без ускоряющей LoRA — 418 секунд (6 минут 58 секунд), с ней — 247 секунд (4 минуты 7 секунд). По времени это примерно в 1,69 раза быстрее, но в этот раз визуальная разница оказалась довольно большой.

4. Детали волос и ткани

Вращение той же танцовщицы было задано шестью кадрами. И с LoRA, и без неё результат сравнительно чисто развернулся в полноэкранное видео.

Без ускоряющей LoRA · 20 шагов С ускоряющей LoRA · 8 шагов
REF4 Детали без LoRA再生 REF4 Детали с LoRA再生

Без ускоряющей LoRA — 420 секунд (7 минут 0 секунд), с ней — 249 секунд (4 минуты 9 секунд). Ускорение — примерно 1,69 раза.

5. Движение камеры и перекрытие передним планом

Приближение к маунтинбайку, переход через передний план и обход камеры назад были заданы шестью кадрами. В этот раз у обоих вариантов заметно сохранилась композиция раскадровки.

Без ускоряющей LoRA · 20 шагов С ускоряющей LoRA · 8 шагов
REF4 Перекрытие камерой без LoRA再生 REF4 Перекрытие камерой с LoRA再生

Без ускоряющей LoRA — 419 секунд (6 минут 59 секунд), с ней — 248 секунд (4 минуты 8 секунд). Ускорение — примерно 1,69 раза.

Если усреднить четыре случая REF4 после загрузки в VRAM, без LoRA получается 420,25 секунды, а с LoRA — 248,75 секунды. В этой среде ускорение составило примерно 1,69 раза.

Что стало понятно по итогам

Если смотреть только на время генерации, эффект ускоряющей LoRA весьма заметен. FL2 работает почти вдвое быстрее, а REF4 сокращает время примерно на 40%. Для пробных генераций на этапе настройки промпта и композиции это, похоже, очень удобно.

Однако если передавать в REF4 одну раскадровку с сеткой кадров, модель иногда воспринимает саму эту сетку как часть композиции. Особенно в варианте с ускоряющей LoRA встречались случаи, когда разбиение на кадры сохранялось надолго. Если нужна обычная полноэкранная анимация в REF4, безопаснее передавать каждый кадр отдельным изображением, а не одной контактной таблицей.

Кроме того, и в FL2, и в REF4 соединение с контейнером один раз обрывалось только при первом переключении с обычной версии на вариант с ускоряющей LoRA. При повторном запуске с теми же условиями генерация прошла успешно, а дальше всё работало стабильно. Вероятно, после первого переключения стоит запускать короткое тестовое видео.

Эти цифры получены на конкретной машине, с этим разрешением и восьмисекундными роликами. Их стоит воспринимать не как абсолютный бенчмарк, а как сравнение вариантов с LoRA и без неё в одинаковой среде.