Как сообщает r/StableDiffusion (Reddit), автор проекта собрал на базе ComfyUI и MiniMax H3 автоматизированный конвейер. Он принимает главу манги или вебтуна в PDF и превращает её в прокручиваемую веб-книгу.
Сначала система находит и вырезает панели. Затем локальная модель компьютерного зрения описывает каждую сцену, готовит запрос для анимации, распознаёт реплики в облачках и рассчитывает длительность эпизода. После этого панели превращаются в короткие ролики с движением и звуком, сохраняя исходный порядок чтения.
По замерам автора, тестовая глава из 99 страниц превратилась в 97 анимированных сцен. Локальная обработка на одной RTX 5090 заняла около 3 часов. После запуска вмешательство пользователя не потребовалось, как и дополнительная оплата. На недорогих спотовых GPU-инстансах та же глава была готова примерно за 90 минут. Общая стоимость составила 1,96 $, то есть 0,02 $ за клип.
Проект пока находится в разработке. Автор работает над стоимостью, скоростью и качеством, в том числе настраивает запросы и улучшает связность соседних панелей. Следующая панель должна становиться финальным кадром предыдущего клипа.
Ключевые факты
Тестовая глава содержала 99 страниц и была преобразована в 97 анимированных сцен.
Локальная обработка на одной RTX 5090 заняла около 3 часов без действий пользователя после запуска.
На спотовых GPU-инстансах обработка заняла примерно 90 минут и стоила 1,96 $, или 0,02 $ за клип.
Локальная модель описывает панели, составляет запросы для анимации, распознаёт реплики и определяет длительность сцен.