Сбер представил Kandinsky 4.1 Video — улучшенную версию своей модели генерации видео. Она формирует реалистичный видеоряд до 10 секунд по текстовому описанию или стартовому кадру, лучше понимает физику и выдает более выразительную картинку. Первые пользователи уже тестируют модель, общедоступный релиз ожидается скоро.
Сбербанк представил новую версию генеративной модели Kandinsky — Kandinsky 4.1 Video. Она создаёт видеоролики продолжительностью до 10 секунд в SD или HD разрешении (720×576 и 1280×720 соответственно). Модель формирует видео по текстовому описанию или на основе стартового изображения. Пользователь может задать любое соотношение сторон.
Разработку впервые показали на конференции GigaConf. Доступ к Kandinsky 4.1 Video уже получили участники мероприятия, а также художники и дизайнеры. В скором времени модель станет доступна широкой аудитории.
По словам Андрея Белевцева, старшего вице-президента и руководителя блока «Технологическое развитие» Сбербанка, новая модель заметно продвинулась по всем ключевым направлениям: соответствие тексту, качество изображения, реалистичность движения и физики. Kandinsky 4.1 Video ориентирована на профессиональные задачи в дизайне, маркетинге и других креативных сферах.
В основе модели лежит архитектура диффузионного трансформера. Ключевую роль в её улучшении сыграло дообучение на размеченных данных (SFT), над которыми работали более 100 специалистов — дизайнеров, фотографов и художников. Благодаря этому Kandinsky 4.1 Video создаёт выразительные, визуально выверенные и кинематографичные ролики.
Новая архитектура потребовала больше вычислительных ресурсов. Чтобы ускорить работу, команда внедрила методы дистилляции и оптимизации. Это снизило время генерации более чем в три раза без потери качества. В отдельных случаях изображение стало даже лучше, чем у предыдущей версии.
Первую российскую модель генерации видео — Kandinsky Video — Сбер представил 22 ноября 2023 года на конференции AI Journey. Kandinsky 4.1 Video продолжает эту линию, поднимая планку качества и скорости.
