Китай и правда понесло:
- представлена нейросеть OmniHuman-1, которая создаёт максимально живые видео по фотографиям
Её создали в ByteDance
В ByteDance разработали систему искусственного интеллекта, которая преобразует фотографии в максимально реалистичные видеоролики.
Новая система под названием OmniHuman-1 генерирует видеоролики в полный рост, на которых люди жестикулируют и двигаются в соответствии с речью, превосходя предыдущие модели искусственного интеллекта, которые могли анимировать только лица или верхнюю часть тела.
Кадр из видео
«В последние годы сквозная человеческая анимация претерпела заметные улучшения, — заявили в ByteDance. — Однако существующие методы по-прежнему с трудом масштабируются в качестве больших общих моделей генерации видео, что ограничивает их потенциал в реальных приложениях».
Команда обучила OmniHuman-1 на более чем 18 700 часах человеческих видеоданных, используя новый подход, который объединяет несколько типов входных данных — текст, аудио и движения тела. Эта стратегия обучения «всеобщих условий» позволяет ИИ обучаться на гораздо более крупных и разнообразных наборах данных, чем предыдущие методы.
«Наша главная идея заключается в том, что включение в процесс обучения множественных кондиционирующих сигналов, таких как текст, аудио и поза, может значительно сократить потери данных», — пояснила исследовательская группа.
В ходе тестирования OmniHuman-1 превзошла существующие системы сразу по многим показателям качества.
OmniHuman поддерживает различные визуальные и аудио стили. Он может генерировать реалистичные видео человека с любым соотношением сторон и пропорциями тела (портрет, половина тела, все тело в одном) , с реализмом, вытекающим из всесторонних аспектов, включая движение, освещение и детали текстуры.
* Обратите внимание, что
для генерации всех результатов требуются только одно изображение и аудио БРАВО КИТАЙ!!!Огромное количество примеров можно найти по этой ссылке:
https://omnihuman-lab.github.i ... btcom
