Midjourney и другие нейросети обработки изображений - страница 380

 

Stable Diffusion демонстрирует новый генератор картинок Stable Cascade.

// Если совсем просто, то в разы быстрее и качественнее SDXL. Уровень Миджорни 5 пройден.

// Ещё один широкий жест в Open Source, который должен подстегнуть всех конкурентов действовать эффективнее в своих моделях.

Оф.сайт - https://stability.ai/news/introducing-stable-cascade

Код тут - https://github.com/Stability-AI/StableCascade

 

Санузел в Замке.

Миджорни


 
Vitaliy Kuznetsov #:

Санузел в Замке.

Миджорни

Плохая идея - может выработаться нежелательный рефлекс на страх.))
 

Вторая грандиозная новость недели. OpenAI выпускает генератор видео Sora - https://openai.com/sora

Возможно эта функция text-to-video будет только внутри ChatGPT, но нельзя сказать точно. Доступ выдан ограниченному кругу специалистов.

// Первая грандиозная новость недели была Stable Cascade.

Некоторые видео вообще не отличить от настоящих. Нет заторможенности происходящего и всё очень качественно. Много примеров есть на их сайте. 


 

Пиратские корабли, которые плавают в чашке кофе или кот, который будит хозяйку. Всё это в качественном сгенерированном видео от ИИ Sora.

// Все рекламщики и компании, создающие спец.эффекты для видео под большой угрозой сокращения. Какой-нибудь Вася Пупкин из деревни сможет один затмить целое агентство.

 

Мэтт выпустил видео, в котором рассказал про генератор видео Sora.

Русская озвучка есть в Яндекс.Браузере


 

Демонстрация того, как технологии отбирают работу и хлеб


 

we are horses during the car revolution now

Мы являемся лошадьми во время автомобильной революции сегодня.

 

Вообще, если подумать, как могла бы родиться нейронка по генерации видео подобной Sora.

Такого качества в движении можно добиться, только если физика объектов будет пониматься ИИ.

Совсем недавно было полно роликов, как Unreal Engine 5 демонстрирует качество, сопоставимое с реальностью.

Потом были ИИ по генерации 3D объектов, по генерации 3D миров.

Так вот.

Более чем уверен, что нейронка работает на 3D игровом движке.

Т.е. создаётся 3D полигональный мир с объектами.

Поскольку каждый элемент описан и в целом запрограммирован в игровом движке со своей физикой, то проблем с водой, дымкой, шерстью, кожей, пальцами, притяжением и прочими моментами нет.

На последнем этапе создаётся фотореалистичность. Это мы уже видели. И именно на последнем этапе можно грузить видеоряд для доп.обучения.

Проще говоря, обучать нейронку на обычных видео не так эффективно, как на движке Unreal Engine 5 или более продвинутом, если есть.

Как итог, минимум что можно получать в ближайшем будущем, это фильмы, близкие к реальности полностью сгенерированные. Потом можно актёров наложить (лицензионные CGI образы).

А в целом все последние киногеройские фильмы итак с графикой, которую, как не скрывай очень даже видно. Возможно, что реалистичность станет выше с ИИ.

 
Vitaliy Kuznetsov #:

Вообще, если подумать, как могла бы родиться нейронка по генерации видео подобной Sora.

Такого качества в движении можно добиться, только если физика объектов будет пониматься ИИ.

Совсем недавно было полно роликов, как Unreal Engine 5 демонстрирует качество, сопоставимое с реальностью.

Потом были ИИ по генерации 3D объектов, по генерации 3D миров.

Так вот.

Более чем уверен, что нейронка работает на 3D игровом движке.

Т.е. создаётся 3D полигональный мир с объектами.

Поскольку каждый элемент описан и в целом запрограммирован в игровом движке со своей физикой, то проблем с водой, дымкой, шерстью, кожей, пальцами, притяжением и прочими моментами нет.

На последнем этапе создаётся фотореалистичность. Это мы уже видели. И именно на последнем этапе можно грузить видеоряд для доп.обучения.

Проще говоря, обучать нейронку на обычных видео не так эффективно, как на движке Unreal Engine 5 или более продвинутом, если есть.

Как итог, минимум что можно получать в ближайшем будущем, это фильмы, близкие к реальности полностью сгенерированные. Потом можно актёров наложить (лицензионные CGI образы).

А в целом все последние киногеройские фильмы итак с графикой, которую, как не скрывай очень даже видно. Возможно, что реалистичность станет выше с ИИ.

"Yeah , licensing the existing actors since new ones can be generated . Also imagine that if you create a family in a movie -not that western movies have a lot of families in them lately- you can now have a child that could have been the real child (genetically) of the 2 actors. Also remember the site 9gag? Imagine gitHub for movies and the end result on a 9gag style (reddit like) voting system where the best floats to the top. So let's say i start an opening scene of a movie with AI , then 300 people vote that it is a good starting scene , they like the characters etc , other people continue it generating more scenes and the plot develops and forks too leading to an end result.Then that can be a complete movie , if it is good it get's voted up , you end up with a list of genres and the best in the genre at the top."


— Кроме того, лицензируются существующие актёры, поскольку могут быть созданы новые персонажи. Представьте себе ситуацию, когда в фильме создают семью — несмотря на то, что современные вестерны мало уделяют этому сюжету — и теперь вы можете иметь ребёнка, который генетически был бы детей двух актёров. Вспомните сайт 9GAG? Воображайте GitHub для кинофильмов и результаты голосования в стиле 9GAG (редактированный под вид Reddit), где лучшие фрагменты поднимаются к верхушке. Например, если я начал открывающую сцену фильма с помощью ИИ, затем 300 человек оценили её как хорошую, они любят героев, другие продолжают развитие истории, форки также возникают, и в конечном итоге получается полноценный фильм, если он достоин, он будет оценен высоко, и вас ждут списки жанров и лучшие работы в каждом из них.

"then you don't just have a final movie , you also have all the forks and the decisions to be made so it can be interactive if there is a way to not spoil it and "see the movie" from the perspective of one character"

Затем вы не только получите финальный фильм, но и все его форки и принятия решений, благодаря чему фильм может стать интерактивным, если найдется способ предохранения от раскрутки и "просмотра фильма" с точки зрения одного конкретного персонажа.

Причина обращения: