Midjourney и другие нейросети обработки изображений - страница 10

 
vladavd #:

Ну человеческое творчество это тоже не всегда (скорее редко) какой-то прорыв, правда? Классические сюжеты конфликтов, основные драматургические приемы - все это известно и не сильно изменилось еще со времен древнегреческих амфитеатров, см. википедию. Любые новые произведения имеют в основе чужое творчество, ну просто потому что автор новинки не вырос как Маугли среди волков, а формировался культурой предыдущих поколений. Поэтому ничего странного, что множество произведений искусства являются не чем-то принципиально новым, а только небольшим шагом вперед или в сторону от предмета вдохновения, а то и вовсе пересказом или компиляцией нескольких источников. Иногда шаг получается большим, и если он удачен, то мы потом знаем такого творца как гения. Ну так и нейросеть способна шагать от оригинала в разной степени. 

Ответил в ветке про ChatGPT.

 

Компания Цукерберга Meтa разрабатывает движок текст-в-видео

https://makeavideo.studio/

На сайте есть примеры, включая анимацию загруженных статичных рисунков.


 

Midjourney 5 теперь официально запущен


Примеры работ

P.S. Обычно в фильмах про роботов видно, что это компьютерная графика. Но только вглядитесь в картинку робота выше, реально верится, что предмет существует в реале, как фото.

 

Кстати и картинка становится лучше, освещение.

Учитывая, что уже сейчас нейросети могут дорисовывать картинку в стороны, применение вижу таким:

старый ч/б фильм переводится из 4/3 в 16/9, убирается шум, делается цвет и хороший свет.

Можно будет сменить всех актёров на азиатов или наоборот, омолодить, сделать красивее или страшнее, толще, тоньше.

Трансформация фильма вероятно займёт пару минут.


P.S. Уже сейчас в одной звездно-полосатой стране работает компания, которая старые шоу-программы перемонтирует под современные стандарты, добавляя спец.эффекты и прочее для кабельных ТВ.

 
Vitaliy Kuznetsov #:

Кстати и картинка становится лучше, освещение.

Учитывая, что уже сейчас нейросети могут дорисовывать картинку в стороны, применение вижу таким:

старый ч/б фильм переводится из 4/3 в 16/9, убирается шум, делается цвет и хороший свет.

Можно будет сменить всех актёров на азиатов или наоборот, омолодить, сделать красивее или страшнее, толще, тоньше.

Трансформация фильма вероятно займёт пару минут.


P.S. Уже сейчас в одной звездно-полосатой стране работает компания, которая старые шоу-программы перемонтирует под современные стандарты, добавляя спец.эффекты и прочее для кабельных ТВ.

1. Первый технический вопрос сразу охлаждает пыл: сколько времени занимает генерация одной качественной картинки? Умножте это время на количество кадров фильма. 

2. Второй технический вопрос напрочь замораживает пыл: технология генерации изображений по текстовому промпту (Midjorney или Stable Diffusion) не работает без промпта. То есть, под каждый кадр нужно писать промпт. 

Эта технология не может поддерживать последовательность серии картинок для передачи динамики движения обьектов и не подходит для генерации видео ряда. 

Вместо этого, лучше использовать технологию Deep Fake или CGI. Или, какую то еще, но это, вроде, давно существует. 

Но, качество, качество...

Стоит это дорого и чем выше качество, тем дороже. Аватар 2009 и 2022 хороший пример того о чем вы говорите, но какова была цена? 400М$ за фильм. А сложность и время производства? Спросите у Камерона.)

 
Видел примеры модификации содержания видео по текстовому описанию. В одном меняли мотоциклиста на спайдермена, в другом обычного человека на вымышленного персонажа. 

В чем отличие от CGI? - использовался обычный видеоряд и замена осуществлялась только АI, без дополнительной аппаратуры. Визуально неплохо, но ничего необычного. Необычно то, что это делалось по текстовому описанию.

Прорыв в языковых моделях, на наших глазах, поменял графический интерфейс на лингвистический. В дешевых и простых работах, это добавляет удобства и уменьшает рутину, но в дорогих проектах неприменимо.  Специалисты все еще необходимы для тонкой настройки и кропотливой обработки. 

Важно понимать, что сейчас АI производит только ширпотреб и есть подозрение, что так будет и дальше. 
 
Реter Konow #:
Видел примеры модификации содержания видео по текстовому описанию. В одном меняли мотоциклиста на спайдермена, в другом обычного человека на вымышленного персонажа. 

В чем отличие от CGI? - использовался обычный видеоряд и замена осуществлялась только АI, без дополнительной аппаратуры. Визуально неплохо, но ничего необычного. Необычно то, что это делалось по текстовому описанию.

Прорыв в языковых моделях, на наших глазах, поменял графический интерфейс на лингвистический. В дешевых и простых работах, это добавляет удобства и уменьшает рутину, но в дорогих проектах неприменимо.  Специалисты все еще необходимы для тонкой настройки и кропотливой обработки. 

Важно понимать, что сейчас АI производит только ширпотреб и есть подозрение, что так будет и дальше. 

Ну так вот же двумя постами выше писал, что и Meta уже работает над переводом текст-в-видео

Зайдите и посмотрите https://makeavideo.studio

Предположим, что до фильмов далеко, но вот мультфильмы вполне.

Раньше аниматоры рисовали 15 или 25 кадров на секунду. Теперь 1 кадр превращается в видео длиной 3 секунды. Работа ускорилась в десятки раз.

Реter Konow #:
1. Первый технический вопрос сразу охлаждает пыл: сколько времени занимает генерация одной качественной картинки? Умножте это время на количество кадров фильма. 

2. Второй технический вопрос напрочь замораживает пыл: технология генерации изображений по текстовому промпту (Midjorney или Stable Diffusion) не работает без промпта. То есть, под каждый кадр нужно писать промпт. 

Эта технология не может поддерживать последовательность серии картинок для передачи динамики движения обьектов и не подходит для генерации видео ряда. 

Вместо этого, лучше использовать технологию Deep Fake или CGI. Или, какую то еще, но это, вроде, давно существует. 

Но, качество, качество...

Стоит это дорого и чем выше качество, тем дороже. Аватар 2009 и 2022 хороший пример того о чем вы говорите, но какова была цена? 400М$ за фильм. А сложность и время производства? Спросите у Камерона.)

1. Недолго. Ну по крайней мере в разы быстрее, чем рисует дизайнер

2. Ну как бы ответил ранее. Да, создаётся промт для картинки или рисуется вручную. Ещё загружается фото персонажа, чтобы запомнил и не генерировал других. Для работы действительно нужен хороший оператор AI, но скорость и стоимость работы несопоставима со старыми методами

Аватар 2 Кэмерона. Актёры сыграли свои роли ещё 5 лет назад. А потом 5 лет они работали над спец.эффектами, 3D и 4к. Однако это просто вопрос к специалистам технической части. Через пару лет на создание спец.эффектов для фильма будет уходит максимум месяц. Подправить лица, эмоции, взгляд актёров. Зачем кучи дублей. Не нужны датчики движений. Человек просто ходит по сцене и играет, потом его меняют на динозавра или ещё кого.

Вернёмся к мультикам. Без особых знаний, даже я могу создать раскадровку (комикс) через AI. Если дать доступ к созданию 3 сек анимаций картинки, то на создание 20 минутного эпизода мульта у меня уйдёт пару дней. Музыка автоматом под сцены пишется (тоже пока закрытый AI от Микрософта), озвучка действий и голосов ещё нужна, но и это скоро появится. В итоге в титрах будут перечислены с десяток нейросетей и 1 оператор.

Make-A-Video by Meta AI
Make-A-Video by Meta AI
  • makeavideo.studio
A state-of-the-art AI system generates high-quality videos from text prompts
 
Реter Konow #:
***

Важно понимать, что сейчас АI производит только ширпотреб и есть подозрение, что так будет и дальше. 

Хотел бы отдельно прокомментировать это. Есть фото искусство и художественное.

В обоих случаях AI побеждает

Он делает фотореалистичные сцены с отличным освещением и композицией. Природа, еда, животные. Везде AI (это заметно по Midjourney 5) сделает лучше.

Повторюсь, будет сразу заметно качественное освещение и композиция. Никакого мыла, зернистости и заваленного горизонта, (красных или закрытых глаз).


По картинам тоже. У нас в городе есть некоторые типографии, которые печатают картины на холсте и покрывают специальным лаком, имитирующим ручную работу.

Т.е. создать картину в AI и распечатать в типографии. Повесить в Лувре и там она будет привлекать внимание.

Важно не крутость художника, а крутость творческого мышления, глубины замысла. Один будет рисовать картину месяцами на холсте, другой пару дней в дискорде.

 
Vitaliy Kuznetsov #:

Ну так вот же двумя постами выше писал, что и Meta уже работает над переводом текст-в-видео

Зайдите и посмотрите https://makeavideo.studio

Предположим, что до фильмов далеко, но вот мультфильмы вполне.

Раньше аниматоры рисовали 15 или 25 кадров на секунду. Теперь 1 кадр превращается в видео длиной 3 секунды. Работа ускорилась в десятки раз.

1. Недолго. Ну по крайней мере в разы быстрее, чем рисует дизайнер

2. Ну как бы ответил ранее. Да, создаётся промт для картинки или рисуется вручную. Ещё загружается фото персонажа, чтобы запомнил и не генерировал других. Для работы действительно нужен хороший оператор AI, но скорость и стоимость работы несопоставима со старыми методами

Аватар 2 Кэмерона. Актёры сыграли свои роли ещё 5 лет назад. А потом 5 лет они работали над спец.эффектами, 3D и 4к. Однако это просто вопрос к специалистам технической части. Через пару лет на создание спец.эффектов для фильма будет уходит максимум месяц. Подправить лица, эмоции, взгляд актёров. Зачем кучи дублей. Не нужны датчики движений. Человек просто ходит по сцене и играет, потом его меняют на динозавра или ещё кого.

Вернёмся к мультикам. Без особых знаний, даже я могу создать раскадровку (комикс) через AI. Если дать доступ к созданию 3 сек анимаций картинки, то на создание 20 минутного эпизода мульта у меня уйдёт пару дней. Музыка автоматом под сцены пишется (тоже пока закрытый AI от Микрософта), озвучка действий и голосов ещё нужна, но и это скоро появится. В итоге в титрах будут перечислены с десяток нейросетей и 1 оператор.

Реализм и детализация картинок от Midjorney и видео летящей собачки в красном плаще от Мета на совершенно разных уровнях и пока не сопоставимы. 

Также, трехсекундные видео требуют несколько минут на создание (не помню точно, но от 5 до 10 минут в зависимости от нагрузки на сервер) и делаются на базе загруженного видеопромпта. Текстовый промпт лишь назначает "маску" персонажу. Полностью генерированного видео я пока не видел.

 Возможно, летящая собачка полностью генерирована, но судя по кадрам она не двигается, а движется камера вокруг нее. Наверное, это не спроста.
 
Реter Konow #:

 Возможно, летящая собачка полностью генерирована, но судя по кадрам она не двигается, а движется камера вокруг нее. Наверное, это не спроста.

Там куча примеров. Конечно, нейросеть разбивает объект на движущиеся элементы (ноги, лапы, колёса, паруса). Далее ими и манипулирвет. Общий объект примерно переводит в 3D. Вот пишу и думаю, что это полноценный подход к анимации. Технологии не стоят на месте и конечно же будет и в этой области качественный прорыв.


// тут сюр конечно)


Причина обращения: