Midjourney и другие нейросети обработки изображений - страница 695

Новый комментарий
 
Еще помню, как после победы AlphaGo, OpenAi решили обыграть всех в StarCraft. Там как раз и проявились все придурковатости ИИ. Было много подражания реальным игрокам, потому что модель обучалась на их играх. Например, внезапный срыв всех рабочих или ранняя разведка, но не для защиты или разведки, а просто потому что так делали прогеймеры. Модель же делала это в случайные моменты времени. В итоге выяснилось, что модель просто читерила (видела всю карту вроде бы). На этом все и закончилось :)
 

Ожидаемые новинки по видеокартам NVIDIA.

//Лично считаю, что эти видеокарты хлам в век ИИ, не смотря на прирост скорости. Для многих продвинутых офлайн моделей ИИ требуется куда больше 32 Гб памяти. А значит придётся юзать средние модели. Или ждать, когда пойдут PRO-видеокарты от какой-нибудь китайской компании. Но, если Вы просто геймер, то смысл обновиться есть.

 

Генератор видео Minimax https://hailuoai.video/mine-ai-videos может оживлять ваши фото.

 

Критика, она такая


 

Только здесь нет критиков. Есть реалисты и есть мальчики с влажными фантазиями :)

 
Тем временем, OpenAI обещает первую прибыль в 2029 году.
 
Илья Сутцекевер, главный разработчик и сооснователь OpenAI, не так давно ушел из своей компании. Не знаю как остальным, но для меня это событие о многом говорит. Более года назад, в одном из интервью он рассказывал, что всегда стремится масштабировать найденные инновационные решения и подходы в МО. В частности, он вел речь о транформерах (GPT) положенных в основу нынешних больших LLM. Он рассказывал предисторию, приведшую к появлению ChatGPT. Ведь именно его решения привели к созданию этой революционной модели. 
Действовал он просто - сначала взял за основу технологию разработанную учеными компании Deep Mind (дочерняя компания Google) опубликованную в известной статье "Attention is all you need". На ее основе со своей коммандой он создал огромную (по тогдашним меркам) языковую модель GPT-1. Результаты его и порадовали и заинтересовали. Он решил масштабировать модель. Увеличил кол-во параметров примерно на порядок и обучил на еще более обширном датасете. Тестирование показало еще лучшие результаты чем у первой модели. Так получилась GPT-2. 

Илья понял что кратное увеличение параметров модели, при увеличение обучающего датасета, прямолинейно ведет к лучшему перформансу. На его благо, вычислительные мощности позволяли обучать огромную модель относительно быстро. И тогда, на пике энтузиазма, Илья решил пойди на сумасшедствие и создать нереально огромную модель в 175 миллиардов параметров. Обучив ее аж на более чем 400-от гигабайт техтовых данных OpenAI создал GPT-3. У все Ильи получилось. 

Прямолинейное масштабирование работо и модель выдавала удивительные, человеко-подобные рассуждения. Правда, также генерировала много ерунды и чуши. Стало ясно что нужно было дообучать модель с помощью инструкторов-людей и для этой работы компания наняла тысячи индусов и жителей Конго. Благодаря их стараниям и появился ChatGPT. 

С инженерной точки зрения этот момент можно считать переломным, потому что прямолинейное масштабирование модели остановилось. Началась "шлифовка". После выхода ChatGPT этом процессе стали участвовали уже не только нанятые инструктора, но и миллионы любопытных пользователей "общающихся" с моделью каждый день. Они выставляли оценки ее ответам. Этот процесс несомненно служил повышению "человекоподобности" взаимодействия в восприятии публики. И хотя многие конкурирующие AI-компании все еще заявляли в СМИ что создадут еще большие модели, в полтриллиона и даже в триллион параметров, в скоре их разработчикам стало понятно, что дальнейшее масштабирование моделей уже не обеспечит новые качественные скачки "разумности" LLM-ок. Вместо этого пошли по пути многомодальности и стали пытаться разнообразить обучающий датасет, включив в него по мимо текста другие типы данных, как изображения, голос и видео. И многое получилось очень неплохо.

Но масштабирование технологии подошло к концу. Дальнейшая работа инженеров стала связана с отладкой, настройкой и шлифовкой работы больших моделей. И вот на этом этапе, Илья Сутцкевер, главный "мозг" OpenAI, благодаря которому и существует современный ИИ, ушел из своей компании...

Какой вывод из этой истории можно сделать? 

Масштабирование технологии завершено. Илья этт понял. Далее только рефакторинг и добавление функции. Нового качественного скачка эта технология уже не обеспечит. Нужны новые решения и подходы, инновационные идеи и гениальные разработчики, вычислительные сверх-мощности и благоприятные исторические условия. Когда нибудь, это все возможно снова будет. А пока... кушайте картинки и болтайте с LLM-ками сколько влезет.

Только Илья уже не вернется...

 
Может быть Илья понял, что интеллект в этой куче параметров (под параметрами наверное подразумеваются веса НС?) так и не зародился :)

Фэйк красивый. Но это всего лишь улучшенная версия Алисы и Сири, которыми никто не пользуется.  То есть все это уже было. Я даже не знаю что нового он создал. Технология, действительно, лежит в открытом доступе и показывает некоторые улучшения по сравнению с рекуррентными сетями, для обработки последовательностей.  А обучение с подкреплением было ещё раньше.

Если перейти по ссылке на мою статью, то можно увидеть, почему ЛЛМ не могут решать новые задачи точно так же, как боты не могут торговать с прибылью на новых данных. Это фундаментальная проблема, которую никакой Илья решить не сумеет.

И эту проблему обозначил профессор Савельев, который всю жизнь занимался исследованием мозгов :) Что архитектуры этих моделей устроены не так, как мозг.
 

Самый передовой известный широкой публике ИИ выданный в урезанном виде рассуждает, проходит тесты IQ, ставит диагнозы не хуже врачей, программирует в 8 раз лучше GPT4o.

И разработчики пояснили, что такой ИИ - лишь самое начало, как GPT3.


А критики уже хоронят целую отрасль.


В ближайшие пару лет запустят новые дата-центры. Некоторые будут подпитываться собственными АЭС.

В перспективе 5 лет достроят ещё более мощные дата-центры.

Робототехника на подъёме, по улицами катаются автомобили с автопилотом, по городам роботы-курьеры доставляют посылки.

Это вошло в жизнь и для этих разработок ещё будут серьёзные апгрейды.


О чём вообще можно спорить? Что кто-то откуда-то ушёл и всё пропало? Да, ушёл. И создал собственную компанию по ИИ.

Не стоит забывать, что в этой сфере работают целые команды, сотни команд и тысячи про-специалистов.

Государственные компании вплотную работают над развитием ИИ.


Развитие. Ещё только самое начало. Open-Source решения ещё не создали конкуренцию ChatGPT o1, а они точно будут.

Мы увидим самые высокие показатели IQ среди всех интеллект-носителей планеты в ближайшие 5 лет. И да, это будет ИИ.

Сотни профессий исчезнут так же, как это происходило всегда в истории человечества с развитием.

Офисная работа за компьютером весь день уйдёт также быстро, как и появилась. По меркам цивилизации это совсем небольшой промежуток времени.

 

Разное. Миджорни


1...688689690691692693694695696
Новый комментарий