Midjourney и другие нейросети обработки изображений - страница 606
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
г-да спамеры, умерьте пыл..
20 страниц за 1 день, даже пролистать проблемно :-)
г-да спамеры, умерьте пыл..
20 страниц за 1 день, даже пролистать проблемно :-)
То было вчера. Не обязательно же всё читать.
Допустим, у нас имеется процедурный код на миллион строчек. И вначале есть функция return, которая срабатывает, когда запрос сводится к расчёту дважды два.
И вот мы запускаем код, он высчитывает дважды два и тут же заканчивает управление.
И второй вариант: идёт расчёт дважды-два, а затем проход по милллиону строчек кода. В народе известное как "плохая оптимизация кода". И затраты процессора выше, чем в первом случае, следовательно и затраты энергии.
А как быть в случаях нейросетей? Если я спрошу ЧатГПТ сколько будет дважды два - он тоже проходит сквозь миллиарды нейронов, миллиарды весов и так далее, чтобы решить задачу калькулятора?
Кстати, не встречал тему про энергозатраты нейросетей.
Допустим, у нас имеется процедурный код на миллион строчек. И вначале есть функция return, которая срабатывает, когда запрос сводится к расчёту дважды два.
И вот мы запускаем код, он высчитывает дважды два и тут же заканчивает управление.
И второй вариант: идёт расчёт дважды-два, а затем проход по милллиону строчек кода. В народе известное как "плохая оптимизация кода". И затраты процессора выше, чем в первом случае, следовательно и затраты энергии.
А как быть в случаях нейросетей? Если я спрошу ЧатГПТ сколько будет дважды два - он тоже проходит сквозь миллиарды нейронов, миллиарды весов и так далее, чтобы решить задачу калькулятора?
Да, форвард проход всегда через всю нейронку до выходного слоя. Но чем длиннее контекст, тем больше дополнительных расчетов. Потому что дополнительно считаются токены в разных слоях. + Кодирование/декодирование последовательностей. И от длины контекста сложность растет нелинейно, то есть быстро увеличивается.
Так вот это не шутка, получается
...Наверное для экономии электричества :)
Элемент некой оптимизации
Так вот это не шутка, получается
Элемент некой оптимизации
Кстати, не встречал тему про энергозатраты нейросетей.
Допустим, у нас имеется процедурный код на миллион строчек. И вначале есть функция return, которая срабатывает, когда запрос сводится к расчёту дважды два.
И вот мы запускаем код, он высчитывает дважды два и тут же заканчивает управление.
И второй вариант: идёт расчёт дважды-два, а затем проход по милллиону строчек кода. В народе известное как "плохая оптимизация кода". И затраты процессора выше, чем в первом случае, следовательно и затраты энергии.
А как быть в случаях нейросетей? Если я спрошу ЧатГПТ сколько будет дважды два - он тоже проходит сквозь миллиарды нейронов, миллиарды весов и так далее, чтобы решить задачу калькулятора?
Сегодня днём я начал писать тут пост как раз на эту тему. Потом отвлёкся на текущие задачи.
В общем, где-то с пол года назад я говорил, что для следующего качественного скачка в развитии ИИ придётся включать в критерии обучения метрики затрат энергии. Т.е., при прочих равных та модель лучше, которая потребляет энергии меньше. Это косвенно приведёт к новым методам обработки и хранения информации. Языковые модели по сути новый очень эффективный способ сжатия информации, но теперь нужен следующий шаг.
Приведу обоснование моей точки зрения. Человеческий мозг как продукт развития эволюции нескольких миллиардов лет (а все организмы развиваются в сторону снижения энергопотребления) оказывается всё равно очень неэффективен по энергозатратам, в то время, как механические системы для выполнения полезной работы достигают 99% КПД (не программные), мозг имеет КПД что-то около 25%. На фоне потребления энергии мозгом затраты энергии для обучения и работы современных языковых моделей вообще чудовищны.
Ниже скомпонованная информация, которую мне удалось собрать.
Мозг, его КПД и потребляемая энергия, сравнение с потребляемой энергией современных ИИ
Мозг и его потребляемая энергия:
Мозг человека – это один из самых энергозатратных органов тела. Он потребляет около 20% от общего количества калорий, поступающих в организм, что составляет примерно 350-400 калорий в день. Эта энергия необходима для поддержания нейронной активности, синтеза нейромедиаторов и других критически важных процессов.
Чтобы оценить это потребление энергии в более привычных единицах, можно провести следующие расчеты:
- 350-400 калорий в день соответствуют примерно 1,47-1,68 мегаджоуля (МДж).
- Один литр бензина содержит около 34 МДж энергии. Таким образом, мозг потребляет энергию, эквивалентную примерно 0,043-0,049 литра бензина в день.
- В киловатт-часах это составляет примерно 0,407-0,465 кВт·ч в день.
КПД организма и мозга:
КПД организма человека в целом оценивается в диапазоне 20-25%. Это означает, что из всей потребляемой энергии только 20-25% используется для выполнения полезной работы (механическая работа, поддержание тепла и т.д.), в то время как остальная энергия тратится на поддержание жизнедеятельности и тепловыделение. Мозг, несмотря на свою высокую энергозатратность, работает с высоким КПД в рамках своих функций, но все равно подчиняется общим законам метаболизма.
Энергия для обучения ИИ:
Современные искусственные интеллекты, такие как модели на основе GPT (Generative Pre-trained Transformer), требуют значительных вычислительных ресурсов и энергии для обучения. Например, обучение модели GPT-3 потребовало около 200,000 CPU-часов, что эквивалентно десяткам тысяч киловатт-часов энергии. Это сравнимо с потреблением энергии небольшого города на протяжении нескольких недель.
Энергия при работе ИИ на один запрос-промт:
При обработке каждого запроса-промта, энергия, потребляемая ИИ, зависит от сложности запроса и архитектуры модели. Для больших моделей, подобных GPT-3, средний запрос-промт может потреблять от нескольких до десятков киловатт-часов энергии, в зависимости от используемого оборудования и длительности расчета.
Сравнение энергопотребления:
Сравнение энергопотребления мозга человека и современных ИИ показывает значительные различия. Хотя мозг человека потребляет около 350-400 калорий в день (приблизительно 0,407-0,465 кВт·ч), это значительно меньше энергии, чем требуется для обучения и работы современных ИИ. КПД организма человека также значительно ниже по сравнению с эффективностью современных вычислительных систем, что объясняет более высокое энергопотребление при обработке информации и выполнении различных задач.
Из этого следует, что "интеллектуальная эффективность" современных ИИ несоизмеримо ниже человеческого мозга. Если ввести некий показатель "единица интеллекта/затраты энергии", то такой показатель будет ничтожно мал в сравнении с человеческим. Это явно тупиковый путь развития и нужны новые методы.
Есть два пути, либо пытаться воспроизвести искусственную модель мозга, чтобы достигнуть уровень его интеллекта и энергопотребления (но тут очевидно есть естественный потолок возможностей биологического мозга), либо продолжать развивать ИИ как и сейчас в надежде на эволюционное появление прорывных технологий. Парадокс заключается в том, что этот прорыв может случится при помощи этого самого ИИ первого поколения (если считать AGI вторым поколением).
Как бы то ни было, на текущем уровне развития технологии ИИ очень полезны не только в повседневной работе людей умеющих его применять, но и важный инструмент в руках исследователей и ученых, помогающий делать новые открытия в науке и технике.
Красное - не согласуется с цифрами, какой-то глюк в модели, по видимому.
А если коротко, то возможности развития человеческого интеллекта, по видимому, достигли своего предела (либо нужно изменять размер мозга, спосоы его охлаждения и строения, иначе будут происходить кровоизлеяния и прочие проблемы). А вот для развития ИИ никаких принципиальных ограничений нет, ему не нужно иметь компактную черепную коробку, чтобы быть удобной при ношении и пользования в повседневной жизни.)))Энергия при работе ИИ на один запрос-промт:
При обработке каждого запроса-промта, энергия, потребляемая ИИ, зависит от сложности запроса и архитектуры модели. Для больших моделей, подобных GPT-3, средний запрос-промт может потреблять от нескольких до десятков киловатт-часов энергии, в зависимости от используемого оборудования и длительности расчета.
То есть, задача калькулятора для НС - это киловат-час )))
Экономическая оптимизация жуткая.
Я со своей колокольни представлял экономику таких баз аналогично MQL5-чату сервисдеска. Сначала чат задаёт вопросы, а потом уже шлёт в нужном направлении.
Вот что-то подобное думаю, должно быть и в исполинских базах LLM, у которых один проход - это же пипец сколько "сигналов" процессоров, расчёт, вычислений, переходов и тд.
То есть, "глупыш"-Чат проверяет запрос: если в нём чё-то сложное, то передаёт управление сложной модели. А если он распознал запрос "дважды два" - то передаёт управление калькулятору.
И там уже не киловаты, а что-то крайне экономичнее.
И в гипотетической ситуации, когда энергии очень мало или она очень дорогая, Илон Маск скажет: "Не отвлекайте Чат по пустякам".