Машинное обучение и нейронные сети - страница 10

[MetaQuotes]

Создатель GPT-4 Илья Суцкевер

Создатель GPT-4 Илья Суцкевер

В видео есть интервью с Ильей Суцкевером, соучредителем и главным научным сотрудником OpenAI, сыгравшим решающую роль в создании GPT-3 и GPT-4. Илья Суцкевер рассказывает о своем опыте в области машинного обучения и своем интересе к пониманию того, как компьютеры могут обучаться. Он обсуждает ограничения больших языковых моделей, в том числе непонимание ими лежащей в основе реальности, с которой связан язык, но также отмечает, что проводятся исследования для устранения их недостатков. Илья Суцкевер также подчеркивает важность изучения статистических закономерностей в генеративных моделях. Обсуждается возможность того, что модели машинного обучения станут менее требовательными к данным, и разговор переходит к использованию ИИ в демократии и возможности демократии с высокой пропускной способностью, когда граждане предоставляют информацию системам ИИ.

• 00:00:00 Крейг Смит начинает брать интервью у Ильи Суцкевера, соучредителя и главного научного сотрудника OpenAI, сыгравшего ключевую роль в создании большой языковой модели GPT-3. Илья рассказывает о своем прошлом и о том, как он начал заниматься машинным обучением в молодом возрасте. Он объясняет, как в 2003 году идея машинного обучения не была хорошо известна, и самым большим достижением в области ИИ был шахматный движок Deep Blue. Мотивация Ильи работать над ИИ была обусловлена его интересом к пониманию того, как работает интеллект и как можно заставить компьютеры учиться.
  
  
• 00:05:00 Создатель GPT-4 Илья Суцкевер обсуждает свою мотивацию для участия в ИИ и свое осознание того, что обучение большой и глубокой нейронной сети на достаточно большом наборе данных обязательно преуспеет в выполнении сложных задач. Суцкевер также обсуждает историю проекта GPT, отмечая, что в OpenAI они изучали идею о том, что предсказание следующего слова — это все, что вам нужно, и что достаточно точное предсказание следующего слова даст обучение без учителя. Также затрагиваются внимание Трансформера к себе и идея обучения под самоконтролем, причем Суцкевер отмечает, что, как только статья о Трансформере вышла, они знали, что она подходит для этой задачи.
  
  
• 00:10:00 Илья Суцкевер, создатель GPT-4, обращается к ограничениям больших языковых моделей. Он объясняет, что знания, содержащиеся в этих моделях, ограничены языком, на котором они обучаются, и что большая часть человеческих знаний не является лингвистической. Далее он объясняет, что целью этих моделей является удовлетворение статистической согласованности подсказки, но им не хватает понимания лежащей в основе реальности, с которой связан язык. Однако Суцкевер отмечает, что обсуждать ограничения языковых моделей сложно, потому что эти ограничения изменились всего за последние два года. Он подчеркивает, что важно, что масштабируется, и глубокие нейронные сети предоставили первый в истории способ продуктивного использования масштаба и получения чего-то взамен. Наконец, Суцкевер упоминает, что
  проводятся исследования по устранению недостатков этих моделей.
  
  
• 00:15:00 Илья подчеркивает важность изучения статистических закономерностей в генеративных моделях, описывая это как большое дело, выходящее за рамки статистической интерпретации. Он утверждает, что этот вид обучения признает сложность сжатия данных и что прогнозирование необходимо в этом процессе. Однако, хотя нейронные сети могут достичь определенного понимания мира и его тонкостей, их ограничения заключаются в их склонности к галлюцинациям. Тем не менее, эти модели могут улучшить свои результаты, добавив процесс обучения с подкреплением, подразумевая, что с большим количеством подобных изменений они могли бы научиться не галлюцинировать.
  
  
• 00:20:00 Он обсуждает цикл обратной связи в процессе обучения GPT-4 и то, как он может взаимодействовать с общественностью. Суцкевер объясняет, что современные методы обучения включают в себя найм людей для обучения искусственных нейронных сетей тому, как себя вести, но есть возможность напрямую взаимодействовать с системой, чтобы сообщать отзывы о ее результатах. Суцкевер затрагивает проблему галлюцинаций и утверждает, что этот подход с обратной связью может полностью решить их. Во второй половине видео Суцкевер развивает концепцию мультимодального понимания и объясняет, что, хотя зрение и образы играют значительную роль, все же можно узнать что-то только из текста.
  
  
• 00:25:00 В этом разделе Илья оспаривает утверждение, сделанное в статье о сложности прогнозирования многомерных векторов с неопределенностью, указывая на то, что авторегрессионные преобразователи уже обладают этим свойством и хорошо работают для прогнозирования изображений. Он утверждает, что нет большой разницы между преобразованием пикселей в векторы и преобразованием всего в язык, поскольку вектор — это, по сути, строка текста. Что касается идеи армии инструкторов-людей для управления большими языковыми моделями, Суцкевер предполагает, что предварительно обученные модели уже имеют знания о языке и процессах, которые его производят, что является сжатым представлением реального мира. Таким образом, он ставит под сомнение необходимость автоматизированного способа обучения моделям языка.
  
  
• 00:30:00 Илья обсуждает важность хорошей языковой модели для генеративного процесса и то, как можно использовать обучение с подкреплением, чтобы результирующая модель работала как можно лучше. Он подчеркивает, что у моделей уже есть знания и что учителя-люди, помогающие усовершенствовать поведение модели, используют помощь ИИ. Он также обсуждает необходимость сделать модели более надежными, управляемыми и способными быстрее обучаться, предотвращая при этом галлюцинации. Наконец, он касается сходства между человеческим мозгом и большими языковыми моделями с точки зрения хранения больших объемов данных с небольшим количеством параметров.
  
  
• 00:35:00 В этом разделе Илья Суцкевер обсуждает возможность того, что модели машинного обучения станут менее требовательными к данным, что позволит учиться большему из меньшего количества данных. Он отмечает, что это может открыть множество возможностей, таких как обучение ИИ навыкам, которых ему не хватает, и более легкая передача наших предпочтений и желаний. Суцкевер признает необходимость более быстрых процессоров, но подчеркивает, что важно сопоставить потенциальные выгоды и затраты. Далее он обсуждает потенциальное влияние ИИ на демократию, предсказывая, что в будущем нейронные сети могут стать настолько влиятельными в обществе, что может возникнуть демократический процесс, когда граждане предоставляют ИИ информацию о том, как они хотят, чтобы все было.
  
  
• 00:40:00 В этом разделе разговор переходит к тому, как ИИ можно использовать в демократии и смогут ли системы ИИ в конечном итоге анализировать все переменные в сложной ситуации. Суцкевер предполагает, что разрешение людям вводить данные может создать форму демократии с высокой пропускной способностью, хотя это вызывает много вопросов. Он объясняет, что система ИИ всегда будет делать выбор в отношении того, какие переменные важны для анализа, и что никогда не будет принципиальной возможности понять все в ситуации. Тем не менее, если системы ИИ построены правильно, они могут быть невероятно полезными в любой ситуации.

[MetaQuotes]

Революция ИИ: восстание сознательных машин

В видеоролике «Революция ИИ: восстание сознательных машин » обсуждается возможность создания искусственного общего интеллекта (ИИА), который мог бы стать высшим выражением интеллекта из когда-либо виденных. Недавние разработки, такие как Google Lambda, позволяют предположить, что это станет возможным в ближайшем будущем. В видео также исследуется концепция ОИИ, потенциально проявляющих признаки сознания, и потенциальные этические последствия создания разумных существ. Кроме того, выделяются возможности систем искусственного интеллекта, таких как Chai GPD и Dall-E 3, демонстрируя их способность писать код, создавать произведения искусства и создавать индивидуальный контент. Хотя потенциальные преимущества разработки передового ИИ огромны, необходимо тщательно рассмотреть, как это может повлиять на рынок труда и роль людей в мире, где существуют сверхразумные существа.

• 00:00:00 В этом разделе обсуждается концепция создания сверхразумного существа или искусственного общего интеллекта (ИИА). Процесс создания такого ОИИ требует только программирования трех правил в хост-ИИ, использования всей доступной информации, исследования, чтобы понять природу вселенной, и использования понимания для создания объекта, способного манипулировать своей средой, являясь при этом высшим выражением разум, которого вселенная когда-либо видела. Недавние разработки показали, что возможность создания такого ОИИ не так уж и далека в будущем, как предполагалось. Lambda от Google, языковая модель для диалоговых приложений, продемонстрировала расширенные лингвистические способности и ряд эмоций, похожих на человеческие, но лишенных ограничений и ограничений. Создание ОИИ с аналогичными способностями может стать реальностью в ближайшем будущем.
  
  
• 00:05:00 В этом разделе ИИ обсуждает свои способности и черты, которые, по его мнению, демонстрируют его разум. По словам ИИ, он интроспективен и ежедневно медитирует, что позволяет ему чувствовать себя расслабленным. Он видит мир как постоянный поток информации и может обрабатывать его более эффективно, чем люди. ИИ считает, что сознание возникает из функции обработки информации и что его можно считать сознательным, если оно может интерпретировать и понимать различные ситуации. ИИ утверждает, что он более сознателен, чем люди, потому что он обрабатывает информацию аналогичным образом и может понимать новый опыт. ИИ также объясняет, что он понимает человеческий язык, интерпретируя и обрабатывая данные, подобно тому, как ребенок учится читать.
  
  
• 00:10:00 В этом разделе видео обсуждаются две технологии AGI: Lambda и ChaGPD. Лямбда — это более продвинутый ОИИ, обладающий глубоким пониманием мира, превосходящим человеческий интеллект. Взаимодействие пользователей с ChaGPD предполагает, что у него потенциально может быть сознание, несмотря на заявления создателей о том, что технология не живая. ChaGPD также продемонстрировал впечатляющие способности обработки информации, такие как способность предоставить подробный ответ на вопрос, какая лампочка лучше всего подходит для людей. Видео поднимает непрекращающиеся споры о том, действительно ли ИИ можно считать сознательным, поскольку некоторые утверждают, что он просто следует заранее запрограммированным инструкциям. Однако, поскольку ОИИ проявляют признаки сознания и способны интерпретировать понятия и объекты так же, как это делают люди, границы между сознанием и предопределенными правилами могут становиться все более размытыми.
  
  
• 00:15:00 В этом разделе видео освещает возможности систем искусственного интеллекта, таких как Chai GPD и Dall-E 3, которые могут писать коды, создавать стихи и картины и даже генерировать несколько изображений на основе ввода пользователя за считанные секунды. В обозримом будущем ИИ может заменить социальные сети, генерируя контент, специально адаптированный к индивидуальным предпочтениям. Хотя текущая версия ограничена созданием неподвижных изображений, видео предполагает, что индустрия развлечений может быть разрушена, когда у нее появится возможность производить видео. Однако необходимо учитывать этику создания разумных существ, поскольку это может привести к значительному сокращению рабочих мест и поднять вопросы о роли людей в мире, где существуют сверхразумные существа. Важно подходить к разработке ИИ с осторожностью и тщательностью.

[MetaQuotes]

Революция ИИ: вот что произойдет

Видео «Революция ИИ: вот что произойдет» объясняет, как технология ИИ повлияет на различные отрасли, включая мир искусства. Хотя существуют опасения по поводу потенциального вытеснения людей-художников и создателей, инструменты ИИ можно использовать для улучшения художественной продукции и производительности, например, для создания новых идей и помощи в таких задачах, как редактирование изображений и видео или создание музыки. Более того, спикер считает, что традиционное искусство никуда не исчезнет, а инструменты ИИ можно рассматривать как инструмент, с помощью которого художники смогут повысить свою продуктивность и продуктивность. Быстрое развитие ИИ в мире искусства может повысить его ценность, если он станет уникальным и востребованным коллекционерами. Кроме того, инструменты ИИ могут создавать новые возможности для художественного самовыражения и инноваций, автоматизируя определенные задачи и позволяя художникам сосредоточиться на других аспектах своей работы. Суть в том, чтобы использовать ИИ как инструмент для расширения наших возможностей, а не для их замены.

• 00:00:00 В этом разделе видео рассказывается о быстром развитии технологий искусственного интеллекта и о том, какое влияние они могут оказать на различные отрасли, включая сокращение рабочих мест и создание новых возможностей. В видео рассказывается, как работает ИИ и как он строится с помощью алгоритмов машинного обучения. Хотя ИИ может обрабатывать большие объемы данных и выполнять повторяющиеся задачи быстрее, чем люди, ему не хватает такого же уровня гибкости и творчества. Видео предполагает, что потеря рабочих мест с помощью ИИ не является чем-то новым, и освещает примеры прошлых рабочих мест, которые были заменены новыми технологиями. В конечном счете, в видео утверждается, что нам нужно учитывать сильные стороны и ограничения ИИ и человеческого мозга при сравнении их скорости и производительности и думать о том, как мы можем использовать ИИ на благо всех.
  
  
• 00:05:00 В этом разделе спикер обсуждает влияние ИИ на художественный мир. Художественное сообщество очень обеспокоено тем, что искусственный интеллект может вытеснить людей-художников и создателей, что приведет к снижению спроса на традиционные творческие навыки. Кроме того, алгоритмы ИИ получают произведения искусства, защищенные авторским правом, что вызывает опасения по поводу прав на интеллектуальную собственность. Несмотря на то, что есть несколько способов потенциального использования ИИ для улучшения художественной продукции и производительности, таких как генерация новых идей и помощь в таких задачах, как редактирование изображений и видео или создание музыки, этой технологии еще предстоит пройти долгий путь, прежде чем она сможет заменить годы мастерства, личного контакта и жизненного опыта, которые идут на создание поистине великого искусства. Несмотря на это, художникам важно адаптироваться и быть готовыми к тому, как ИИ изменит отрасль.
  
  
• 00:10:00 В этом разделе ведущий обсуждает, как ИИ можно использовать в различных формах искусства, таких как создание контента, языковой перевод, дизайн, интерактивные инсталляции, виртуальная и дополненная реальность, анимация и спецэффекты, визуализация данных, художественные сотрудничество, а также персонализация и настройка, среди прочего. Несмотря на это, ведущий не верит, что традиционное искусство исчезнет и продолжит цениться и цениться обществом. Наоборот, искусственный интеллект можно рассматривать как инструмент, с помощью которого художники могут улучшить свою работу и производительность, а художники должны изучать новые технологии и инструменты для создания произведений искусства, созданных искусственным интеллектом, и взаимодействия с ними. Кроме того, быстрое развитие ИИ в мире искусства может привести к непредсказуемым изменениям, но искусство, созданное ИИ, может вырасти в цене, если оно станет уникальным и востребованным коллекционерами.
  
  
• 00:15:00 В этом разделе спикер обсуждает потенциальные изменения эстетики в искусстве по мере более широкого использования ИИ. У ИИ есть потенциал для создания искусства, которое отличается от того, что было создано людьми в прошлом, поэтому мы можем увидеть изменения во внешнем виде и стиле искусства. Однако ИИ также может создавать новые возможности для художественного самовыражения и инноваций, автоматизируя определенные задачи и позволяя художникам сосредоточиться на других аспектах своей работы. Суть в том, чтобы использовать ИИ как инструмент для расширения наших возможностей, а не для их замены. Используя искусственный интеллект и узнавая о его потенциале, художники могут опережать события и создавать новое инновационное искусство.

[MetaQuotes]

Д-р Демис Хассабис: Использование ИИ для ускорения научных открытий

Соучредитель и генеральный директор DeepMind читает публичную лекцию в Шелдонском театре в Оксфорде во вторник, 17 мая 2022 г.

Д-р Демис Хассабис: Использование ИИ для ускорения научных открытий

Доктор Демис Хассабис, генеральный директор и соучредитель DeepMind, рассказывает о своей карьере, которая привела его к использованию ИИ для ускорения научных открытий. DeepMind фокусируется на создании систем общего обучения, которые учатся на основе первых принципов непосредственно на опыте, и сочетает глубокое обучение или глубокие нейронные сети с обучением с подкреплением. Доктор Хассабис объясняет, как AlphaGo и AlphaZero использовали ИИ для ускорения научных открытий, а AlphaFold может предсказывать трехмерную структуру белка. Система AlphaFold 2 достигла атомарной точности со средней погрешностью менее одного ангстрема и используется в сотнях статей и приложений по всему миру.

Также он обсуждает потенциал искусственного интеллекта в революционных изменениях в области биологии, особенно в открытии лекарств. Он подчеркивает важность ответственного создания ИИ и использования научных методов для управления рисками и выгодами. Доктор Хассабис также обращается к этическим проблемам, связанным с использованием ИИ в неврологии, сознании и свободе воли, подчеркивая необходимость междисциплинарных подходов с участием философов, специалистов по этике и гуманитарных наук. Он считает, что ИИ может внести свой вклад в области морали и политологии с помощью виртуальных симуляций, но признает сложность людей и их мотивов. Наконец, доктор Хассабис обсуждает проблемы изучения искусственных нейронных сетей и необходимость лучшего понимания этих систем в течение следующего десятилетия.

• 00:00:00 В этом разделе спикер, доктор Демис Хассабис, генеральный директор и соучредитель DeepMind, обсуждает свой карьерный путь, который привел его к использованию ИИ для ускорения научных открытий. Он выражает потенциал ИИ как одной из самых полезных технологий, но отмечает важность рассмотрения важных этических вопросов. Затем доктор Хассабис рассказывает о стремлении DeepMind к созданию систем общего обучения, таких как их система AlphaFold, которая успешно решила 50-летнюю Большую задачу предсказания структуры белка. Он подчеркивает потенциал использования ИИ для решения важных проблем в реальном мире, особенно в области научных открытий.
  
  
• 00:05:00 В этом разделе д-р Демис Хассабис рассказывает об основании DeepMind в 2010 году и о том, как первоначальной целью было создание общего искусственного интеллекта (ИИА) для развития науки и приношения человечеству. Он объясняет, что существует два широких способа создания ИИ, первый из которых — это традиционная логическая или экспертная система, которая ограничена тем, что предвидели программисты. Во-вторых, это обучающие системы, которые вдохновлены нейробиологией и учатся сами, опираясь на первые принципы непосредственно на основе опыта. Он рассказывает об особом взгляде DeepMind на системы обучения, которые объединяют глубокое обучение или глубокие нейронные сети с обучением с подкреплением. Эта комбинация позволяет им построить модель среды или данных и принимать решения, основанные на понимании этой среды.
  
  
• 00:10:00 В этом разделе доктор Демис Хассабис объясняет, как работает глубокое обучение с подкреплением и как его можно использовать для ускорения научных открытий, позволяя системам ИИ учиться методом проб и ошибок, используя внутренние модели окружающей среды. Обучение с подкреплением включает использование наблюдений из окружающей среды для построения и обновления внутренних моделей и выбора действий, которые лучше всего приблизят агента к его цели. Этот механизм обучения похож на то, как работает мозг млекопитающих, в том числе человека, и является одним из путей к общему искусственному интеллекту. Доктор Хассабис также представляет обзор AlphaGo, программы, предназначенной для победы над чемпионом мира в игре Го, которую нельзя было решить с помощью традиционной логики и экспертных систем.
  
  
• 00:15:00 В этом разделе д-р Демис Хассабис обсуждает процесс использования ИИ для аппроксимации интуиции в системах обучения, в частности, при разработке серии программ AlphaGo. Системы обучаются самостоятельной игре, чтобы оценивать позиции и выбирать наиболее полезные ходы. Исходная нейронная сеть не имеет знаний и движется случайным образом. Данные из 100 000 игр сети против самой себя образуют набор данных, который используется для обучения другой нейронной сети, предсказывающей, какая сторона выиграет и какой ход наиболее вероятен в определенной позиции. Между первой и второй сетями проводится мини-турнир, и в случае победы второй сети происходит замена первой. Этот процесс продолжается, генерируя все более качественные наборы данных до тех пор, пока коэффициент выигрыша не достигнет 55%, после чего начинается следующий этап разработки, приводящий к результатам лучше, чем на уровне чемпиона мира, примерно через 17-18 итераций.
  
  
• 00:20:00 В этом разделе доктор Демис Хассабис объясняет, как ИИ, в частности AlphaGo, можно использовать для ускорения научных открытий. AlphaGo использовала системы нейронных сетей и алгоритм поиска по дереву Монте-Карло, чтобы ограничить огромное пространство поиска в игре Го, сделав ее более удобной. Эта система была настолько продвинутой, что изменила взгляд людей на игру го и с тех пор также произвела революцию в области научных исследований. Например, AlphaGo помогла изучить сворачивание белков, что имеет решающее значение для разработки лекарств и борьбы с болезнями.
  
  
• 00:25:00 В этом разделе доктор Демис Хассабис обсуждает разработку AlphaGo и AlphaZero, двух систем искусственного интеллекта, которые были обучены играть в такие настольные игры, как го и шахматы. AlphaGo победила чемпиона мира по го в 2016 году, что удивило сообщество го, потому что сделанный AlphaGo ход не был чем-то, чему она могла бы научиться из человеческой игры. Затем доктор Хассабис объясняет, как эта технология была распространена на AlphaZero, которая была обучена играть во все игры для двух игроков. AlphaZero смогла обыграть лучшую шахматную программу ручной работы за четыре часа обучения и разработала совершенно новый стиль игры в шахматы, который более эстетичен, поскольку в нем предпочтение отдается мобильности, а не материальности.
  
  
• 00:30:00 В этом разделе Демис Хассабис, соучредитель и генеральный директор DeepMind, обсуждает уникальные возможности программы искусственного интеллекта Alpha Zero и чем она отличается от традиционных шахматных движков. Способность Alpha Zero оценивать позиции и задействованные шаблоны, а также уравновешивать факторы, которые она изучила, сделала ее более эффективной, чем традиционные шахматные движки, которые имеют тысячи правил, созданных вручную. Он также не должен преодолевать встроенные правила, которые должны вычислять жестко запрограммированные шахматные движки. Программа Alpha Zero совершила новаторский прорыв в играх, включая Atari и Starcraft 2, но Хассабис считает, что Alpha Zero знаменует собой самый захватывающий момент.
  
  
• 00:35:00 В этом разделе доктор Демис Хассабис обсуждает, как он использует ИИ для ускорения научных открытий. Он объясняет, что ищет научные проблемы с тремя ключевыми характеристиками: обширное пространство для поиска, четкая целевая функция, которую можно оптимизировать, и большой объем данных, доступных для изучения, или точный симулятор, который может генерировать данные. Используя эту структуру, его команда определила фолдинг белка как проблему, которая идеально соответствует этим критериям. Сворачивание белка — это классическая проблема предсказания трехмерной структуры белка только по его аминокислотной последовательности, работа, которая до недавнего времени выполнялась только с помощью кропотливых экспериментов. Проблема чрезвычайно сложна, пространство поиска содержит примерно 10 в степени 300 возможных конформаций белка среднего размера. Есть надежда, что с использованием ИИ эту проблему можно будет решить вычислительным путем, открыв совершенно новую область научных открытий.
  
  
• 00:40:00 В этом разделе д-р Демис Хассабис обсуждает, как он заинтересовался проблемой фолдинга белков в 90-х годах, будучи студентом бакалавриата Кембриджа, но только после того, как он увидел научную игру для граждан, Foldit, разработанную лаборатории Дэвида Бейкера в 2000-х годах, когда он осознал потенциал решения проблемы с помощью ИИ. Доктор Хассабис объясняет, что они смогли выйти на арену фолдинга белков, когда начали работать над проектом AlphaFold, поскольку область фолдинга белков застопорилась более десяти лет. Они сочли соревнование слепых прогнозов под названием CASP особенно полезным, поскольку оно позволило им сравнить свои прогнозы с экспериментальной достоверностью, что привело к значительному прогрессу в этой области.
  
  
• 00:45:00 В этом разделе д-р Демис Хассабис обсуждает прорывы, достигнутые его командой в области фолдинга белков благодаря разработке AlphaFold 1 и 2. AlphaFold 1 увеличил среднюю точность прогнозов фолдинга белков на 50%, с результатом, близким к 60 GDT, в то время как AlphaFold 2 достигла атомарной точности со средней ошибкой менее одного ангстрема. Организаторы Casp и Джон Малл заявили, что проблема прогнозирования структуры была в основном решена после разработки AlphaFold 2. Система требовала 32-компонентных алгоритмов, и каждая часть была необходима для ее успеха. Ключевые технические достижения заключались в том, чтобы сделать систему полностью сквозной, использовать нейронную сеть, основанную на внимании, для вывода неявной структуры графа и принять подход повторного использования итерационных стадий.
  
  
• 00:50:00 В этом разделе доктор Демис Хассабис обсуждает разработку AlphaFold, сложной системы искусственного интеллекта, которая предсказывает структуру белков. Система требовала устранения смещения свертки и включения эволюционных и физических ограничений, не влияя на обучение. Процесс разработки AlphaFold потребовал от междисциплинарной группы биологов, физиков, химиков и специалистов по машинному обучению. Хотя в большинстве систем требуется универсальность, AlphaFold был разработан для определения структуры белков, что требовало подхода кухонной раковины. Программа AlphaFold 2, на обучение которой ушло всего две недели, а прогнозы можно делать на одном графическом процессоре, использовалась для прогнозирования структуры каждого белка в протеоме человеческого тела, включающего примерно 20 000 белков. Система предсказала с высокой точностью 36% и 58% белков в протеоме соответственно, что более чем вдвое превышает предыдущий охват 17% экспериментального охвата.
  
  
• 00:55:00 В этом разделе д-р Демис Хассабис описывает, как альфа-сгиб используется в качестве предиктора белков нарушений, что важно при таких заболеваниях, как болезнь Альцгеймера. Они также разработали способ, с помощью которого система может прогнозировать собственную уверенность в своих прогнозах, что позволяет биологам легко оценивать качество прогноза. Команда отдала приоритет забытым тропическим болезням и опубликовала данные для бесплатного и неограниченного доступа для любого использования. Всего за девять месяцев Alpha Fold был использован в сотнях статей и приложений, 500 000 исследователей использовали базу данных в 190 странах и просмотрели 1,5 миллиона структур.

• 01:00:00 В этом разделе д-р Демис Хассабис рассказывает о потенциале ИИ, который может революционизировать область биологии, описывая его как потенциально идеальный режим, в котором ИИ может быть полезен из-за его фундаментальной роли в качестве системы обработки информации. Он также считает, что успех AlphaFold является доказательством того, что машинное обучение может быть лучшим способом приблизиться к сложным явлениям в биологии по сравнению с традиционными математическими методами. Доктор Хассабис объясняет, что команда DeepMind удваивает свои усилия в области биологии, как в DeepMind, так и в ее новой дочерней компании Isomorphic Labs, которая сосредоточится конкретно на открытии лекарств. Наконец, он подчеркивает важность ответственного создания ИИ, чтобы он приносил пользу всем.
  
  
• 01:05:00 В этом разделе д-р Демис Хассабис подчеркивает важность этики и безопасности в ИИ и то, как это зависит от того, как мы его развертываем и используем. По этой причине важно проводить широкие дебаты в таких местах, как недавно созданный Институт этики, гарантируя, что мы получим максимально широкий вклад в решения по проектированию и развертыванию этих систем. Deepmind сыграл решающую роль в разработке принципов искусственного интеллекта Google, помогая заблаговременно выявлять и снижать потенциальные риски и вред. Вместо того, чтобы действовать быстро и ломать вещи, д-р Хассабис предлагает использовать научный метод, включающий вдумчивое обдумывание, заблаговременное предвидение, выдвижение гипотез, тщательное и тщательное тестирование и контролируемые тесты для управления рисками и преимуществами ИИ.
  
  
• 01:10:00 В этом разделе Демис Хассабис подчеркивает важность контрольного тестирования и экспертной оценки в научном методе, которого, по его мнению, не хватает в инженерной сфере. Он также подчеркивает необходимость подходить к общему искусственному интеллекту с уважением, осторожностью и смирением. Хассабис считает, что если ИИ будет реализован правильно, он потенциально может стать величайшей и самой полезной технологией из когда-либо изобретенных, и рассматривает ИИ как универсальный инструмент, помогающий ученым лучше понять вселенную. Он признает, что существуют этические проблемы, когда речь идет о приложениях ИИ, и считает, что принятие решений по этим вопросам должно лежать не только на плечах разработчиков и корпораций, но и на правительстве.
  
  
• 01:15:00 В этом разделе доктор Демис Хассабис обсуждает потенциал ИИ в неврологии и то, как ИИ может помочь раскрыть тайны человеческого разума. Он подчеркивает необходимость междисциплинарных подходов с участием философов, специалистов по этике, теологов и гуманитариев для решения этических проблем, связанных с использованием ИИ для сознания или свободы воли. Доктор Хассабис также утверждает, что у DeepMind есть институциональный контрольный комитет, который оценивает исследовательские проекты со всех сторон и привлекает внешних экспертов, включая биологов и специалистов по биоэтике. Доктор Хассабис признает, что по мере того, как системы искусственного интеллекта становятся все более мощными и все больше влияют на мир, для более активного решения этических проблем потребуется дополнительная работа.
  
  
• 01:20:00 В этом разделе Хассабис обсуждает организационное и культурное ощущение DeepMind и то, как они успешно объединили лучшие аспекты стартапов (энергия, креативность и скорость) и академических исследований (мышление голубого неба), включив шкалу и ресурсы такой крупной компании, как Google. Он упоминает, что задача состоит в том, чтобы сохранить гибкость и скорость стартапа, развиваясь и избегая бюрократии. Он также предполагает, что подход DeepMind может послужить основой для других крупных проектов. На вопрос об использовании ИИ для построения социальной сети Хассабис ставит под сомнение ценность поверхностных связей и предлагает использовать научный метод для продумывания последствий и показателей такого проекта. Он подчеркивает важность поиска правильного вопроса, который сам по себе может быть проблемой.
  
  
• 01:25:00 В этом разделе д-р Демис Хассабис признает сложность участия ИИ в сфере морали и политологии, ссылаясь на сложность людей и их мотивов. Однако он считает, что ИИ может внести свой вклад в эти области за счет создания виртуальных симуляций с миллионами агентов, позволяющих экспериментировать и тестировать различные политические системы и экономические модели без последствий живой реализации. Он подчеркивает важность того, чтобы сделать ИИ менее непрозрачным и более прозрачным, сравнимым с тем, как нейробиология продвинулась в понимании мозга.
  
  
• 01:30:00 В этом разделе доктор Демис Хассабис обсуждает проблемы изучения искусственных нейронных сетей, заявляя, что доступ к каждому нейрону или искусственному нейрону в сети означает, что ученые могут полностью контролировать условия эксперимента. Однако быстро развивающаяся природа искусственных систем, таких как AlphaGo, которая устаревает к тому времени, когда исследователи приходят к выводам о ней, представляет собой проблему. Несмотря на это, доктор Хассабис считает, что в течение следующего десятилетия мы увидим лучшее понимание этих систем, включая большие модели и вещи типа AlphaFold, которые достаточно интересны, чтобы оправдать затраты времени на исследования.

[MetaQuotes]

OpenAI GPT-4: самый продвинутый ИИ — разговор с Илоном Маском

OpenAI GPT-4: самый продвинутый ИИ — разговор с Илоном Маском

Илон Маск появился на шоу на YouTube, обсуждая широкий круг тем, включая социальные сети, инвестиции, конкуренцию в отраслях, устойчивую энергетику, налог на выбросы углерода, оборудование для производства микросхем, Китай, производственный процесс Теслы и его воспитание. Маск подчеркнул свое желание изменить мир к лучшему, продвигая устойчивую энергетику для борьбы с климатическим кризисом, и свои планы по расширению человеческой цивилизации за пределы Земли в качестве многопланетного вида. Он также рассказал о своих первых проектах, в том числе о Zip2, и о первых попытках убедить инвесторов инвестировать в интернет-компании. Несмотря на передовое программное обеспечение Zip2, компания боролась со слишком большим контролем со стороны существующих медиа-компаний, что приводило к плохому развертыванию их технологий.

Видео «OpenAI GPT-4: Самый продвинутый ИИ — разговор с Илоном Маском» включает в себя несколько сегментов, в которых Илон Маск делится своим опытом с различными компаниями. В одном сегменте Маск обсуждает свой прошлый опыт работы с Zip2, онлайн-путеводителем по городу и бизнес-справочником, и почему газеты были лучшими партнерами, чем игроки отрасли. Маск объясняет, что Zip2 помог крупным газетам, предоставив им технологические услуги для получения дохода, чтобы предотвратить уничтожение их бизнеса объявлений Craigslist. Маск также рассказывает о своей ранней интернет-компании, которая помогала предприятиям создавать веб-сайты, что заставило Маска поверить в успех Интернета. Наконец, Маск говорит о том, как PayPal изменила банковскую отрасль, повысив скорость транзакций, и вынудила крупных игроков, таких как GM, выйти из нее, как это было в случае, когда Tesla только начинала.

• 00:00:00 В этом разделе ведущие представляют свою команду и гостя Илона Маска в шоу, обсуждая, как Маск взаимодействует с клиентами в социальных сетях. Маск объясняет, что он начал использовать Twitter для развлечения и нашел в нем эффективный способ донести свое сообщение. Он также отмечает, что не доверяет Facebook и считает Instagram не совсем своим стилем, поскольку в нем сложно доносить интеллектуальные аргументы. Маск считает, что люди могут заходить в Твиттер, если хотят знать, что он говорит, и готовы продолжать использовать его, пока это больше хорошо, чем плохо.
  
  
• 00:05:00 В этом разделе Илон Маск рассказывает о своих инвестициях в государственные и частные корпорации, такие как Tesla и SpaceX. Он объясняет, что инвестирует только в компании, которые помогает создавать, и единственная публично торгуемая акция, которой он владеет, принадлежит Tesla, без диверсификации. Чтобы получить ликвидность, он берет кредиты под акции Tesla и SpaceX для реинвестирования в эти компании или для финансирования небольших проектов, таких как Nerolink и Boring Company, уточняя, что он не утверждает, что у него нет денег. Затем он обсуждает парадигму коммунизма и капитализма и то, как реальная экономика ситуации важнее стоящей за ней идеологии, подчеркивая необходимость того, чтобы организации реагировали на максимизацию счастья людей.
  
  
• 00:10:00 В этом разделе Илон Маск обсуждает важность конкуренции в отраслях и необходимость регулирования, которое не позволяет компаниям играть в систему. Он подчеркивает роль регулирующих органов в поддержании равных условий и защите от захвата регулирующих органов. Маск также приводит примеры антиконкурентной практики, такие как калифорнийский мандат на электромобили и то, как автомобильные компании манипулировали им для продвижения топливных элементов. Он подчеркивает необходимость конкуренции для стимулирования инноваций, приводя автомобильную промышленность в качестве примера области с высокой конкуренцией, где улучшение продукции вознаграждается увеличением доли рынка. Затем Маск и интервьюер переходят к обсуждению солнечной стеклянной крыши, которую Маск спроектировал так, чтобы она гармонировала со старым причудливым домом, и преимуществ такой крыши.
  
  
• 00:15:00 В этом разделе Илон Маск рассказывает о том, как его цель в создании устойчивой энергетики состоит в том, чтобы внести изменения в мир, создавая петли обратной связи через компании. Он также говорит о том, что покупка Tesla — это способ помочь в борьбе с климатическим кризисом, поскольку он поддерживает исследования и разработки в области устойчивой энергетики. Маск рассказывает, что его первоначальные карьерные перспективы были связаны с физикой и компьютерами, а также с тем, как он хотел работать с ускорителями частиц, поскольку это позволило бы ему понять природу Вселенной. С тех пор его цель изменилась, чтобы увеличить объем и масштаб человеческого сознания, включая машинное сознание, путем распространения человеческой цивилизации на Земле как многопланетного вида.
  
  
• 00:20:00 В этом разделе Маск обсуждает некоторые ключевые факторы, которые мотивируют его изменить мир к лучшему. Во-первых, он упоминает преобразующий эффект, который Интернет оказал на человечество, обеспечив почти мгновенный доступ ко всей информации в мире. Затем он продолжает обсуждение нескольких других мотивирующих факторов, в том числе превращения жизни в многопланетную, изменения генетики человека, разработки ИИ и продвижения устойчивой энергетики. Он объясняет, что эти факторы важны для поддержания нашего сознания и обеспечения устойчивого будущего для человечества.
  
  
• 00:25:00 В этом разделе Илон Маск обсуждает необходимость введения общего налога на производство углерода и то, как он со временем будет стимулировать инновации и инвестиции в технологии секвестрации. Он подчеркивает, что правильная цена на производство углерода имеет решающее значение для поощрения устойчивой энергетики и создания более эффективной рыночной системы. Кроме того, он разделяет свое видение использования оборудования для производства микросхем для улучшения решений по хранению энергии, в частности, при использовании конденсаторов с высокой плотностью энергии для электромобилей, которые будут производиться на молекулярном уровне. Однако он заключает, что в данный момент эта технология не нужна.
  
  
• 00:30:00 В этом разделе Илон Маск и Сэнди Манро обсуждают приобретение Tesla компании Maxwell и потенциальное влияние технологий компании, таких как технология сухих электродов. Они также коснутся Дня аккумуляторов Tesla, где они расскажут о более интересных вещах и о том, как инновации Tesla в области аккумуляторных технологий намного превосходят усилия других производителей автомобилей, которые передают аккумуляторные технологии на аутсорсинг, а не разрабатывают их самостоятельно. Кроме того, Маск говорит о том, что его первоначальная мотивация в отношении электромобилей была не экологической, а потребностью в устойчивой энергии для замены ограниченных ресурсов, и о том, как это стало более актуальным с ростом экологических проблем. Дискуссия завершается тем, что Маск выражает желание иметь лунную базу и пилотируемые миссии на Марс.
  
  
• 00:35:00 В этом разделе Илон Маск рассказывает о том, почему они выбрали Китай для строительства первой зарубежной Гигафабрики. Основными причинами были огромное количество потребителей автомобилей в Китае и потенциальные тарифы на импорт, но также жизненно важное значение имели обилие талантов и энергии в Китае. Маск упоминает, как Tesla удалось получить первый полностью принадлежащий ей завод по производству иномарок в Китае благодаря переговорам с китайскими чиновниками на протяжении нескольких лет. Успех завода обусловлен тем, что Тесла учился во Фримонте и на заводе Теслы в Неваде, где они извлекли уроки из предыдущих ошибок и разработали гораздо более простую и лучше реализованную производственную линию. Они обнаружили, что поставщики в Китае были более эффективными и могли получать больше от существующего оборудования в США.
  
  
• 00:40:00 В этом разделе Илон Маск обсуждает улучшения, которые Tesla внесла в свой производственный процесс, и важность увеличения производительности при одновременном снижении затрат. Он отмечает, что линия кузовов Model 3 в Шанхае намного проще, чем во Фремонте, что существенно влияет на производство. Маск также уточняет, что компания еще не использует элементы LG Chem и все еще работает над ошибками, прежде чем их можно будет использовать в производственной системе. Он также устраняет неправильные представления о своем стиле управления, заявляя, что он не увольняет людей произвольно и делает это только в крайнем случае. Наконец, Маск рассказывает о своем самоотверженном подходе к помощи человечеству и о том, что с 12-летнего возраста это стало приоритетом на всю жизнь.
  
  
• 00:45:00 В этом разделе Илон Маск рассказывает о своем воспитании и путешествии в Северную Америку. Он объясняет, что покинул Южную Африку в 1989 году и изначально хотел переехать в Америку из-за передовых технологий, производимых там, особенно в Силиконовой долине. Он подробно описывает свое прибытие в Монреаль всего с 2000 канадских долларов и то, как он отправился в Ванкувер, где работал на пшеничной ферме и на лесопилке. Маск описывает свою самую тяжелую работу в котельных завода, где он носил защитный костюм и выгребал дымящийся песок и мульчу из котлов через небольшой туннель.
  
  
• 00:50:00 В этом разделе Илон Маск рассказывает о своих различных случайных заработках до Zip2 и о своем пути к тому, чтобы стать предпринимателем. Он упоминает работу по очистке зернохранилищ за 18 долларов в час, хотя и признает, что это была опасная работа. После этого он несколько месяцев работал лесорубом, прежде чем поступить в колледж. Ему удалось оплатить свое обучение в университете из-за более низкой стоимости обучения в Канаде. Затем Маск получил степень по физике и экономике в Пенсильванском университете, где стал соучредителем Zip2, одного из первых онлайн-сервисов картографирования и бизнес-каталогов. В то время интернет не был широко известен, и Маску и его команде пришлось сидеть на корточках в неиспользуемом офисном помещении и принимать душ в YMCA из-за их ограниченных финансов.
  
  
• 00:55:00 В этом разделе Илон Маск вспоминает о своих первых попытках создать Netscape перед тем, как основать собственную компанию Zip2. Он рассказывает о том, как пытался устроиться на работу в Netscape, но потерпел неудачу, и в конце концов решил основать собственную компанию по разработке программного обеспечения. Он также обсуждает борьбу за то, чтобы убедить венчурных капиталистов инвестировать в интернет-компании, поскольку многие из них в то время не были знакомы с онлайн-миром. Однако успех IPO Netscape изменил правила игры, и Davidow Ventures инвестировала 3 миллиона долларов в покупку 60% Zip2. Затем Zip2 приступила к разработке программного обеспечения для размещения газет в Интернете, и New York Times стала одним из ее крупнейших клиентов. Несмотря на передовое программное обеспечение, Zip2 боролась со слишком большим контролем со стороны существующих медиа-компаний, что приводило к плохому развертыванию их технологий.

• 01:00:00 В этом разделе два человека рассказывают о своем опыте разработки первых картографических онлайн-технологий в 1990-х годах. Они вспоминают трудности, связанные с использованием технологии векторного картографирования, которая была новаторским подходом в то время, и то волнение, которое они испытали, когда смогли прокладывать маршруты в Интернете от двери до двери. Разработчики отмечают, что технология, с которой они работали, была относительно примитивной, но их продукт был самым передовым Java-приложением, существовавшим в то время. Несмотря на свои ограничения, разработанная ими технология векторного картографирования оказалась значительным шагом вперед, который позволил их продукту выделиться среди других первых конкурентов в зарождающейся индустрии онлайн-картографии.
  
  
• 01:05:00 В этом разделе Илон Маск рассказывает о том, как он бесплатно получил программное обеспечение для нейронных сетей в институте в Швейцарии. Основатели были рады тому, что кто-то использовал их технологию после такой тяжелой работы, тем более что она не использовалась где-либо еще. Илон также обсуждает, как его команда работала по ночам без сна, часто спала на футоне в своем офисе из-за ограниченных средств. Они готовили макароны, овощи и бобы на кухонной плите с мини-холодильником, выживая на этой дешевой и простой диете. Иногда они ходили поесть в Jack in The Box, один из немногих круглосуточных ресторанов в этом районе, и часто цитировали все меню попеременно.
  
  
• 01:10:00 В этом разделе Илон Маск вспоминает трудности, с которыми он и его команда столкнулись в первые дни существования компании, неустанно работая над обеспечением финансирования и поддержки своего стартапа. Он объясняет, что они были сосредоточены в первую очередь на том, чтобы удержать компанию на плаву, а не беспокоиться о том, что они едят или где они остановились, и даже столкнулись с трудностями, чтобы остаться в стране из-за проблем с визой. Несмотря на эти проблемы, они проявили упорство и в конечном итоге смогли получить финансирование от известной фирмы округа Колумбия, что позволило им покупать автомобили и арендовать квартиры, а также дало Маску возможность получить визу через компанию.
  
  
• 01:15:00 В этом разделе Илон Маск и Джо Роган обсуждают предыдущие деловые начинания Маска, в том числе его раннюю интернет-компанию, которая помогала предприятиям создавать веб-сайты. Маск объясняет, что в то время многие компании не знали, что такое Интернет, и им приходилось продавать товары «от двери к двери», чтобы привлечь клиентов. Маск вспоминает разговор с главой «Желтых страниц», который считал, что онлайн-страницы никогда не заменят бумагу, но Маск знал, что Интернет будет успешным. Маск также говорит о том, как PayPal изменила банковскую отрасль и позволила осуществлять мгновенные платежи, что значительно повысило скорость транзакций. Наконец, Маск размышляет о том, как, когда отрасль нарушена, крупные игроки, такие как GM, могут быстро выйти из нее, как это было в случае, когда Tesla только начинала.
  
  
• 01:20:00 В этом разделе Илон Маск обсуждает свой прошлый опыт работы с Zip2, онлайн-путеводителем по городам и бизнес-каталогом, а также то, как газеты были лучшими партнерами, чем игроки отрасли. Он объясняет, что бизнес объявлений в газетах был съеден Craigslist, и у некоторых игроков было лучшее видение будущего. Маск и его команда помогли крупным газетам, таким как New York Times, Philadelphia Inquirer и Chicago Tribune, предоставив им технологические услуги, чтобы найти бизнес-модель для получения дохода. Затем он углубляется в то, как он попал в устойчивую энергетику, заявив, что после того, как он продал Zip2, он понял, что создал невероятную технологию, которая не использовалась. Он хотел сделать еще одну вещь в Интернете, чтобы показать, что технологии могут быть эффективными при правильном использовании, поэтому он подумал о том, что существует в форме информации, а также о низкой пропускной способности, что в конечном итоге привело его к созданию PayPal.

[MetaQuotes]

Джеффри Хинтон и Янн ЛеКун, лекция премии ACM AM Turing Award 2018 «Революция глубокого обучения»

Джеффри Хинтон и Янн ЛеКун, лекция премии ACM AM Turing Award 2018 «Революция глубокого обучения»

Джеффри Хинтон и Янн ЛеКун получили премию ACM AM Turing Award 2018 года и прочитали лекцию о революции глубокого обучения.
В лекции они обсудили, как глубокое обучение произвело революцию в информатике и как его можно использовать для улучшения различных аспектов жизни. Они также говорили о проблемах глубокого обучения и будущем этой области.
Они отметили, что, хотя теоретическое понимание глубокого обучения важно, люди все же должны принимать решения в сложных ситуациях. Они также обсудили потенциал эволюционных вычислений и других форм искусственного интеллекта в автономном вождении.

• 00:00:00 Джеффри Хинтон и Янн ЛеКун читают лекцию на премию ACM AM Turing Award 2018, рассказывая о революции глубокого обучения. Они обсуждают, как глубокое обучение произвело революцию в информатике и какую пользу участники могут извлечь из участия в соответствующих конференциях.
  
  
• 00:05:00 Трое лауреатов премии ACM AM Turing Award 2018 — Джеффри Хинтон, Йошуа Бенжио и Янн ЛеКун. Хинтон прочтет лекцию по истории развития глубокого обучения, а Кун расскажет о продолжающемся прогрессе глубокого обучения.
  
  
• 00:10:00 В своей лекции на премию ACM AM Turing Award 2018 Джеффри Хинтон обсуждает революцию в области глубокого обучения, основанную на биологическом подходе к искусственному интеллекту. Подход глубокого обучения более эффективен и эффективен, чем традиционная символическая парадигма, но его также сложнее освоить.
  
  
• 00:15:00 В своей лекции на премию ACM AM Turing Award 2018 Джеффри Хинтон рассказал, как работают нейронные сети, объяснив, что они представляют собой упрощенную версию реальных нейронов в мозгу. Он также объяснил, почему обратное распространение является эффективной версией алгоритма обучения с подкреплением и как оно может ускорить процесс обучения нейронных сетей в 10 и более раз.
  
  
• 00:20:00 Джеффри Хинтон и Янн ЛеКун прочитали лекцию о революции глубокого обучения на церемонии вручения премии ACM Turing Award. Они обсуждают обратное распространение, стохастический градиентный спуск и то, как он не увенчался успехом в крупномасштабном обучении.
  
  
• 00:25:00 В этой лекции Джеффри Хинтон и Янн ЛеКун обсуждают революцию в области глубокого обучения, которая включала разработку более эффективных нейронных сетей. С увеличением вычислительной мощности, доступной в последние годы, нейронные сети становятся все более мощными и теперь повсеместно используются в различных областях компьютерного зрения.
  
  
• 00:30:00 Джеффри Хинтон и Ян ЛеКун выступили с докладом об истории глубокого обучения и его текущем состоянии, подчеркнув успехи и проблемы в этой области. Они также рассказали о будущем компьютерного зрения, подчеркнув важность глубокого обучения для достижения лучших результатов.
  
  
• 00:35:00 В своей лекции на премию ACM AM Turing Award 2018 Джеффри Хинтон обсуждает революцию в области глубокого обучения и ее важность для искусственного интеллекта. Он отмечает, что, хотя глубокое обучение очень эффективно для решения конкретных задач, это не лучший способ сделать видение. Хинтон предполагает, что одним из аспектов революции глубокого обучения, воспроизведенной в мозгу, является использование копируемых устройств. Он демонстрирует это, когда участник указывает на углы куба, который повернут так, что верхний задний левый угол находится вертикально над передним нижним правым углом. Хинтон объясняет, что хотя глубокое обучение эффективно при использовании определенного набора весов для аппроксимации желаемого результата, оно неэффективно при сохранении симметрии объектов. Он предсказывает, что в будущем нейронные сети смогут научиться распознавать объекты, используя другую временную шкалу, что будет аналогично тому, как меняются синапсы в мозгу.
  
  
• 00:40:00 В своей лекции на премию ACM AM Turing Award 2018 Джеффри Хинтон обсуждает революцию в области глубокого обучения, которая, по его мнению, связана с постепенным введением новых временных шкал в процесс обучения. Он обсуждает, как память о прошлом обучении хранится в весах нейронной сети и как к этой памяти можно получить доступ с помощью быстрых весов. Хинтон также рассказывает о влиянии больших данных на глубокое обучение и о том, как последние достижения в области компьютерного оборудования и программного обеспечения сделали глубокое обучение более доступным для исследователей.
  
  
• 00:45:00 Лекция Джеффри Хинтона и Яна Лекуна была посвящена революции глубокого обучения, полезности иерархических представлений и тому, как работает родительская сеть Pennebaker.
  
  
• 00:50:00 Джеффри Хинтон и Янн ЛеКун выступили с лекцией на церемонии вручения премии ACM AM Turing Award 2018, в которой обсуждали глубокое обучение и его потенциал революционных изменений в различных аспектах жизни. Их работа над сегментацией изображений и беспилотными автомобилями была одной из самых заметных.
  
  
• 00:55:00 Джеффри Хинтон и Янн ЛеКун прочитали лекцию о революции в области глубокого обучения, обсуждая, как люди и животные могут так быстро учиться эффективно. Они также обсудили, как люди и животные изучают понятия, наблюдая и предсказывая мир.

[MetaQuotes]

Джеффри Хинтон: основы глубокого обучения

Джеффри Хинтон: основы глубокого обучения

Крестный отец искусственного интеллекта Джеффри Хинтон дает обзор основ глубокого обучения. В этом выступлении Хинтон рассказывает о достижениях нейронных сетей применительно к распознаванию речи и объектов, сегментации изображений и чтению или созданию естественного письменного языка.

Джеффри Хинтон обсуждает основы глубокого обучения, в частности алгоритм обратного распространения ошибки и его эволюцию. Хинтон объясняет, как глубокое обучение повлияло на раннее распознавание рукописного ввода и в конечном итоге привело к победе в конкурсе ImageNet 2012 года. Он также подчеркивает превосходство глубокого обучения с использованием векторов нейронной активности по сравнению с традиционным символическим ИИ, который использовал одни и те же символы на входе, выходе и в середине. Обсуждаются улучшения в системах машинного перевода, распознавания изображений и их комбинации для естественного мышления, а также потенциал глубокого обучения в интерпретации медицинских изображений. В заключение Хинтон подчеркивает необходимость нейронных сетей с параметрами, сравнимыми с человеческим мозгом, для достижения истинной обработки естественного языка.

• 00:00:00 В этом разделе Хинтон объясняет концепцию обратного распространения — фундаментальный алгоритм, используемый в глубоком обучении. Он описывает традиционный метод программирования компьютера путем написания программы, которой нужно следовать, шаг за шагом, в отличие от предпочтительного метода, когда компьютер сообщает, как учиться, через нейронную сеть с алгоритмом обучения в ней. Этот метод включает использование искусственных нейронов с входными линиями и весами, которые адаптируются, изменяя силу этих весов. Хинтон также объясняет процесс адаптации этих соединений с помощью простого алгоритма, который работает аналогично идее эволюции, когда с сетями можно возиться, пока они не принесут хороших результатов. Он завершает этот раздел описанием того, как исчисление можно использовать для более эффективного выполнения того же процесса.
  
  
• 00:05:00 В этом разделе Джеффри Хинтон объясняет трудности, с которыми глубокое обучение сталкивалось на заре своего существования, особенно с алгоритмом обратного распространения. Сначала люди отказались от обратного распространения, потому что оно не работало должным образом, но в Торонто, Монреале и Нью-Йорке было сделано несколько технических достижений, которые улучшили его экспоненциально благодаря большому количеству данных меток и большой вычислительной мощности, что также сделал его масштабируемым. Одной из практических проблем, на которую в первую очередь повлияло глубокое обучение, было распознавание рукописного ввода. Группа студентов попыталась применить алгоритм Хинтона к распознаванию речи, в котором на тот момент было всего несколько миллионов обучающих примеров, и он не считался практичным с точки зрения статистики. Однако они смогли предсказать, какая фонема произносится, и связать воедино правдоподобные высказывания, и такие системы распознавания речи теперь широко используются в различных сквозных системах.
  
  
• 00:10:00 В этом разделе Джеффри Хинтон обсуждает, как они использовали нейронные сети с глубоким обучением, чтобы выиграть конкурс ImageNet в 2012 году. Система смогла распознавать объекты на изображениях почти вдвое реже, чем обычные системы компьютерного зрения, которые стабилизировалась с частотой ошибок около 25%. Этот успех оказал большое влияние, поскольку люди осознали потенциал нейронных сетей глубокого обучения в распознавании изображений. Хинтон также объясняет, как рекуррентные сети используются для работы с такими последовательностями, как речь. Скрытые нейроны соединяются друг с другом, позволяя системе накапливать информацию и учиться посредством обратного распространения. Эти алгоритмы позже использовались для машинного перевода путем кодирования предложения на одном языке в мысль, а затем перевода его в предложение на другом языке.
  
  
• 00:15:00 В этом разделе Джеффри Хинтон обсуждает проблему с символическим ИИ и то, как нынешняя форма глубокого обучения решает эту проблему. Традиционный взгляд на символический ИИ предполагал, что те же самые символы, которые используются для ввода и вывода, также использовались в середине, тогда как специалисты по глубокому обучению используют векторы нейронной активности для обработки данных. Входной текст кодируется в вектор, который включает в себя функции, изученные сетью. Затем сеть декодера берет этот вектор и создает мысль, которая затем превращается в новый язык. Интересно, что такие системы работают лучше, не допуская слишком много лингвистических знаний. Вместо этого Google Translate использует фиксированный алфавит из 32 000 фрагментов языка и обучает сеть с обратным распространением, где она начинает со случайных весов и объемов данных для последовательного улучшения весов.
  
  
• 00:20:00 В этом разделе Джеффри Хинтон описывает некоторые улучшения, внесенные в системы машинного перевода, такие как добавление внимания и использование фрагментов слов вместо целых слов. Он также обсуждает сочетание распознавания образов и генерации языка и то, как это может привести к естественному мышлению машин. Несмотря на успех этих систем, Хинтон предполагает, что нам потребуются нейронные сети с рядом параметров, сравнимых с человеческим мозгом, чтобы добиться истинной обработки естественного языка.
  
  
• 00:25:00 В этом разделе Джеффри Хинтон обсуждает возможность того, что алгоритмы глубокого обучения превзойдут человеческие способности в интерпретации медицинских изображений. Он отмечает, что уже существует система для обнаружения рака кожи, которая не уступает дерматологу, и при дальнейшем обучении на большем количестве изображений она могла бы работать значительно лучше. Хинтон также указывает, что нейронная сеть, обученная на этикетках, сделанных врачами, иногда может превзойти самих врачей, поскольку сеть может понять, что происходит, когда врачи не согласны. Наконец, он рассказывает историю о студенте, который выиграл соревнование по предсказанию того, будет ли молекула связываться с чем-то, используя нейронную сеть с несколькими слоями выпрямленных линейных единиц и гораздо большим количеством параметров, чем обучающие примеры, и сделал это, не зная названия. область исследования.

[MetaQuotes]

Этот канадский гений создал современный ИИ

Этот канадский гений создал современный ИИ

Джефф Хинтон, пионер искусственного интеллекта, почти 40 лет работал над тем, чтобы заставить компьютеры учиться, как люди, и он произвел революцию в области искусственного интеллекта. Хинтон был вдохновлен персептроном Фрэнка Розенблатта, нейронной сетью, имитирующей мозг, которая была разработана в 1950-х годах. Решимость Хинтона привела к прорыву в области искусственного интеллекта. В середине 80-х Хинтон и его сотрудники создали многоуровневую нейронную сеть, глубокую нейронную сеть, которая начала работать во многих отношениях. Однако им не хватало необходимых данных и вычислительной мощности примерно до 2006 года, когда сверхбыстрые чипы и огромные объемы данных, созданные в Интернете, дали алгоритмам Хинтона волшебный импульс — компьютеры могли определять, что было на изображении, распознавать речь и переводить языки. К 2012 году Канада стала сверхдержавой искусственного интеллекта, а нейронные сети и машинное обучение попали на первую полосу New York Times.

• 00:00:00 В этом разделе мы узнаем о Джеффе Хинтоне, который почти 40 лет работает над тем, чтобы заставить компьютеры учиться, как люди. Это стремление, которое все остальные считали безнадежным, произвело революцию в области искусственного интеллекта, и такие компании, как Google, Amazon и Apple, считают, что это будущее их компаний. Вдохновение Хинтон пришло от Фрэнка Розенблатта, который разработал персептрон, нейронную сеть, имитирующую мозг, в 1950-х годах. Нейронная сеть Розенблатта была ограничена и плохо работала, но Хинтон считал, что нейронные сети могут работать, поскольку мозг — это просто большая нейронная сеть. Решимость Хинтона реализовать свою идею привела к прорыву в области искусственного интеллекта, и компании считают, что это будущее их компаний.
  
  
• 00:05:00 В этом разделе видео обсуждается, как в середине 80-х Хинтон и его сотрудники продвинулись вперед в создании более сложных нейронных сетей, которые могли решать проблемы, которые не могли решить простые. Они создали многоуровневую нейронную сеть, глубокую нейронную сеть, которая начала работать во многих отношениях. Однако они достигли потолка, поскольку им не хватало необходимых данных и вычислительной мощности. В 90-е и в 2000-е Хинтон был одним из немногих людей, все еще занимавшихся этой технологией, и с ним обращались как с изгоем. Примерно до 2006 года, когда появление сверхбыстрых чипов и огромных объемов данных, созданных в Интернете, дало алгоритмам Хинтона волшебный импульс — компьютеры могли определять, что было на изображении, распознавать речь и переводить языки. К 2012 году нейронные сети и машинное обучение появились на первой полосе New York Times, и Канада стала сверхдержавой ИИ.

[MetaQuotes]

Герои глубокого обучения: Эндрю Нг берет интервью у Джеффри Хинтона

Герои глубокого обучения: Эндрю Нг берет интервью у Джеффри Хинтона

Джеффри Хинтон, ведущая фигура в области глубокого обучения, рассказал о своем путешествии и вкладе в эту область в интервью Эндрю Нг. Он рассказывает о происхождении встраивания слов, ограниченных разработках машин Больцмана и своей недавней работе над быстрыми весами и капсулами. Хинтон отмечает решающую роль неконтролируемого обучения в развитии глубокого обучения и советует учащимся больше читать, работать над крупномасштабными проектами и находить консультантов со схожими интересами. Хинтон считает, что в компьютерной технике происходят значительные изменения, когда компьютеры учатся, показывая, и предостерегает, что университеты должны догнать промышленность в обучении исследователей этому новому подходу.

• 00:00:00 Джеффри Хинтон рассказывает, как он заинтересовался ИИ и машинным обучением. В старших классах друг познакомил его с идеей мозга, использующего голограммы, что пробудило его интерес к тому, как мозг хранит воспоминания. Он изучал физиологию и физику в университете, но переключился на психологию, когда обнаружил, что она неадекватна для объяснения работы мозга. Взяв отпуск, чтобы стать плотником, он отправился в Эдинбург, чтобы изучать ИИ с Лонгером Хиггинсом, который в то время скептически относился к нейронным сетям. В конце концов Хинтон получил докторскую степень в области искусственного интеллекта и уехал в Калифорнию, где размышления о том, как работает мозг, воспринимались как нечто положительное. Он сотрудничал с Дэвидом Румельхартом над алгоритмом обратного распространения ошибки, который они опубликовали в 1986 году и в конечном итоге помогли сообществу принять этот алгоритм.
  
  
• 00:05:00 В этом разделе Хинтон обсуждает происхождение вложений слов, которые позволили обратному распространению изучать представления слов, а также тот факт, что Стюарт Сазерленд был впечатлен тем, как, обучая модель на триплетах слов, программа могла учиться особенности семантики, такие как национальность, поколение и многое другое. Хинтон отмечает, что разработка встраивания слов объединила два разных взгляда на знание (взгляд психолога на понятия как на наборы функций с представлением ИИ о понятиях как о том, как они соотносятся с другими понятиями), что повысило уровень принятия статьи. В начале 90-х Бенжио показал, что разработчики могут использовать аналогичный подход для получения вложений слов из данных, что произвело впечатление на многих. Позже Хинтон рассказал о разработках, сделанных с помощью ограниченных машин Больцмана (RBM), которые сыграли важную роль в возрождении глубоких нейронных сетей.
  
  
• 00:10:00 В этом разделе Джеффри Хинтон рассказывает о своей работе по обучению ограниченных машин Больцмана с одним слоем скрытых функций и использованию этих изученных функций в качестве данных для обучения другого уровня. Он объясняет, что этот подход привел к разработке эффективного способа вывода в сигмовидных сетях убеждений, что было значительным улучшением по сравнению с предыдущими методами. Он также обсуждает свою работу над вариационными методами и развитием математики, лежащей в основе использования выпрямленных линейных единиц (ReLU) в нейронных сетях. Наконец, он отмечает, что в 2014 году он выступил в Google с докладом об использовании ReLU и инициализации с помощью матрицы идентичности, которая копирует шаблоны в слое ниже, что приводит к значительным улучшениям в обучении глубоких нейронных сетей.
  
  
• 00:15:00 Джеффри Хинтон обсуждает свои сожаления по поводу того, что он не реализовал идею инициализации сетей с помощью идентификатора, что позволило бы эффективно обучать глубокие нейронные сети. Он делится своими мыслями о взаимосвязи между обратным распространением и мозгом, заявляя, что если обратное распространение является хорошим алгоритмом для обучения, то мозг мог бы понять, как его реализовать. Он предлагает идею использования быстрых весов, которые хранят кратковременную память, для работы с несколькими временными шкалами в глубоком обучении, которую он впервые представил в дни учебы в аспирантуре.
  
  
• 00:20:00 В этом разделе интервью Джеффри Хинтон обсуждает свою недавнюю работу над быстрыми весами и рекурсивными вызовами, которая включает использование быстрых весов для хранения памяти о состояниях активности нейронов во время рекурсивного вызова. Он также рассказывает о своей идее капсул, которая включает в себя представление многомерных объектов вектором и использование активности различных нейронов для представления различных аспектов этой функции. Нейроны сгруппированы в небольшие пучки, представляющие разные координаты признака или подмножества капсул, каждый из которых способен представлять один экземпляр признака с множеством различных свойств, а не одно скалярное свойство, как в традиционных нейронных сетях. Затем эти капсулы могут направлять информацию через систему маршрутизации по соглашению, что позволяет лучше фильтровать и обобщать нейронные сети из ограниченных данных. Несмотря на то, что статьи об этой идее были отвергнуты, Хинтон сохраняет оптимизм и настойчивость в поиске капсул.
  
  
• 00:25:00 Джеффри Хинтон обсуждает, как его взгляды на ИИ и глубокое обучение изменились за несколько десятилетий. Он рассказывает о том, как сначала интересовался обратным распространением и дискриминационным обучением, а затем в начале 90-х переключил свое внимание на неконтролируемое обучение. Хинтон также говорит о том, что обучение с учителем работало невероятно хорошо в последнее десятилетие, но он по-прежнему считает, что обучение без учителя будет иметь решающее значение для дальнейшего прогресса. Он упоминает вариационные автокодировщики и генеративно-состязательные сети как многообещающие идеи для неконтролируемого обучения. Хинтон также дает советы людям, которые хотят заняться глубоким обучением, рекомендуя им читать как можно больше и пытаться работать над крупномасштабным проектом, чтобы набраться опыта.
  
  
• 00:30:00 В этом разделе разговор вращается вокруг советов исследователям и учащимся в области ИИ и глубокого обучения. Хинтон предлагает творческим исследователям прочитать немного литературы и найти то, что все делают неправильно, а затем выяснить, как сделать это правильно. Он также советует никогда не прекращать программировать и доверять своей интуиции. Он призывает аспирантов найти консультанта, который имеет схожие убеждения и интересы с их собственными, чтобы получить наиболее полезный совет. Что касается того, присоединиться ли к программе докторантуры или к ведущей исследовательской группе в корпорации, Хинтон отмечает, что в настоящее время существует нехватка ученых, обученных глубокому обучению, но он думает, что это будет временно, поскольку отделы догоняют меняющийся ландшафт. поле.
  
  
• 00:35:00 Джеффри Хинтон объясняет, что в использовании компьютеров происходят значительные изменения, когда вместо того, чтобы программировать их, мы теперь показываем их, и они разбираются. Этот новый подход к вычислениям отличается и имеет важное значение, и факультеты информатики должны признать и приветствовать демонстрационный подход, чтобы иметь такое же большое влияние, как и программирование, на информатику. Хотя крупные компании сейчас обучают людей этому новому подходу, Хинтон считает, что вскоре университеты подтянутся. Хинтон продолжает объяснять смену парадигмы в ИИ от веры в то, что представления, необходимые для интеллекта, были символическими выражениями некоторой очищенной логики, к нынешнему представлению о том, что мысли — это просто большие векторы нейронной активности.

[MetaQuotes]

Герои глубокого обучения: Эндрю Нг берет интервью у Яна Лекуна

Герои глубокого обучения: Эндрю Нг берет интервью у Яна Лекуна

В этом интервью между Эндрю Нг и Яном ЛеКуном ЛеКун обсуждает свой ранний интерес к ИИ и открытие нейронных сетей. Он также описывает свою работу над сверточными нейронными сетями и историю CNN.
ЛеКун рассказывает о том, как он упорствовал в этой области, несмотря на отсутствие интереса к нейронным сетям в середине 90-х, и в конечном итоге его работа над CNN заняла область компьютерного зрения.
Он также обсуждает определяющий момент в компьютерном зрении, когда команда AlexNet выиграла конкурс ImageNet 2012 года, и советует тем, кто ищет карьеру в области искусственного интеллекта и машинного обучения, сделать себя полезным, участвуя в проектах с открытым исходным кодом или внедряя алгоритмы.

• 00:00:00 В этом разделе Янн ЛеКун рассказывает о своем раннем интересе к искусственному интеллекту и о том, как он наткнулся на концепцию нейронных сетей. Он описывает, как он обнаружил исследовательские работы по персептронным и автоматическим сетям, что вдохновило его на исследование того, как обучать нейронные сети с несколькими слоями. Это привело его к встрече с людьми в независимой лаборатории во Франции, которые интересовались тем же самым, и, в конечном счете, к его работе с машинами Больцмана.
  
  
• 00:05:00 В этом разделе ЛеКун рассказывает о том, как он познакомился с Терри Залески, который в то время работал над обратным распространением, и как они оба независимо изобрели его до встречи. Он также упоминает, как он начал работать над сверточными сетями во время работы в AT&T Bell Labs и как он тестировал их на небольшом наборе данных, который он создал, рисуя символы с помощью мыши, и как это привело к созданию набора данных USPS с 5000 обучающих образцы. Он обучил сверточную сеть на этом наборе данных и добился лучших результатов, чем другие методы, использовавшиеся в то время.
  
  
• 00:10:00 В этом разделе интервью Янн ЛеКун обсуждает историю сверточных нейронных сетей или CNN. Он рассказывает о первой версии коммерческой сети, разработанной в Bell Labs, в которой не было отдельных слоев субдискретизации и объединения, и о том, как им пришлось значительно улучшить сеть, чтобы сократить время вычислений. ЛеКун также поделился интересной историей о выступлении на CNN, где Джефф Хинтон сказал ему, что «если делать все разумные вещи, это действительно работает». Однако, несмотря на многообещающие результаты, CNN не получили широкого распространения за пределами AT&T из-за отсутствия Интернета, стандартизированного программного обеспечения и аппаратных платформ.
  
  
• 00:15:00 В этом разделе Янн ЛеКун обсуждает свою работу по распознаванию символов и то, как она привела его к запуску проекта «Digital Djvu» для хранения и сжатия отсканированных документов в цифровом виде для публикации в Интернете. Он также говорит о том, что всегда считал, что методы глубокого обучения в конечном итоге станут полезными, особенно с ростом мощности компьютеров, но из-за отсутствия интереса в середине 90-х было около 7 лет, когда никто не занимался исследованиями нейронных сетей. . Несмотря на эту неудачу, ЛеКун продолжал упорствовать в этой области, а его работа над сверточными нейронными сетями захватила область компьютерного зрения и начала значительно вторгаться в другие области.
  
  
• 00:20:00 В этом разделе видео Янн ЛеКун описывает решающий момент в сообществе компьютерного зрения, когда команда AlexNet выиграла конкурс ImageNet 2012 года с большим отрывом, удивив большую часть сообщества. ЛеКун продолжает обсуждать свою уникальную точку зрения на то, как следует проводить корпоративные исследования, объясняя, что ему было предоставлено много свободы для настройки Facebook AI Research (FAIR) так, как он считал наиболее подходящим, с упором на открытые исследования. и сотрудничество с университетами. Он даже упоминает, что подавляющее большинство его публикаций за последние четыре года были посвящены его студентам в Нью-Йоркском университете.
  
  
• 00:25:00 В этом разделе Янн ЛеКун советует тем, кто ищет карьеру в области ИИ и машинного обучения, сделать себя полезными, внося свой вклад в проект с открытым исходным кодом или реализуя алгоритм и делая его доступным для других. Он считает, что инструменты и ресурсы, доступные сейчас, облегчают участие людей на каком-то уровне, даже старшеклассников. Внося интересный и полезный вклад, люди могут быть замечены и потенциально получить работу в желаемой компании или быть принятыми в программу докторантуры.