Машинное обучение и нейронные сети - страница 24

[MetaQuotes]

MIT 6.S192 - Лекция 5: «Рисование нейронами GAN» Дэвида Бау.

MIT 6.S192 - Лекция 5: «Рисование нейронами GAN» Дэвида Бау.

Дэвид Бау обсуждает эволюцию машинного обучения и возможности создания самопрограммируемых систем. Он представляет генеративно-состязательные сети (GAN) и объясняет, как их можно научить генерировать реалистичные изображения. Бау обсуждает свой процесс выявления корреляций между конкретными нейронами в Progressive GAN и определенными семантическими особенностями в сгенерированных изображениях. Он демонстрирует, как он может добавлять к изображению различные элементы, такие как двери, трава и деревья, с помощью GAN. Кроме того, он обсуждает проблему добавления новых элементов в GAN и этические проблемы, связанные с реалистичным отображением мира.

• 00:00:00 В этом разделе Дэвид Бау обсуждает эволюцию машинного обучения, от его корней в статистическом анализе до его потенциала для создания самопрограммируемых систем. Как академический исследователь, он считает, что сейчас самое подходящее время, чтобы задать вопросы о направлении в этой области и последствиях моделей машинного обучения. Основная проблема, которую он затронет в своем выступлении, — это генерация изображений, и он представит процесс сбора набора данных реальных изображений и обучения сети генераторов для их воссоздания.
  
  
• 00:05:00 В этом разделе Дэвид Бау представляет генеративно-состязательные сети (GAN) и объясняет, как их можно обучить для создания реалистичных изображений. Он описывает, как трюк с GAN заключается в том, чтобы сначала обучить дискриминатор классифицировать, является ли изображение реальным или поддельным, а затем подключить этот дискриминатор к генератору для создания изображений, которые обманывают дискриминатор. Однако он отмечает, что генератор может научиться обманывать дискриминатор с помощью простых шаблонов, которые не похожи на реалистичные изображения, поэтому хитрость с GAN заключается в повторении процесса и переходе туда и обратно между генератором и дискриминатором, чтобы производить все больше и больше. реалистичные изображения. Наконец, он показывает примеры изображений, сгенерированных GAN, которые часто трудно отличить от реальных изображений.
  
  
• 00:10:00 В этом разделе спикер обсуждает некоторые артефакты, видимые на изображениях, сгенерированных GAN, такие как водяные знаки, и их происхождение из обучающего набора. Далее спикер объяснил, как он обнаружил нейроны, связанные с отпечатками водяных знаков, и как он может их отключить. При отключении нейронов водяных знаков выходные данные, полученные от генератора, становятся свободными от каких-либо водяных знаков или связанных с ними артефактов, что делает его захватывающей находкой, доказывающей, что в сетях есть переключатели, которые управляют различными функциями генерируемых изображений.
  
  
• 00:15:00 В этом разделе Дэвид Бау обсуждает свой процесс выявления корреляций между конкретными нейронами в прогрессивной GAN и определенными семантическими характеристиками в сгенерированных изображениях. Он объясняет, что это было достигнуто путем тестирования каждого нейрона по отдельности, чтобы увидеть, где он активировался больше всего, указав на определенные функции, с которыми он был связан. Благодаря этому процессу он смог идентифицировать нейроны, которые коррелировали с деревьями, частями зданий, такими как окна и двери, стулья и даже купола. Бау отмечает, что это было достигнуто без какого-либо контролируемого обучения или маркировки, и показывает, как сеть научилась различать различные примеры этих функций, представляя их в виде отдельных компонентов.
  
  
• 00:20:00 В этом разделе Дэвид Бау обсуждает цель отображения всех различных нейронов в модели для создания кухонь, в результате чего были созданы каталоги различных типов коррелированных нейронов. Бау обнаружил, что средние слои модели имеют нейроны, которые сильно коррелируют с семантическими объектами, в то время как более поздние слои имеют больше физических корреляций. Бау обнаружил, что корреляции были настолько поразительными, что это привело к интересным приложениям, включая включение и выключение различных объектов при генерации изображения. Бау продемонстрировал, как отключение некоторых нейронов дерева убрало деревья из сцены, а генератор заполнил то, что было за деревьями. И наоборот, включение нейронов вызывало появление двери в сцене, где генератор задавал соответствующий размер, ориентацию и стиль двери.
  
  
• 00:25:00 В этом разделе видео Дэвид Бау показывает, как он может добавлять к изображению различные элементы, такие как двери, трава и деревья, с помощью GAN. Только активируя определенные нейроны, которые соотносятся с определенным объектом или элементом, он может манипулировать семантикой изображения. Он также обсуждает ограничения GAN, такие как возможность редактировать только случайно сгенерированные изображения, которые можно решить с помощью задачи инверсии, требующей обучения тому, как запускать модель в обратном направлении.
  
  
• 00:30:00 В этом разделе Дэвид Бау обсуждает ограничения использования генеративно-состязательной сети (GAN) для создания изображений, поскольку она может выявить то, что сеть не может сделать. Однако можно точно настроить веса сети, чтобы создать очень близкую сеть, которая точно соответствует целевому изображению, сохраняя при этом сеть относительно неизменной, что делает возможным редактирование. Бау демонстрирует использование этой техники для изменения реальных фотографий путем инвертирования фотографии через сеть, получения начального изображения, точной настройки сети для вывода целевого изображения и последующего редактирования изображения. Этот процесс позволяет добавлять или удалять объекты, такие как купола и двери, которые соответствуют архитектурному стилю изображения.
  
  
• 00:35:00 В этом разделе видео Дэвид Бау объясняет, как он использовал технологию GAN для изменения изображений, используя точно настроенную сеть для наложения на конкретное изображение. Изменяя предварительно обученные веса сети таким образом, чтобы не слишком сильно менять основные слои экрана, Бау смог отредактировать изображения и создать грубое приближение для целевого изображения. Однако сеть не обобщает это знание, а это означает, что она не может генерировать значимые изменения для любого изображения, кроме целевого изображения.
  
  
• 00:40:00 В этом разделе Дэвид Бау обсуждает проблему добавления новых элементов в генеративно-состязательную сеть (GAN). Хотя систему можно обучить генерировать изображения определенного объекта, трудно научить ее новым концепциям, если нет предварительного набора данных или закодированного правила. Поэтому Бау разработал метод изменения веса предварительно обученной модели для соответствия новым правилам, таким как добавление деревьев на вершины башен или рисование кадиллаков перед зданиями, без повторного обучения модели. Он демонстрирует приложение в StyleGAN2, где пользователи могут указать правило и управлять выводом в соответствии со своими предпочтениями.
  
  
• 00:45:00 В этом разделе Дэвид Бау обсуждает, как он может выбрать несколько примеров из сгенерированных им изображений и найти общие нейроны, ответственные за их форму, с помощью GAN. После выбора он может переопределить их представление и сгенерировать новые изображения, вычислив правильные изменения в модели GAN, чтобы превратить, например, вершины остроконечных башен в деревья. Бау показывает, что на этот процесс влияют все изображения остроконечных башен в его результатах поиска, что приводит к совершенно новому представлению изображений остроконечных башен. Кроме того, Бау объясняет, что каждый уровень GAN можно рассматривать как решение простой проблемы сопоставления пар ключ-значение, используемых в качестве памяти для представления контекста. Он отмечает, что весовая матрица является решением задачи наименьших квадратов, а изменение правила в паре ключ-значение одного слоя также является задачей наименьших квадратов, которую можно записать таким же образом для сравнения.
  
  
• 00:50:00 В этом разделе Дэвид Бау обсуждает метод изменения одной вещи, которую сеть запомнила, без изменения всего правила, что позволяет создавать модели, представляющие вещи, которых еще не существует. Это достигается путем нахождения ключа и записи нового значения с использованием обновлений первого ранга в определенных направлениях для изменения только значений ключа. Это позволяет пользователям изменять правила внутри GAN и использовать их для создания вещей, основанных на их воображении, а не только на обучающих данных. Этот метод также можно использовать там, где недостаточно данных, предоставляя потенциальный путь к созданию новых миров с использованием машинного обучения.
  
  
• 00:55:00 В этом разделе Дэвид Бау обсуждает возможности своего метода изменить правила мира, сделав их более видимыми и управляемыми людьми, и позволив людям построить лучший мир. Он также отвечает на вопрос о том, может ли этот метод работать с несколькими разными моделями или он успешен только в том случае, если взять шляпу из этой модели и надеть ее на рог. Он объясняет, что в настоящее время этот метод позволяет перемонтировать только одну модель, но очевидной целью является возможность перенести часть вычислений из одной нейронной сети в другую. Наконец, он говорит об этических проблемах, связанных с реалистичной визуализацией мира, и о том, как он уже используется не по назначению, ссылаясь на феномен дипфейков и создание миллионов фальшивых профилей в Facebook с использованием генераторов лиц.
  
  
• 01:00:00 В этом разделе Дэвид Бау обсуждает последствия и потенциальные последствия создания реалистичных изображений с использованием глубоких нейронных сетей. Хотя криминалистическая работа по обнаружению поддельных изображений необходима, он подчеркивает, что гораздо интереснее понять внутреннюю структуру и узнать, как эти модели работают внутри. Прозрачность в понимании глубинной сети имеет важное значение, поскольку эти нейронные сети плохо отвечают на вопрос, почему они принимают те или иные решения. Цель Бау — разобрать правила, применяемые внутри сети, чтобы принять решение, и разработать способ задать вопрос «почему», помогая определить прозрачность как важнейший этический аспект глубоких нейронных сетей. Кроме того, работа Бау по анализу сканирования показывает, что вы можете идентифицировать нейроны, которые способствуют созданию плохо выглядящих артефактов, что может улучшить качество вывода в этих сетях.
  
  
• 01:05:00 В этом разделе Дэвид Бау обсуждает, как некоторые GAN имеют артефакты или искажения в сгенерированных ими изображениях, которые иногда можно удалить или уменьшить с помощью определенных методов обучения. Он предполагает, что, хотя нынешнее поколение GAN может быть более продвинутым, чем то, с чем он экспериментировал, все же стоит выяснить, происходит ли это явление до сих пор. Дэвид отмечает, что в этой области очень важно задавать правильные вопросы и учиться делать это, и предлагает всем, кто интересуется его работой, связаться с ним.

[MetaQuotes]

MIT 6.S192 - Лекция 7: «Форма истории искусства глазами машины» Ахмеда Эльгемала

MIT 6.S192 - Лекция 7: «Форма истории искусства глазами машины» Ахмеда Эльгемала

Ахмед Эльгамаль, профессор компьютерных наук и основатель Лаборатории искусства и искусственного интеллекта, обсуждает использование ИИ для понимания и создания творческих продуктов человеческого уровня. Эльгамаль обсуждает научный подход к истории искусства и важность развития ИИ для понимания искусства так, как его понимают люди. Он также обсуждает использование машинного обучения для классификации художественных стилей, анализа внутренних представлений, выявления различий между художественными стилями и количественной оценки творчества в искусстве с помощью ИИ. Эльгамаль также предлагает концепцию основных объектов в истории искусства и исследует потенциал ИИ для создания произведений искусства, признавая ограничения существующих подходов ИИ в творческих занятиях. Тем не менее, Эльгамаль также обсуждает текущие эксперименты по расширению границ сети ИИ для создания абстрактного и интересного искусства.

Ахмед Эльгаммаль также обсуждает результаты теста настройки, чтобы определить, могут ли люди отличить искусство, созданное GAN, от искусства людей, используя произведения искусства в качестве основы. Люди думали, что искусство, созданное машинами GAN, создавалось людьми в 75% случаев, что подчеркивало концепцию неоднозначности стиля и ее важность для связи компьютерного зрения и машинного обучения с историей искусства и художественными интересами.

• 00:00:00 В этом разделе профессор Ахмед Эльгаммаль, профессор кафедры компьютерных наук Университета Рутгерса и основатель лаборатории искусства и искусственного интеллекта, рассказывает о своей страсти к искусству и о том, как он осознал важность сочетания ИИ и искусства. . Он объясняет, что искусство — это гораздо больше, чем распознавание объектов, и включает в себя слои контекста, понимание эмоций, а также исторический и социальный контексты, которые требуют когнитивных и интеллектуальных способностей, подобных человеческим. Он считает, что понимание и создание творческих продуктов человеческого уровня имеет основополагающее значение для демонстрации того, что алгоритмы ИИ разумны, и обсуждает вопрос сочетания эстетики и субъективности с объективностью и наукой. Профессор Эльгаммаль выступает за научный подход к истории искусства и подчеркивает важность развития ИИ для понимания искусства людьми.
  
  
• 00:05:00 В этом разделе Ахмед Эльгемаль обсуждает идею о том, что любой аспект искусства, даже творческие и субъективные элементы, можно объективно изучить глазами машины. Он объясняет, что его цель — понять последствия взгляда на искусство через ИИ и то, как он может продвинуть ИИ и понимание истории искусства. Эльгемал рассказывает о своей работе по количественной оценке различных элементов и принципов искусства и стиля, в том числе о том, как охарактеризовать последовательность и эволюцию изменения художественного стиля с течением времени и какие факторы влияют на эти изменения. Он также обсуждает ограничения современных подходов ИИ к пониманию концепции стиля в искусстве.
  
  
• 00:10:00 В этом разделе спикер обсуждает задачу контролируемого машинного обучения для классификации различных художественных стилей с использованием визуального кодирования для захвата различных уровней функций. Прогресс этого типа исследований сравнивается с годами свиньи до глубокого обучения. Машина способна классифицировать художественные стили на том же уровне, что и первокурсник истории искусств. Спикер утверждает, что классификация искусства с помощью машины важна для понимания характеристик стиля и того, что движет изменениями стиля. Внутренние представления этих стилей машиной трудно интерпретировать, но изучение связи между тем, как машина идентифицирует стиль, и тем, как искусствоведы думают о стиле, может дать полезную информацию. Например, теория стиля Генриха Вольфлина предлагает визуальные схемы, которые различают элементы разных стилей.
  
  
• 00:15:00 В этом разделе Эльгемал обсуждает использование машинного обучения для классификации художественных стилей и анализа внутреннего представления машинной классификации. Они обучили несколько моделей CNN, включая VGGNet и ResNet, выполнять классификацию стилей под наблюдением. Анализируя внутреннюю репрезентацию, они обнаружили, что небольшое количество факторов может объяснить большинство вариаций в истории западного искусства, при этом первые два режима вариации объясняют до 74% вариаций, независимо от используемой сети. Они также обнаружили, что нет ничего важного в объекте или композиции, когда дело доходит до классификации художественных стилей. Этот подход обеспечивает основанный на данных способ понимания того, как машина классифицирует искусство, и дает представление о структуре истории искусства.
  
  
• 00:20:00 В этом разделе лектор обсуждает, как, хотя машины не осведомлены о временных шкалах различных художественных стилей, они могут научиться классифицировать эти стили самостоятельно с помощью предоставленных изображений. Это подтверждается тем, что машина ставит искусство в исторический порядок, так как между сменой стилей и временем существует корреляция 0,7. Лектор углубляется в два фактора, которые помогают объяснить 75% истории искусства, а именно плоскостность и рецессию и линейность и живописность. Он отмечает, что история искусства прошла цикл на 360 градусов за последние 500 лет в западной цивилизации, и это отражено в одной диаграмме, созданной на основе представления, которое машина извлекла, глядя на художественные стили.
  
  
• 00:25:00 В этом разделе спикер обсуждает использование ИИ для определения различий между художественными стилями. В то время как некоторые стили, такие как ренессанс и барокко, можно различить с помощью определенных факторов, таких как цвет и текстура, другие стили, такие как импрессионизм, не могут быть идентифицированы с помощью этих факторов. Многообразия активации сетей ИИ показывают, как художественные направления менялись с течением времени, с особым акцентом на работах Сезанна, который выступал в качестве моста между импрессионизмом и стилями начала 20-го века, такими как кубизм и абстракция. Кроме того, некоторые произведения эпохи Возрождения вырваны из облака эпохи Возрождения, а определенные художники, такие как Эль Греко и Дюрер, оказали влияние на современное искусство. Затем разговор переходит к обсуждению количественной оценки творчества в искусстве с помощью ИИ.
  
  
• 00:30:00 В этом разделе Эльгемал обсуждает разработку алгоритма для оценки творчества картины с учетом ее контекста и истории искусства. Он утверждает, что способность оценивать творчество имеет решающее значение для машин, создающих искусство, и что алгоритм должен определять творчество количественно. Элгемал предполагает, что есть два основных условия, чтобы продукт можно было назвать креативным: он должен быть новым по сравнению с предыдущей работой и должен иметь некоторую ценность, то есть он станет влиятельным. Он рассматривает различные способы описания творчества и исследует ограничения алгоритмов, оценивающих творчество, утверждая, что они должны учитывать контекст истории искусства.
  
  
• 00:35:00 В этом разделе Ахмед Эльгамаль обсуждает ограничения алгоритмов в истории искусства, в том числе то, что он называет «ограничением закрытого мира» доступных данных и «ограничением количественной оценки художественной концепции» используемого визуального кодирования. Он предполагает, что параметры алгоритма можно использовать для интерпретации оценок креативности и понимания того, как они влияют на результаты. Эльгамаль предлагает ориентированный граф между картинами с весом, отражающим их визуальное сходство, и использует его для создания формулы творчества, основанной на влиянии и новизне. Полученная формула является примером проблемы центральности сети и может быть интерпретирована как случайное блуждание в цепи Маркова с альфа, равным единице.
  
  
• 00:40:00 В этом разделе лектор обсуждает, как можно использовать центральность собственного вектора для измерения центральности сети в социальных сетях путем инвертирования взвешенного варианта рейтинга страницы. Это может даже быть расширено, чтобы отделить оригинальность от влияния, а точность алгоритма можно оценить с использованием таких наборов, как викиарт и архив, которые не контролировались. Лектор объясняет, что при тестировании результаты показали, что машина смогла идентифицировать различные творческие произведения искусства, такие как «Алжирские дамы» Пикассо, как начало кубизма.
  
  
• 00:45:00 В этом разделе Ахмед Эльгемал обсуждает оценку креативности художественных работ с помощью архивной машины, которая возникла из-за ошибки в датировке художественных работ Мондриана. Метод заключался в том, чтобы взять произведения искусства эпохи Возрождения или барокко и перенести их в более поздний период, а также взять современные произведения искусства и перенести их обратно в период Возрождения. Результаты показали постоянное падение креативности при перемещении произведений искусства эпохи Возрождения и барокко вперед во времени и увеличение креативности при перемещении современных произведений искусства назад в период Возрождения. Используемый алгоритм смог количественно оценить креативность и дать оценку, которая отразила новизну и влияние, подтверждая способность алгоритма оценивать креативность художественного произведения.
  
  
• 00:50:00 В этом разделе Ахмед Эльгемаль обсуждает концепцию первичных объектов в истории искусства и то, как они могут породить новые стили. Он сравнивает простые объекты с простыми числами в математике, проводя параллели между их непредсказуемой природой и их способностью влиять на последующую работу. Elgemal также исследует потенциал ИИ для создания произведений искусства, обсуждая креативные состязательные сети и их способность изучать стиль и отклоняться от норм. Тем не менее, Elgemal признает, что генератор в GAN ограничен, поскольку он обучен создавать образцы, которые обманывают дискриминатор, без какой-либо мотивации для творчества.
  
  
• 00:55:00 В этом разделе спикер обсуждает, как художники должны все время вводить новшества, чтобы бороться с привыканием, но если они изобретают слишком много, людям будет трудно получать от этого удовольствие. Они стремятся сделать сеть инновационной, но сохраняют ее в рамках одного и того же дистрибутива, чтобы раздвинуть границы. Спикер объясняет, что они добавили в дискриминатор потерю неоднозначности стиля, чтобы увидеть, соответствует ли искусство, создаваемое генератором, стилям или неоднозначно с точки зрения классификации, что поможет машине исследовать разные границы. Они провели эксперименты и пришли к выводу, что, добавляя неоднозначность стиля, машина создавала интересные абстрактные произведения искусства с новыми композициями и цветовыми сочетаниями, которые соответствовали тому, что привлекало внимание.
  
  
• 01:00:00 В этом разделе Ахмед Эльгаммаль исследует результаты теста настройки, чтобы определить, может ли человек отличить искусство, созданное GAN, от искусства человека. Произведения с известной выставки служат отправной точкой, и было обнаружено, что люди думали, что искусство, созданное машинами GAN, было создано людьми в 75 процентах случаев, по сравнению с 85 процентами для абстрактного искусства и только 48 процентами для искусства из искусства. Коллекция Базель. Эльгаммаль также обсуждает концепцию неоднозначности стиля и ее способность допускать создание искусства, принадлежащего искусству без определенного стиля. Он подчеркивает важность соединения компьютерного зрения и машинного обучения с историей искусства и художественными интересами.

[MetaQuotes]

MIT 6.S192 — Лекция 8: «Как машинное обучение может принести пользу людям-творцам», Ребекка Фибринк

MIT 6.S192 — Лекция 8: «Как машинное обучение может принести пользу людям-творцам», Ребекка Фибринк

Ребекка Фибринк, исследователь в области музыки и искусственного интеллекта, подчеркивает важность человеческого взаимодействия и постоянное участие людей в процессе использования и развития машинного обучения в творческих целях. Она рассказывает о своем инструменте Wekinator, который позволяет использовать машинное обучение в музыке в реальном времени для творчества человека. Она демонстрирует создание различных инструментов, управляемых жестами, таких как драм-машина, алгоритм синтеза звука под названием Blotar и духовой инструмент под названием blowtar. Она подчеркивает, как машинное обучение может быть полезным для создателей, позволяя им исследовать сложные звуковые палитры с нюансами и упрощать анализ данных для датчиков и данных в реальном времени. Она также рассказывает о преимуществах интерактивного управления обучающими данными и объясняет, как машинное обучение позволяет нам общаться с компьютерами более естественным образом, помимо добавления сюрпризов и проблем в творческий рабочий процесс.

• 00:00:00 В этом разделе видео Ребекка Фибринк, исследователь в области музыки и искусственного интеллекта (ИИ), обсуждает важность человеческого взаимодействия и постоянное участие людей в разработке и использовании машинного обучения для творческие цели. Она ставит под сомнение предположение о том, что использование машинного обучения для автономного создания творческого материала, подобного человеческому, само по себе является поддержкой для людей-творцов. Исследования Фибринк распространились на другие области, такие как художественная практика и игры, и она подчеркивает необходимость задуматься о теоретической и практической пользе машинного обучения для людей-творцов.
  
  
• 00:05:00 В этом разделе спикер обсуждает пробел в наборе инструментов, доступных для создателей, желающих работать с данными или машинным обучением в области музыки и искусства. В то время как несколько человек использовали библиотеки C Plus или Python, почти не было доступных инструментов для использования в режиме реального времени или для работы с медиаданными, особенно со звуковыми данными. Многие создатели уже получили докторские степени в области компьютерных наук или электротехники, и для создателей, которые хотели работать с данными, оставалось место для более доступных инструментов. Машинное обучение может быть отличным инструментом для создателей, которые хотят разобраться в различных типах данных, которые их окружают, таких как онлайн-репозитории или онлайн-источники, такие как изображения Google, биосенсоры или данные из социальных сетей.
  
  
• 00:10:00 В этом разделе Ребекка Фибринк рассказывает о своей работе по созданию программного обеспечения под названием Wekinator, которое позволяет использовать машинное обучение в музыке в реальном времени в человеческом творчестве. Она подчеркивает, что создание нового инструмента, реагирующего на жесты, отличается от работы с готовыми наборами для обучения наземным исследованиям. Чтобы упростить задачу, Wekinator позволяет пользователям демонстрировать примеры для обучения в режиме реального времени, а затем тестировать модель, чтобы увидеть, где она допускает ошибки. Wekinator также позволяет пользователям изменять обучающие примеры на месте. Затем она продемонстрировала создание очень простой драм-машины, управляемой жестами, с использованием программного обеспечения Wekinator, которое использует веб-камеру для захвата движения и понижения входных данных до цветовой сетки 10 на 10, которая дает 100 чисел, чтобы упростить прогнозирование жестов или движения.
  
  
• 00:15:00 В этом разделе спикер демонстрирует, как использовать Wekinator с регрессией для создания музыкального инструмента, управляющего алгоритмом синтеза звука под названием Blotar. Этот инструмент позволяет пользователю управлять большим пространством звуков, включая множество различных пресетов, изменяя девять параметров управления. Докладчик показывает, как машинное обучение может помочь профессиональным композиторам, позволяя им исследовать сложные звуковые палитры с нюансами.
  
  
• 00:20:00 В этом разделе Ребекка Фибринк демонстрирует, как она использует машинное обучение для управления духовым инструментом под названием дудка с помощью игрового контроллера. Она объясняет, что вручную найти хорошие позиции в девятимерном пространстве инструмента было бы сложной задачей для опытного программиста, но машинное обучение позволяет легко писать сложные функции. Она показывает, как с помощью обучения системы инструмент можно совершенствовать до тех пор, пока он не даст желаемого результата, и его можно сохранить и использовать во время исполнения или в сочинительской работе. Как исследователь инструмента, Фибринк обсуждает различные способы, которыми авторы использовали машинное обучение для улучшения своей работы, и чему это учит.
  
  
• 00:25:00 В этом разделе спикер обсуждает, как машинное обучение может принести пользу создателям и позволить большему количеству людей эффективно работать с данными, особенно с датчиками и анализом данных в реальном времени, используя такие примеры, как композиция Энн Хеге через Wekinator и Мишель Нагаи. музыкальный инструмент. Они также подчеркивают, как машинное обучение может сделать создание взаимодействий творческим и простым с использованием Wekinator в таких областях, как искусство, кукольные представления, технологии для людей с ограниченными возможностями и разработка интерактивных прототипов. Автор объясняет, что творческое построение взаимодействий с помощью машинного обучения обычно требует подхода, отличного от традиционного машинного обучения, из-за его целей создания модели, которая генерирует правдоподобные результаты, и то, как модель ведет себя, когда она не соответствует целям, становится проблемой.
  
  
• 00:30:00 В этом разделе Фибринк исследует разницу между созданием модели машинного обучения с целью получения точных прогнозов и созданием интерактивной модели машинного обучения с целью создания чего-то полезного или забавного. При построении интерактивной модели машинного обучения данные рассматриваются как интерфейс для связи между создателем и компьютером, а это означает, что данные выбираются субъективно и вряд ли будут независимыми и одинаково распределенными (iid), что является распространенным предположением. в машинном обучении. Это может привести к обучению на очень немногих стратегически расположенных примерах. Фибринк демонстрирует, как простой алгоритм, такой как k ближайший сосед, при интерактивном использовании может по-прежнему давать хорошие границы решений с небольшим объемом данных, что позволяет проводить практические эксперименты и курировать данные.
  
  
• 00:35:00 В этом разделе Ребекка Фибринк обсуждает преимущества интерактивного управления обучающими данными в творческих областях. Она объясняет, что предоставление людям возможности исследовать множество альтернативных идей имеет важное значение для создания чего-то, что удовлетворяет требованиям дизайна. Фибринк обнаружил, что использование алгоритмов машинного обучения, таких как Wekinator, позволяет людям очень быстро переобучать модели и сразу же видеть результаты, что позволяет очень эффективно поддерживать быстрое прототипирование. Она также отмечает, что даже для опытных программистов сложно отразить в коде человеческие действия или действия в таких областях, как рисование или игра на музыкальных инструментах.
  
  
• 00:40:00 В этом разделе Ребекка Фибринк объясняет, как машинное обучение позволяет нам общаться с компьютерами более естественным образом, поскольку оно позволяет людям выражать свои идеи с помощью примеров, что похоже на то, как мы общаемся, говоря о творческая деятельность друг с другом. Машинное обучение также упрощает создание для новичков, используя большие наборы данных для соответствия стандарту. Однако недавний проект Фибринка под названием «Управление звуком» демонстрирует возможность предоставления большему количеству людей возможности персонализировать интерфейсы и создавать вещи для себя и других с помощью машинного обучения. В сотрудничестве с учителями музыки и терапевтами Sound Control позволяет им изготавливать специальные инструменты для детей, а также побуждает их к другим неожиданным и полезным вещам, таким как создание игр для прослушивания, импровизационных игр и перформансов.
  
  
• 00:45:00 В этом разделе Ребекка Фибринк обсуждает, как машинное обучение может преподнести продуктивные сюрпризы и проблемы в процессе творческой работы. Используя такие инструменты, как Wekinator, она подчеркивает важность наличия творческих инструментов, которые добавляют неожиданные идеи в рабочий процесс. Таким образом, она предостерегает от игнорирования других типов машинного обучения или даже методов работы с данными, не связанных с машинным обучением. Она предполагает, что создание с использованием данных и машинного обучения может позволить людям делать то, что они не могли раньше, и исследует, как креативные приложения могут служить в качестве тематических исследований, чтобы расширить возможности людей, использующих данные и машинное обучение.
  
  
• 00:50:00 В этом разделе спикер отвечает на вопрос аудитории о проблемах использования машинного обучения со звуком. Спикер признает, что звук представляет собой некоторые уникальные проблемы с точки зрения культурной субъективности, но в целом к звуку можно подойти, используя типичные процессы машинного обучения с результатами, аналогичными другим медиа. Спикер подчеркивает, что данные и то, как они используются для решения проблемных областей, важнее самого носителя. Спикер также обсуждает, как машинное обучение можно использовать в качестве интерфейса для создания вещей, и важность обсуждения взаимодействия человека с машиной и того, кто должен определять цели.
  
  
• 00:55:00 В этом разделе спикер обсуждает сложность определения цели машинного обучения и то, насколько это экспериментальный процесс, когда создатель создает набор данных, пробует что-то, а затем использует данные для управления моделью. к определенному направлению. Экспериментальный аспект процесса позволяет создателю узнать о машинном обучении в конкретном контексте путем проб и ошибок, и этот аспект может быть мощным инструментом для людей, чтобы узнать о машинном обучении. Недавнее исследование, проведенное Кэрри Кай и другими, также показывает, что аналогичные экспериментальные исследовательские процедуры могут помочь людям укрепить доверие и понять, что моделируется, даже в приложениях, в которых у этих людей может не быть опыта машинного обучения.

[MetaQuotes]

MIT 6.S192 — Лекция 9: «Нейронные абстракции» Тома Уайта

MIT 6.S192 — Лекция 9: «Нейронные абстракции» Тома Уайта

В этом видео художник и лектор Том Уайт обсуждает свой подход к внедрению машинного восприятия и нейронных сетей в свою художественную практику. Уайт рассказывает о своем опыте изучения математики и графического дизайна в Массачусетском технологическом институте, а также о своей текущей работе преподавателя творческого кодирования в Университете Виктории. Он также обсуждает свои исследования в области создания инструментов, помогающих другим творчески использовать среду, и свои собственные работы, исследующие машинное восприятие. Уайт демонстрирует свои эскизы и гравюры, созданные с использованием алгоритмов искусственного интеллекта, и рассказывает о своем сотрудничестве с музыкальными группами и своих недавних художественных выставках. Он также обсуждает проблемы сотрудничества с нейронными сетями и непреднамеренные последствия размещения искусства, созданного ИИ, в дикой природе.

• 00:00:00 В этом разделе видео художник и лектор Том Уайт представляет себя и рассказывает о своем прошлом, включая изучение математики и графического дизайна в медиа-лаборатории Массачусетского технологического института. Он рассказывает о своем интересе к изучению программирования как творческой дисциплины и о том, как сейчас он преподает творческое программирование в Университете Виктории в Веллингтоне. Уайт также упоминает свое исследование, направленное на создание практических инструментов, помогающих другим творчески использовать среду. Кроме того, он рассказывает о своей отдельной художественной практике, которую, по его словам, он будет обсуждать подробнее в своем выступлении, и надеется вдохновить студентов, заинтересованных в том, чтобы следовать аналогичным путем.
  
  
• 00:05:00 В этом разделе спикер представляет план своего выступления о нейронных абстракциях и свои работы, посвященные машинному восприятию. Он объясняет, что у машин есть свои уникальные способы видения мира, и его работа направлена на то, чтобы донести это до более широкой аудитории. Спикер также затрагивает тему представления и абстракции ИИ и того, как он исследует представления систем нейросетевого зрения, чтобы передать их в художественном контексте. Он иллюстрирует это, показывая несколько своих художественных работ, основанных на наборах данных реальных изображений, таких как глаза, лица и цыплята, и то, как он вводит диагностику в процесс, чтобы понять внутренний мир системы. Доклад завершается последствиями изучения машинного восприятия в искусстве и тем, как это может помочь нам оценить различные способы восприятия мира машинами.
  
  
• 00:10:00 В этом разделе Том Уайт обсуждает некоторые из своих первоначальных проектов во время работы в Массачусетском технологическом институте, в том числе исследование методов машинного обучения для создания видеофильтров в реальном времени, создание пользовательского ручного интерфейса для мультитач-взаимодействия. , и его художественный проект Stream of Consciousness, в котором использовались такие методы искусственного интеллекта, как WordNet, для поиска связанных слов. Уайт также рассказывает о своем участии в создании основной программной библиотеки Acu, которая позже послужила основой для таких систем, как Processing и OpenFrameworks, и о том, как его текущая работа связана с созданием эскизов и чертежей для процессов машинного обучения.
  
  
• 00:15:00 В этом разделе спикер обсуждает первенство в искусстве, которое вдохновило их творчество, начиная с художника Стюарта Дэвиса, который брал обычные предметы и заставлял себя рисовать их снова и снова, пока не находил в них что-то новое. Гарольд Коэн был еще одним художником, который экспериментировал с системами генеративного рисования, формализовав свои идеи о создании меток с помощью искусственного интеллекта. Работая в большей степени как сотрудник этих систем в более позднем возрасте, основным вопросом Коэна оставался вопрос: «Что такое изображение?» Затем спикер рассказывает о технической стороне работы Энди Уорхола и Роя Лихтенштейна в трафаретной печати как о технике, которую они используют при выполнении своих работ.
  
  
• 00:20:00 В этом разделе художник и лектор Том Уайт обсуждает свою художественную технику создания отпечатков с использованием трафаретной печати вместо техники кисти, которую он создает с помощью системы компьютерного зрения, оптимизирующей восприятие для создания изображений, похожих на электрические вентиляторы. или бинокли с использованием алгоритмов искусственного интеллекта. Уайт обсуждает, как Стюарт Дэвис научился воспринимать и представлять знакомые объекты по-новому, глядя на одни и те же объекты каждый день. В том же ключе Уайт стремится использовать системы компьютерного зрения, чтобы ввести новые способы восприятия и представления знакомых объектов.
  
  
• 00:25:00 В этом разделе видео спикер обсуждает свои демонстрации использования системы нейронных сетей для создания простых эскизов с использованием очень небольшого количества штрихов, которые можно манипулировать для создания различных изображений. Он объясняет, как создал наброски акулы-молота и утюга, используя одинаковое количество штрихов, а затем показывает, что, изменяя положение штрихов, он может обмануть нейронные сети, чтобы они воспринимали утюг как акулу и наоборот. Докладчик демонстрирует, как нейронная сеть может создавать эскизы различных объектов, и показывает, как на систему не влияет левая или правая ориентация, но на нее влияют цвета в предоставленном наборе обучающих данных.
  
  
• 00:30:00 В этом разделе Том Уайт рассказывает о различных примерах машинного обучения и о том, как они работают. Одним из примеров является система компьютерного зрения, которая использует выборку мерных стаканов преимущественно зеленого цвета, заставляя систему считать, что зеленые мерные стаканы встречаются чаще, чем это есть на самом деле. Уайт также обсуждает сделанный им отпечаток галочки, который зарегистрировался лучше, чем все примеры проверки, которые он сравнивает с искусством и дизайном, где усиление за счет упрощения используется для создания лучшей абстракции концепций. Наконец, Уайт представляет свою серию синтетических абстракций, состоящую из абстрактных принтов, имитирующих явные или небезопасные для работы изображения, запускающие фильтры в поисковых системах.
  
  
• 00:35:00 В этом разделе спикер делится примерами того, как его системы работают с онлайн-API, включая наборы данных для китов, пингвинов и глаз. Он также обсуждает свое сотрудничество с музыкальной группой, где он создавал пользовательские наборы данных, а также свои недавние художественные выставки с группами изображений, которые компьютер считает узлами, муравьями или другими объектами. Далее спикер рассказывает о различных подходах к генеративным техникам и о том, как его работы влияют на реальный мир. Он упоминает о своем интересе к гендерным сетям и о том, как он создал произведение искусства, используя изображения лиц, полученные нейронной сетью.
  
  
• 00:40:00 В этом разделе Том Уайт рассказывает о своем исследовании генеративных сетей и своей работе с аспирантами над созданием инструмента для работы с электронными таблицами, который использует образцы из генеративной модели в качестве инструмента творчества через интерфейс электронной таблицы. Также упоминаются другие художники, такие как Лена Сарин, Марио Клингеманн, Робби Барретт и Эдмунд Беллами. Уайт также обсуждает проблемы сотрудничества с этими системами для создания произведений искусства, подчеркивая роль как художника, так и системы в процессе совместного творчества. Наконец, он говорит о непреднамеренных последствиях размещения искусства, созданного ИИ, в дикой природе и о том, как мы можем понять его с помощью методов визуализации и спрашивая систему, что она видит.
  
  
• 00:45:00 В этом разделе спикер рассказывает о методах, подобных глубокому сну, когда изображение загружается в систему, чтобы визуализировать, как оно связано. Спикер упоминает, как их произведения искусства сталкиваются с реальными системами, такими как фильтр контента для взрослых Tumblr, Amazon API и академические офисы Слоана Кеттеринга. Они также обсуждают примеры того, как эти системы зрения терпят неудачу при категоризации произведений искусства под теми же ярлыками, что и для объектов реального мира. Спикер объясняет, что основная идея их работ — понять их глазами машин, которые создают искусство для машин и с их помощью, позволяя людям оценить их независимо от их опыта в машинном обучении.
  
  
• 00:50:00 В этом разделе Том Уайт объясняет, почему он выбрал трафаретную печать в качестве предпочтительного средства для своих произведений физического искусства. Он подчеркивает, что физическая работа позволяет людям относиться к ней иначе, чем к интерактивным инсталляциям с экранами и камерами. Он также объясняет, что трафаретная печать позволяет ему создавать более точные работы, и у поп-артистов есть прецедент в мире искусства. Далее Том объясняет, что выполнять физическую работу труднее, так как сложно иметь дело с возможными фотографиями, но это интересный способ перенести враждебные атаки в физический мир. Кроме того, он рассказывает о том, как искусство может помочь лучше понять алгоритмическую предвзятость или другие аспекты ИИ и кибербезопасности.
  
  
• 00:55:00 В этом разделе Том Уайт обсуждает, как предвзятость в наборе данных Celeb-A, когда женщины с большей вероятностью будут отмечены как улыбающиеся, чем мужчины, может привести к предвзятости в генеративных сетях, направленных на изменение выражений лица. Он отмечает, что его работа сосредоточена не на состязательных примерах, а на визуализации и понимании стимулов, запускающих нейронные сети. Уайт также говорит об экспериментах с простыми представлениями, такими как минимальные штрихи, чтобы упростить создание визуальных результатов. Он отмечает, что люди могут распознавать изображения в форматах с низким разрешением, черпая вдохновение из психологических исследований, которые проверяли эту способность.
  
  
• 01:00:00 В этом разделе Том Уайт предлагает зрителям ознакомиться с исследованиями в области нейронных абстракций и направляет их к видео с прошлогоднего семинара для получения дополнительной информации. Он подчеркивает ценность исследования и приветствует любые вопросы, которые могут возникнуть у зрителей.

[MetaQuotes]

MIT 6.S192 — Лекция 10: «Purple: расширение возможностей креативного агентства с помощью машинного обучения», Джесси Энгель

MIT 6.S192 — Лекция 10: «Purple: расширение возможностей креативного агентства с помощью машинного обучения», Джесси Энгель

Джесси Энгель, ведущий научный сотрудник Google Brain, рассказывает о Magenta, исследовательской группе, изучающей роль ИИ и машинного обучения в творчестве и музыке. Группа в первую очередь занимается моделями машинного обучения, которые генерируют мультимедиа и делают их доступными через открытый исходный код и платформу magenta.js, которая позволяет создавать интерактивные творческие модели на Javascript. Энгель подчеркивает важность рассмотрения музыки как социальной и эволюционной платформы для культурной идентичности и связи, а не как товар, который можно дешево производить и потреблять. Они исследуют, как машинное обучение может дать людям новые формы творческой активности за счет выразительности, интерактивности и адаптивности. Лекция охватывает различные темы, в том числе разработку моделей машинного обучения для музыки, использование расширенной свертки для прогнозирующих выходных данных, дифференцируемую цифровую обработку сигналов и создание систем машинного обучения, которые производят красивые отказы. Кроме того, он говорит о проблемах сотрудничества с художниками и о серьезной проблеме выхода из дистрибуции и композиционности в моделях обучения.

• 00:00:00 В этом разделе Джесси Энгель, ведущий научный сотрудник Google Brain, обсуждает Magenta, исследовательскую группу, изучающую роль ИИ и машинного обучения в творчестве и музыке. Группа в первую очередь занимается моделями машинного обучения, которые генерируют мультимедиа и делают их доступными через открытый исходный код и платформу magenta.js, которая позволяет создавать интерактивные творческие модели на Javascript. Энгель подчеркивает важность рассмотрения музыки как социальной и эволюционной платформы для культурной идентичности и связи, а не как товар, который можно дешево производить и потреблять. Они исследуют, как машинное обучение может дать людям новые формы творческой активности за счет выразительности, интерактивности и адаптивности.
  
  
• 00:05:00 В этом разделе Джесси Энгель рассказывает о разработке моделей машинного обучения, которые легче взломать и требуют меньше данных для обучения, особенно в контексте музыки. Он обсуждает компромиссы между различными аспектами разработки алгоритмов, например, делая их малой задержкой с интуитивным причинно-следственным управлением, сохраняя при этом выразительность и адаптивность. Он сравнивает две модели машинного обучения: openai Jukenbox, который очень реалистично моделирует необработанные звуковые волны за счет требуемых тонн и тонн данных, и каракули, которые моделируют музыку как структурированные данные, но с нереалистичными звуками. В заключение он обсуждает подход, которого придерживается группа, который заключается в использовании структуры внутри модели для достижения компромисса между интерпретируемостью и выразительностью.
  
  
• 00:10:00 В этом разделе Джесси Энгель обсуждает предшествующее состояние моделей аудиотранскрипции и то, как они были ограничены, когда дело доходило до точного предсказания нот таким образом, чтобы это соответствовало человеческому восприятию. Он демонстрирует, что ошибки в отдельных кадрах имеют не такое большое значение, как то, когда ноты на самом деле начинаются, и как была создана новая архитектура нейронной сети, чтобы лучше сопоставить функцию потерь с тем, что нас волнует — как звучит музыка, когда мы ее играем. назад. Новая современная модель смогла добиться точной транскрипции даже тогда, когда звук был «в дикой природе», что продемонстрировал пианист, играющий на своем мобильном телефоне.
  
  
• 00:15:00 В этом разделе видео Джесси Энгель из Google Brain объясняет важность наборов данных в нейронных сетях на примере большого набора данных с международного конкурса электронных пианино. Он обсуждает использование нейронных сетей, таких как рекуррентные нейронные сети (RNN) и архитектуру преобразователя, для моделирования музыкальных последовательностей и проблемы токенизации музыкальных нот. Чтобы решить эту проблему, они создали словарь для распознавания отдельных музыкальных событий и меток времени. Точно представляя микрохронометраж, скорость и вариации данных, модели могут воспроизводить более естественно звучащую музыку.
  
  
• 00:20:00 В этом разделе лекции Джесси Энгель объясняет, как команда Magenta начала с оригинального мотива и использовала авторегрессионную модель под названием LSTM для прогнозирования следующего токена на основе предыдущих токенов. Однако из-за ограниченной долгосрочной согласованности LSTM они внедрили преобразователь для отслеживания всех предыдущих данных для улучшения согласованности. Благодаря этому они могли транскрибировать необработанный звук, чтобы получить тысячи часов символической музыки, что позволило им обучать модели, которые имеют гораздо более долгосрочную связность. Чтобы обеспечить более интуитивное управление, команда также извлекла мелодию и использовала ее в качестве элемента управления, от которого зависит генерация. Затем они могли использовать эту модель в качестве нейронного синтезатора для различных звуков, а параметры могли быть настроены на определенные наборы звуков.
  
  
• 00:25:00 В этом разделе видео Джесси Энгель объясняет технические аспекты расширенных процессов свертки Magenta для нейронной сети для прогнозирования выходных данных на основе элементов управления высокого уровня. Используя расширенную свертку, система может просматривать большой промежуток времени без понижения частоты дискретизации и избегает потери информации, сохраняя при этом выразительность. Однако этот процесс медленный и требует более длительного кондиционирования для более долгосрочной структуры. Благодаря использованию условного обозначения нот система способна генерировать реалистичные исполнения с интерпретируемыми промежуточными представлениями.
  
  
• 00:30:00 В этом разделе мы узнаем о DDSP или дифференцируемой цифровой обработке сигналов. Джесси Энгель предлагает интегрировать традиционные методы обработки сигналов, такие как генераторы, фильтры и синтезаторы, с глубоким обучением, чтобы создать более эффективную, реалистичную и быстродействующую систему. Вместо того, чтобы нейронная сеть создавала звук напрямую, используются известные элементы обработки сигналов, а нейронная сеть управляет ими для получения выразительных выходных данных. Модули DDSP интерпретируемы и эффективны, а звук можно моделировать с помощью этих синусоидальных генераторов с переменной частотой. DDSP использует гармонические колебания и дифференциальные уравнения второго порядка для большей гибкости при моделировании звука. DDSP — это не только периодические компоненты, но и шумовые элементы, которым можно придать произвольную форму с помощью различных фильтров. Управляя этими элементами синтеза с помощью декодера нейронной сети, можно генерировать звук, который выгодно отличается от исходного звука.
  
  
• 00:35:00 В этом разделе лекции спикер объясняет, как они могут обучить декодер создавать высококачественный синтез с меньшим количеством данных, прогоняя спектрограммы через модель, а затем повторно синтезируя ее. Это позволяет модели превращать высоту тона и громкость в звук флейты, звук скрипки и даже передавать тембровые тона из певческих стилей. Они также могут отключать различные компоненты модели, такие как реверберация и гармоники, для проверки отдельных атрибутов. Модель может быть сжата до моделей размером менее одного мегабайта для реализации операции в реальном времени в браузере. Модель DDSP может применяться к широкому спектру культур, позволяя сохранять микротональные вариации и сдвиги.
  
  
• 00:40:00 В этом разделе Джесси Энгель обсуждает проект Magenta и его цель — расширить возможности творческих агентств с помощью машинного обучения. Он объясняет, что они получили положительные отзывы от музыкантов, которые считают, что инструмент помогает им в творческом процессе, а не заменяет его. Команда Magenta сосредоточена на создании более широкой экосистемы, включая веб-интерфейс для моделей обучения, развертывание в веб-приложениях и подключаемые модули реального времени для музыкального программного обеспечения. Энгель отмечает, что система более интерактивна, работает в режиме реального времени и адаптивна, но все еще есть возможности для улучшения с точки зрения выразительности и разнообразия интерактивных моделей. Команда изучает неконтролируемые модели, чтобы изучить структуру и метки на основе данных. На их веб-сайте есть несколько демонстраций, программного обеспечения и профессиональных инструментов, которые может попробовать любой желающий.
  
  
• 00:45:00 В этом разделе Джесси Энгель объясняет, что создание систем машинного обучения, которые производят красивые ошибки, — это один из способов создания систем, которые могут использовать художники. Например, ограничения, заложенные в оригинальные драм-машины, оказались их определяющей характеристикой, которая заставила хип-хоп и электронных музыкантов использовать звуки весело и артистично. Кроме того, Энгель обсуждает взаимосвязь между интерпретируемостью и интерактивностью и предполагает, что язык и предположения, используемые моделями машинного обучения, могут быть решением для создания API-интерфейсов, которые действуют как посредники между программным обеспечением и пользователем для максимальной интерпретируемости.
  
  
• 00:50:00 В этом разделе видео Джесси Энгель обсуждает проблемы обеспечения структуры для обобщения при разработке моделей, которые могут соответствовать целевой аудитории. Он объясняет, как нейронные сети могут эмулировать ньютоновскую механику в определенном наборе изображений, но с трудом экстраполируют, когда меняется один аспект изображения. Он также говорит о том, что создание моделей, которые могут адаптироваться к интенсивности музыки или громкости бочки, может быть увлекательной идеей. Также поднимается обсуждение сотрудничества с артистами, но Джесси объясняет, что это сложно из-за ограничений и их системы продвижения, основанной на исследованиях. Обсуждение связано с большой проблемой выхода из распределения и композиционности в моделях обучения.

[MetaQuotes]

MIT 6.S192 — Лекция 11: «Искусственное биоразнообразие», София Креспо и Фейликан МакКормик

MIT 6.S192 — Лекция 11: «Искусственное биоразнообразие», София Креспо и Фейликан МакКормик

В этой лекции на тему «Искусственное биоразнообразие» София Креспо и Фейлиакан Маккормик исследуют пересечение технологий и природы для создания уникальных форм искусства. Дуэт обсуждает свой интерес и использование машинного обучения и его связь с красотой, а также подчеркивает ограничения человеческого восприятия. Они также обсуждают свои совместные проекты, в том числе «Запутанные другие», в которых они выступают за представление как отдельных видов, так и их сложных взаимосвязей, чтобы лучше понять экологические системы. Выступающие подчеркивают важность устойчивости и сотрудничества в художественной практике, а также взаимосвязь между инструментами и искусством, заявляя, что алгоритмы не могут заменить людей-художников.

• 00:00:00 В этом разделе София Креспо и Фейликан МакКормик обсуждают концепцию искусственного биоразнообразия и исследуют вопрос о том, что делает что-то красивым в области машинного обучения. Дуэт рассматривает, в чем заключается красота — в наборе данных, используемом для обучения нейронных сетей, в процессе обучения модели или во взаимодействии между слоями виртуальных нейронов в мозгу. Они также проводят параллели между тренировкой нейронной сети и медитацией, поскольку и то, и другое связано с курированием набора данных и исследованием паттернов. В целом дискуссия подчеркивает, как технологии и природа могут пересекаться для создания уникальных форм искусства.
  
  
• 00:05:00 В этом разделе София Креспо обсуждает свое увлечение медузами и ограниченность человеческого восприятия с точки зрения цвета. Она объясняет, что ее интерес к медузам привел ее к изучению синтетических медуз с помощью алгоритмов машинного обучения. Она размышляет над вопросом о том, что искусственные нейронные сети могут рассказать нам о наших когнитивных процессах и концепции «природности» и как ее визуализировать. Креспо также обсуждает статью Аарона Герцмана о визуальной неопределенности в ган-арте, в которой исследуется, как значимые визуальные стимулы могут быть визуально неопределенными и вызывать когнитивные реакции.
  
  
• 00:10:00 В этом разделе спикеры обсуждают свой интерес и использование машинного обучения и его связь с красотой. Они объясняют, что при работе с машинным обучением они работают в очень человеческой сфере, используя созданные человеком наборы данных и, следовательно, обращаясь к человеческим визуальным предположениям о природе. Выступающие предполагают, что технология является частью природы, поскольку люди являются частью природы, и эта идея о том, что технология является отдельным от природы объектом, ошибочна. Кроме того, спикеры обсуждают определение искусственной жизни и подчеркивают, что ее можно понять в различных дисциплинах, таких как программное обеспечение, искусство или даже программное обеспечение, аппаратное обеспечение и генетика. Они используют работу Карла Сима над эволюционировавшими искусственными существами, чтобы продемонстрировать способность первобытных людей воплощать в себе жизненные качества и, наряду с их поведением, проявлять чувство соперничества и целенаправленных действий.
  
  
• 00:15:00 В этом разделе мы узнаем, как искусственные нейронные сети могут создавать фантастических существ и язык, очень похожие на Кодекс Серафиниана Луиджи Серафини. Эти творения представляют собой рекомбинацию человеческих знаний о ботанике, зоологии, языке и архитектуре. Несмотря на свою искусственность, они демонстрируют удивительное разнообразие в разнообразии. В лекции также рассказывается об Анне Аткинс, фотографе и ботанике 19 века, создавшей технику цианотипии. Спикер объединил технику Аткинса со сверточной нейронной сетью для создания реалистичных существ, которые были напечатаны с использованием техники цианотипии. Этот проект называется «Искусственная естественная история» и представляет собой книгу, в которой рассказывается, как люди видели природу до появления камер.
  
  
• 00:20:00 В этом разделе София Креспо и Фейлиакан Маккормик обсуждают свой совместный проект «Запутанные другие», в котором они выступают за представление не только отдельных видов, но и их сложных взаимосвязей для лучшего понимания экологических систем. Они объясняют свой первый проект «Искусственные остатки», в котором они создали 3D-модели насекомых и создали дополненную реальность для людей, чтобы они могли взаимодействовать с цифровыми существами. Успех этого проекта привел к их последним усилиям, которые включали создание экосистемы и изучение абстрактной концепции существования в отношениях. Однако из-за COVID-19 их выставочные планы были изменены.
  
  
• 00:25:00 В этом разделе спикеры обсуждают свой проект по «искусственному биоразнообразию» и то, как они обратились к коралловым рифам как к примеру взаимосвязанности экосистем. Однако из-за нехватки данных им пришлось работать с художником над созданием синтетического коралла, чтобы имитировать разнообразие морфологии кораллов. Они признают, что это субъективное представление, поскольку оно не является точным отражением сложной системы кораллового рифа, но все же напоминает нам о его качествах. Они также говорят об увлекательном аспекте привлечения внимания к природе посредством абстрактного представления закономерностей природы, а работа с биоматериалами была сложной задачей для обучения.
  
  
• 00:30:00 В этом разделе спикеры обсуждают, как они приложили усилия к тому, чтобы сделать упор на экологичность, сотрудничая со студией, которая специализируется на создании биопластика из выброшенных оливковых косточек. Этот материал можно плавить и использовать снова и снова, что позволяет им создавать экспонаты, а затем использовать материал для будущих проектов. Они подчеркивают, что для художников, работающих с природой, крайне важно мыслить устойчиво и учитывать физические последствия цифровых слоев, особенно с использованием машинного обучения в художественной практике. Они также подчеркивают важность сотрудничества и междисциплинарного взаимодействия для укрепления связей и создания новых, что привело их к открытому призыву к другим обращаться к ним для сотрудничества, бесед и многого другого. Дискуссия также затрагивает философию и ссылается на Платона, Делёза и Гваттари.
  
  
• 00:35:00 В этом разделе художники София Креспо и Фейликан Маккормик обсуждают отношения между инструментами и искусством. Они объясняют, что точно так же, как карандаш формирует то, как мы рисуем, цифровые инструменты также обладают формирующими качествами. Они также касаются важности не забывать о художественной перспективе при создании генеративного и цифрового искусства и почему необходимо подвергать сомнению не только технические решения, но и почему, как и что. Они заявляют, что важно напоминать себе, что искусство создано для потребления людьми и что алгоритмы не могут заменить людей-художников.

[MetaQuotes]

Массачусетский технологический институт 6.S192 — Лекция 12: Джейсон Бейли «Искусственный интеллект + Творчество, точка зрения искусствоведа

Массачусетский технологический институт 6.S192 — Лекция 12: Джейсон Бейли Искусственный интеллект + Творчество, точка зрения искусствоведа

Джейсон Бейли обсуждает, как машинное обучение влияет на сферу искусства, от обнаружения подделок до прогнозирования цен. Он призывает художников осознавать предубеждения, присущие искусству, основанному на данных, и настаивает на необходимости обучающих данных, включающих все точки зрения.

• 00:00:00 Джейсон Бейли, лектор Массачусетского технологического института, расскажет об искусственном интеллекте и творчестве. Он имеет опыт работы в области инженерии и маркетинга и привносит этот опыт в свое выступление на пересечении искусства и технологий. Бейли сосредоточится на трех ключевых областях: истории искусства, прогнозировании цен на арт-рынке и использовании ИИ и машинного обучения в творчестве.
  
  
• 00:05:00 Джейсон Бейли описывает, как он заинтересовался проблемой подделок в искусстве и как он провел три года, сканируя книги большого формата, чтобы создать базу данных полных собраний произведений художника. Он рассказывает о том, как редко и трудно найти эти резюме в каталоге, и как недавно кто-то переиздал популярную версию примерно за 2000 долларов.
  
  
• 00:10:00 В блоге Джейсона Бейли «artnome.com» исследуются способы использования данных для лучшего понимания и критики искусства. В 2017 году его блог привлек внимание журнала 538, который опубликовал статью о его проекте «Стипендия AI для искусства: как это выглядит?» Поделившись ссылками на свои проекты и публикации в своей лекции, Бейли представляет краткое изложение своего выступления в 1 абзаце.
  
  
• 00:15:00 Джейсон Бейли обсуждает, как машинное обучение полезно в истории искусства, особенно в анализе картин и понимании истории искусства. Он также рассказывает о своем недавнем проекте, который включал в себя обучение модели машинного обучения распознаванию культовых картин одного и того же художника в разных музеях.
  
  
• 00:20:00 Лекция Джейсона Бейли исследует взаимосвязь между ценами на картины и отдельными пикселями, из которых состоят картины, а также тенденции на арт-рынке. Его платформа машинного обучения смогла предсказать цены на картины испанского художника Пабло Пикассо с корреляцией 0,58.
  
  
• 00:25:00 Джейсон Бейли обсуждает текущее состояние машинного обучения и его влияние на мир искусства. Он рассказывает о том, как машинное обучение используется для создания более реалистичного и сюрреалистического искусства, и как это новшество недавно вызвало новый интерес к этой области.
  
  
• 00:30:00 Джейсон Бейли читает лекцию об искусственном интеллекте и творчестве, описывая, как можно использовать глубокое сновидение и передачу стиля для создания искусства. Он рассказывает о своем собственном опыте работы с этими технологиями и о том, что они не были для него такими захватывающими, как когда он впервые их обнаружил. Он заканчивает лекцию обсуждением работ французского художника Робби Барретта.
  
  
• 00:35:00 Джейсон Бейли читает лекцию об искусственном интеллекте и творчестве, обсуждая, что традиционное художественное образование недостаточно для работы в наши дни, когда преобладают искусственный интеллект и генеративное искусство. Он обсуждает, как его опыт в искусстве позволяет ему общаться с художниками и пропагандистами генеративного искусства, и как эти художники повлияли на его собственную работу.
  
  
• 00:40:00 Джейсон Бейли обсуждает, как технологии и искусство пересекались в прошлом и как аналитика данных может помочь художникам измерить абстракцию. Он также упоминает проект, в котором он участвовал, в котором они рассчитали абстракцию в карьере художника.
  
  
• 00:45:00 Джейсон Бейли объясняет, как алгоритм его команды можно использовать для прогнозирования цен на картины на основе ряда факторов, таких как историческая популярность художника, сложность картины и материал, использованный в картине. Он также отмечает, что алгоритм все еще находится на ранней стадии и что для его улучшения необходимы дополнительные исследования.
  
  
• 00:50:00 В этой лекции Джейсон Бейли обсуждает, как он использует аукционные данные для изучения творчества, а также как он включает в свои модели другие области, такие как искусство и природа.
  
  
• 00:55:00 Джейсон Бейли обсуждает влияние ИИ на творчество, подчеркивая необходимость обучающих данных, включающих все точки зрения. Он также обсуждает потенциальные последствия предвзятых алгоритмов ИИ. Наконец, он призывает художников осознавать предубеждения, присущие искусству, основанному на данных.

[MetaQuotes]

MIT 6.S192 - Лекция 13: «Поверхности, объекты, процедуры: интеграция обучения и графики для понимания 3D-сцены» Цзяцзюня Ву

MIT 6.S192 - Лекция 13: «Поверхности, объекты, процедуры: интеграция обучения и графики для понимания 3D-сцены» Цзяцзюня Ву

Цзяцзюнь Ву, доцент Стэнфордского университета, обсуждает свои исследования понимания сцены в машинах посредством интеграции глубокого обучения и предметных знаний из компьютерной графики. Ву предлагает двухэтапный подход к восстановлению геометрии 3D-объекта из одного изображения путем оценки видимой поверхности с помощью карты глубины и завершения формы на основе предварительных знаний из большого набора данных других подобных форм. Ву также предлагает использовать сферические карты в качестве суррогатного представления поверхностей в 3D, чтобы лучше фиксировать особенности поверхности, позволяя системе завершать формы в более подробном и плавном выводе. Кроме того, Ву обсуждает, как преобразование фигур в программы форм может значительно улучшить моделирование и реконструкцию, особенно для абстрактных и искусственных объектов. Наконец, Ву обсуждает, как знания предметной области из компьютерной графики могут быть объединены с машинным обучением для улучшения реконструкции формы, синтеза текстуры и понимания сцены.

• 00:00:00 В этом разделе видео Цзяцзюнь Ву, доцент Стэнфордского университета, обсуждает свое исследование понимания сцены в машинах посредством интеграции глубокого обучения и знаний предметной области из компьютерной графики. Воспроизводя человеческое познание, его цель состоит в том, чтобы построить машины, которые имеют всестороннее понимание сцен, включая категории объектов, трехмерную геометрию, физические свойства и предсказания будущего. Исследование Ву также направлено на преодоление разрыва между машинным обучением и искусством путем создания гибридной модели, объединяющей знания предметной области из компьютерной графики с глубоким обучением. Этот подход открывает новые возможности в редактировании и генерации изображений, а также творческий подход в применении глубокого обучения.
  
  
• 00:05:00 В этом разделе лекции Цзяцзюнь Ву обсуждает проблему восстановления геометрии 3D-объекта из одного изображения, которую можно рассматривать как обратную классической задаче в компьютерной графике генерации 2D-изображения из 3D-формы. , текстура, освещение, материал и точка обзора. Хотя нейронную сеть можно обучить для выполнения этой задачи, Ву предполагает, что интеграция предварительных знаний из компьютерной графики может повысить производительность, эффективность и обобщаемость. Он предлагает двухэтапный подход к решению проблемы: во-первых, оценка видимой поверхности с помощью карты глубины, а во-вторых, завершение формы на основе предварительных знаний из большого набора данных о других подобных формах.
  
  
• 00:10:00 В этом разделе Цзяцзюнь Ву обсуждает важность использования глубины в качестве промежуточного представления для захвата поверхностей объектов и деталей форм. Обучая модель на наборе данных ShapeNet и случайным образом выбирая из него фигуры, Ву демонстрирует, что этот подход значительно повышает точность выходных данных. Однако он признает, что обобщение на объекты, которые модель никогда раньше не видела, может быть проблемой, приводящей к неправильной интерпретации данных. Чтобы решить эту проблему, Ву предлагает создать дифференциальный слой, который обратно проецирует 2D-представление в 3D-представление, позволяя системе определять детерминированный и полностью дифференцируемый процесс для завершения форм.
  
  
• 00:15:00 В этом разделе спикер обсуждает ограничения использования частичной поверхности для объектов в 3D, в частности то, что многие области 3D-пространства пусты, что затрудняет для сети завершения захват элементов поверхности. Чтобы решить эту проблему, спикер предлагает использовать сферические карты в качестве суррогатного представления поверхностей в 3D, где каждый пиксель соответствует точке на поверхности, и никакое представление не тратится впустую. Конвейер берет расчетную глубину и проецирует ее на частичную сферическую карту, которую затем можно заполнить с помощью сети завершения в пространстве сферической карты. Этот новый метод приводит к гораздо более плавному и подробному выводу, и его можно обобщить на категории объектов, которые не были замечены во время обучения.
  
  
• 00:20:00 В этом разделе Цзяцзюнь Ву обсуждает, как промежуточные представления и обратная проекция могут помочь построить лучшую систему реконструкции формы, которая будет более универсальной. Используя примеры тестов на людях и лошадях, Ву отмечает, что система способна реконструировать объекты относительно разумным способом из одного вида, не видя ранее деформируемых объектов, что указывает на то, что систему можно использовать для создания более совершенных систем зрения. Ву также объясняет, как промежуточные представления поверхностей и прямая проекция могут помочь улучшить визуализацию, позволяя синтезировать новые формы и текстуры объектов с большим контролем над независимыми факторами.
  
  
• 00:25:00 В этом разделе Цзяцзюнь Ву обсуждает процесс объединения предыдущих техник, чтобы расширить их на сцены. Во-первых, он использует системы инверсии для получения представлений геометрии, позы и текстур объектов, включая скрытые представления для необъектоподобных сегментов фона, таких как деревья или небо. Затем он редактирует эти представления, чтобы увидеть, как различные изменения в сцене, такие как приближение автомобиля или изменение его текстуры, влияют на общее изображение. Ву подчеркивает важность понимания того, что объекты имеют трехмерную геометрию, поскольку это позволяет методу давать полные и точные результаты. Наконец, он обсуждает проблему абстракции формы при реконструкции искусственных объектов, таких как таблицы, и то, как включение абстрактных и программных представлений может привести к лучшим результатам.
  
  
• 00:30:00 В этом разделе Ву обсуждает, как преобразование фигур в программы форм может значительно улучшить моделирование и реконструкцию, особенно для таких объектов, как мебель. Кроме того, он объясняет, как процедурные структуры, такие как репликация и симметрия, могут быть использованы для создания контента, например, с помощью алгоритма, который может направлять 3D-проекцию для проектирования зданий. Чтобы соединить необработанные 2D-изображения и 3D-пространство, команда Ву была вдохновлена стохастическим поиском для обнаружения примитивов, таких как линии и треугольники, в визуальных данных, и теперь пытается синтезировать формы 3D-примитивов для управления восприятием изображения.
  
  
• 00:35:00 В этом разделе Цзяцзюнь Ву обсуждает, как можно использовать внутреннее обучение, чтобы узнать все на одном изображении из статистики изображения, отметив, что в одном изображении участки могут повторяться, и это повторение может происходить в разных масштабах. Используя активацию нейронов для идентификации повторяющихся объектов в одном изображении, найденные примитивы могут быть линиями, прямоугольниками, сферами или цилиндрами, а нейронные сети могут изучать функции для идентификации и синтеза программ поверх центроидов этих повторяющихся объектов. Это может помочь решить ряд проблем, таких как завершение изображения или экстраполяция, а также редактирование регулярности, чтобы сделать сцены более нерегулярными.
  
  
• 00:40:00 В этом разделе спикер обсуждает, как применить свою программу к 3D-изображениям, которые сложнее, чем одна плоскость. Проблема здесь состоит в том, чтобы разделить изображение на несколько плоскостей, учитывая при этом ориентацию и уровни поверхности каждой плоскости. Спикер предлагает использовать визуальные подсказки, такие как точки схода и каркасы, чтобы решить эту проблему. Однако каркасные объекты могут быть шумными, и может быть несколько возможных разделов плоскостей-кандидатов. Используя нисходящие знания своей программы, они могут преобразовать плоскости-кандидаты в 2D-изображения и выполнить программный синтез, чтобы найти правильный раздел изображения. Это может помочь им найти наилучшие результаты совместной работы и синтеза изображений, которые не могут быть достигнуты традиционными методами.
  
  
• 00:45:00 В этом разделе Цзяцзюнь Ву обсудил, как знания предметной области из компьютерной графики могут быть интегрированы с машинным обучением для улучшения реконструкции формы, синтеза текстуры и понимания сцены. Ву подчеркнул, что понимание сцен основано на минимальной, но универсальной каузальной структуре, стоящей за визуальными данными: объекты, поверхности, проекции и окклюзии. Интегрируя обучение и машинное обучение, Ву считает, что существует больший потенциал в создании более совершенных 3D-моделей, выходящих за рамки традиционных 2D-изображений. Хотя Ву и его команда не занимались 3D-печатью, их интересует 3D-моделирование форм и возможность использования предполагаемых процедур, лежащих в основе этих моделей.

[MetaQuotes]

MIT 6.S192 - Лекция 14: «На пути к созданию бесконечно творческих открытых инновационных двигателей» Джеффа Клуна

MIT 6.S192 - Лекция 14: «На пути к созданию бесконечно творческих открытых инновационных двигателей» Джеффа Клуна

В этой лекции в Массачусетском технологическом институте Джефф Клун, исследователь OpenAI, обсуждает свою работу по созданию бесконечно творческих открытых инновационных двигателей. Он стремится создать алгоритмы, которые могут выполнять естественную эволюцию и рецепт человеческой культуры: начинать с набора вещей, генерировать новые вещи, оценивать, чтобы сохранить то, что интересно, и модифицировать это, чтобы сохранить интересную новизну. Клун исследует использование нейронных сетей для распознавания новых вещей, рассказывает об алгоритме Map Elite и представляет сети создания композиционных паттернов для кодирования. Он показывает, как эти инструменты можно комбинировать для создания сложных и разнообразных изображений, решения сложных проблем и создания открытых алгоритмов, которые могут постоянно обновлять свои решения проблем.

• 00:00:00 В этом разделе Джефф Клун, адъюнкт-профессор компьютерных наук в Университете Британской Колумбии и руководитель исследовательской группы OpenAI, обсуждает свои исследования по созданию бесконечно творческих открытых инновационных двигателей. Он размышляет о своем личном путешествии, начав с философии, а затем перейдя к созданию вычислительных систем для решения грандиозной задачи искусственного интеллекта. Клун заинтересован в создании открытых алгоритмов, которые бесконечно обновляются и используются в бесконечных творениях природы, таких как сложные инженерные конструкции ягуаров и ястребов.
  
  
• 00:05:00 В этом разделе спикер обсуждает концепцию инновационных двигателей, которые он определяет как рецепт, которому следуют как естественная эволюция, так и человеческая культура, что позволяет им быть творческими. Этот рецепт включает в себя начало с набора вещей, создание чего-то нового, оценку того, интересно ли это, а также сохранение и изменение интересных результатов. Спикер стремится создать алгоритм, который может выполнять этот процесс автоматически без вмешательства человека в долгосрочной перспективе. Однако самая большая проблема состоит в том, чтобы не генерировать неинтересную новизну и генерировать только интересную новинку. Спикер предлагает использовать нейронные сети для распознавания большого количества классов, чтобы распознавать новые типы вещей и получать интересные результаты.
  
  
• 00:10:00 В этом разделе Джефф Клун обсуждает алгоритм под названием Map Elite и его место в области алгоритмического поиска. Он объясняет, что многие сложные проблемы требуют исследования и открытия новых вещей, а не просто оптимизации для достижения цели, и что это должно быть отражено в алгоритмах. Клун и его коллеги работали над новой областью под названием «Алгоритмы качественного разнообразия», целью которой является поиск большого и разнообразного набора решений, максимально подходящих для этого типа решения. Алгоритм стремится переключаться между целями при выполнении другой задачи, полагая, что это может быть единственным способом решения действительно сложных задач.
  
  
• 00:15:00 В этом разделе Джефф Клун, исследователь, работающий на стыке биологии и искусственного интеллекта, описывает алгоритм Map Elite, который используется для оптимизации решений по некоторым критериям. Клун объясняет, что он и его коллеги применили Map Elite к проблеме робототехники, создав морфологию мягких роботов с помощью генетического алгоритма, что привело к появлению разнообразных существ. Однако команду это не удовлетворило, потому что они поняли, что каждое существо было почти идентичным, а алгоритм производил разнообразие рисунков, только начав новый поиск. Чтобы исправить это, Клун применил алгоритм Map Elite к той же проблеме, на этот раз выбрав количество вокселей и количество конкретного материала в качестве интересующих измерений вместо использования канонического алгоритма оптимизации. Он обнаружил, что алгоритм исследует гораздо более широкое пространство возможностей и в конечном итоге дает гораздо лучшие результаты. Кроме того, Клун описал, как используемое ими кодирование, называемое сетью создания композиционных паттернов (CPPN), имеет решающее значение для решения проблемы, над которой они работали, в следующем разделе.
  
  
• 00:20:00 В этом разделе лекции Джефф Клун обсуждает выбор кодировки в алгоритмах глубокого обучения и эволюции. При прямом кодировании каждая отдельная функция в конечном артефакте представлена числом в векторе параметров, в то время как при генеративном кодировании информация в векторе параметров повторно используется для создания конечного продукта, в результате чего получаются более регулярные или структурированные продукты. Природа использует генеративное кодирование, используя геометрические паттерны для определения судьбы клетки, то есть типа клетки, которой становится каждая клетка, в зависимости от ее местоположения в организме. Этот подход рассматривается как лингва-франка в биологии развития, где уже существующие паттерны объединяются для создания новых паттернов в конечном продукте.
  
  
• 00:25:00 В этом разделе Джефф Клун, исследователь из OpenAI, обсуждает, как эффективно использовать возможности биологии развития для создания открытых систем ИИ. Он предлагает использовать сети создания композиционных паттернов (CPPN), которые абстрагируют большую часть силы природных систем без какой-либо базовой химии, для кодирования геометрических местоположений как функции фенотипических элементов. Предоставляя координаты артефакту для оптимизации фенотипических элементов, таких как нейронная сеть или морфология робота, CPPN могут создавать произвольную сложность за счет смешивания и сопоставления асимметричных, симметричных и повторяющихся тем. Клун и его команда воплотили эту идею в трех измерениях, создав веб-сайт под названием «бесконечные формы».
  
  
• 00:30:00 В этом разделе лекции Джефф Клун обсуждает использование CPPN для автоматизации проектирования и 3D-печати произвольных сложных изображений, демонстрируя возможности этих инструментов для устранения технических барьеров и простого создания творческих проектов. Затем он применяет CPPN к задаче создания открытого алгоритма и оптимизирует их для классификации каждой из тысячи ячеек в ImageNet. Клун описывает, как проверялась гипотеза о лучшей производительности, в результате чего изображения часто выглядели как категория, с которой они были связаны, или вызывали художественную интерпретацию концепции. Несмотря на создание некоторых «обманчивых изображений», этот процесс генерации позволил команде исследовать совершенно новое эстетическое пространство, демонстрируя недостатки, присущие глубоким нейронным сетям, которые привели к враждебным изображениям.
  
  
• 00:35:00 В этом разделе Джефф Клун обсуждает качества разработанного им и его командой алгоритма разнесения, способного генерировать высококачественные разноплановые изображения. Алгоритм создает разнообразный набор изображений, некоторые из которых интересны с эстетической точки зрения и могут использоваться в практических целях, например, в качестве бизнес-логотипов. Он также объясняет, как способность алгоритма переключать цели позволяет возникать адаптивным излучениям, подобным тому, что происходит в биологии и технологических областях. Он дает представление об эволюционных процессах, происходящих в алгоритме, демонстрируя графики и филогенетические деревья, демонстрирующие рождение и эволюцию инновационных идей. Кроме того, он сообщает, что алгоритм и его результаты прошли художественный тест Тьюринга, будучи ошибочно принятыми за искусство, созданное людьми, а не искусственным интеллектом.
  
  
• 00:40:00 В этом разделе Джефф Клун представляет идею алгоритмов качественного разнообразия (QD), которые могут создавать разнообразные решения, которые хорошо работают и имеют возможность переключения целей. Он обсуждает их использование для решения задач, таких как роботы, которые могут адаптироваться к повреждениям, и исследует сложные исследовательские задачи, такие как Месть Монтесумы и Ловушка. Он отмечает, что, хотя у алгоритмов QD есть потенциал для инноваций, они еще не открыты и ограничены окружающей средой. Затем Джефф Клун предлагает идею создания открытых алгоритмов, таких как алгоритм Paired Open-Ended Trailblazer (POET), который может бесконечно создавать интересные, сложные и разнообразные среды обучения и их решения. Алгоритм POET предназначен для создания новых обучающих сред, которые не являются ни слишком простыми, ни слишком сложными для текущей совокупности агентов, оптимизируя агентов для лучшего решения каждой из задач и позволяя переключаться между целями.
  
  
• 00:45:00 В этом разделе Джефф Клун обсуждает концепцию «переключения цели» — способности системы конкурировать в одной среде, прогрессировать, а затем переходить в другую среду. Он показывает алгоритм RL, пересекающий ландшафты, которые автоматически создают все более и более сложные условия. Клун объясняет, что это способ измерения прогресса и преодоления локальных оптимумов. Он представляет алгоритм «поэта» и показывает, что это единственный способ решить сложные проблемы. Он демонстрирует, что поэзия необходима для преодоления локальных оптимумов, как видно из задачи, в которой недавно оптимизированный робот вторгается в старую среду, заменяя предыдущее воплощение. Клун отмечает, что этот тип сложных инноваций может проложить путь для более продвинутых симуляций.
  
  
• 00:50:00 В этом разделе лекции Джефф Клун обсуждает потенциал объединения оптимизации тела с созданием среды для создания существ, оптимизированных для определенных сред, так же, как пауки, живущие в пещерах. Он также предлагает объединить инновационные двигатели, такие как Дали, с алгоритмами, которые изобретают проблему и решение, а затем обнаруживают, что нового интересно в изображениях, видео, музыке или произведенных стихах. Клун упоминает, что его исследовательская группа также занималась нейронаукой искусственного интеллекта — областью, изучающей, насколько глубокие нейронные сети понимают изображения, которые они классифицируют. Они сделали это, синтезируя изображения, которые максимально активировали определенные нейроны, и смогли исследовать понятие пятилапой морской звезды в сети.
  
  
• 00:55:00 В этом разделе лекции Джефф Клун обсуждает эволюцию создания изображений с помощью глубокого обучения от добавления ограничений к созданию естественных изображений до использования глубокого обучения для изучения априорных изображений. С небольшими изменениями алгоритмов каждый генератор создает совершенно разные художественные стили. Нейронные сети действительно понимают, что означает каждый объект в определенном пространстве, таком как пространство естественных изображений, и могут создавать изображения более фотореалистичного качества. Однако в этих естественных пространствах образов создается мало разнообразия. Чтобы преодолеть эту проблему, были введены генеративные сети plug-and-play, которые создают гораздо более широкий спектр разнообразных изображений, чем ранее в глубоком обучении.
  
  
• 01:00:00 В этом разделе лекции Джефф Клун обсуждает прогресс, достигнутый в нейробиологии ИИ, и создание открытых творческих процессов. Он подчеркивает, как ИИ может распознавать и узнавать о понятиях в нашем мире, таких как вулканы или газонокосилка, но он восприимчив к созданию и распознаванию враждебных изображений. Клун рекомендует работу Криса Ола и рассказывает о работе его команды по изучению различных режимов, таких как речь и видео. Он также делится своим воодушевлением по поводу достигнутого прогресса и будущего потенциала в этой области, включая создание синтетических изображений, которые активируют нейроны в мозгу настоящей обезьяны. Клун предполагает, что наука часто производит эстетические артефакты, и как современные инструменты машинного обучения позволяют объединить искусство и науку. Наконец, он рекомендует прочитать работы Кена Стэнли и Джоэла Лемана студентам, заинтересованным в том, чтобы присоединиться к миссии создания бесконечно творческих открытых процессов.
  
  
• 01:05:00 В этом разделе Джефф Клун объясняет, что открытые алгоритмы могут поддерживать достижения в области искусственного интеллекта. Он рекомендует прочитать его статью «Алгоритмы генерации ИИ», в которой исследуется, как эти алгоритмы могут стать путем к созданию общего ИИ. Джефф также призывает исследователей применять эти идеи в различных областях и использовать для этого такие инструменты, как GPT-3 или Dolly. Он предполагает, что изучение низко висящих плодов в различных областях, таких как поэзия или архитектура, может привести к захватывающим достижениям. Джефф также отвечает на вопрос Джозефа об использовании алгоритма Поэта в среде с несколькими агентами и обсуждает возникающие проблемы, такие как сложность измерения производительности агентов в такой среде.

[MetaQuotes]

MIT 6.S192 — Лекция 15: «Креативные сети» Джоэла Саймона

MIT 6.S192 — Лекция 15: «Креативные сети» Джоэла Саймона

В этой лекции Джоэл Саймон исследует свое вдохновение и подходы к творческим сетям, основанным на природных экосистемах. Он демонстрирует потенциал вычислительных способностей в творческом процессе, описывая, как такие методы, как оптимизация топологии, морфогены и эволюционные алгоритмы, могут способствовать появлению невероятных форм и текстур. Саймон также делится подробностями о своем проекте GANBreeder, онлайн-инструменте для обнаружения и изменения изображений с использованием CPPN и GAN, и обсуждает потенциал систем перекрестных рекомендаций в творческом процессе. Саймон с оптимизмом смотрит в будущее технологий и творчества, полагая, что люди могут сотрудничать и оптимизировать функции зданий и создавать нечто большее.

• 00:00:00 В этом разделе Джоэл Саймон рассказывает о своем прошлом и источниках вдохновения для своей творческой сетевой работы. Он обращает внимание на критику Брайаном Ино концепции гениев-одиночек и описывает, как творчество может быть количественно определено как возникающий продукт совместной работы различных сил. Саймон также рассказывает о своем пути к скульптуре, который привел его к изучению и изучению вычислительных способов создания, подчеркивая разницу между цифровым и вычислительным.
  
  
• 00:05:00 В этом разделе Джоэл Саймон описывает свое вдохновение для работы в области вычислительного проектирования и оптимизации топологии, которое он обнаружил во время учебы в колледже. Очарованный способностью оптимизации топологии создавать новые формы, которые никогда не были бы созданы в традиционном смысле, Саймон стремился глубже изучить ее потенциал. Однако он понял, что ему нужно выйти за рамки простых методов оптимизации и включить элементы реальной природы, такие как адаптивность и окружающая среда, которые могли бы позволить зданию расти как дерево, что побудило его проводить эксперименты по генеративной архитектуре. Его работа была основана не только на архитектурном дизайне, но также на использовании методов графового моделирования и эволюции виртуальных существ в качестве вдохновения для повышения сложности и инноваций в вычислительном дизайне.
  
  
• 00:10:00 В этом разделе спикер обсуждает использование информации о паттернах и морфогенов в процессе роста, особенно в отношении реакционной диффузии. Он объясняет, что эти шаблоны можно использовать в искусстве для создания текстуры, и обсуждает CPPN Джеффа, которые используются для отображения простой сети от положения до цвета и преобразования ее в изображение. Чтобы развить эти идеи роста, спикер создал проект «Эволюция инопланетных кораллов», в котором используются морфогены в вершинах трехмерной сетки для управления направлением движения и излучения вершин. Это позволило сочетать эффекты, которые привели к невероятным формам. Цвета кораллов — это оптимизация морфогенов, а не просто создание красивых узоров. Этот проект также демонстрирует идею возможности лепки с помощью сил или целей для управления формами, где форма следует за фитнес-функцией. Докладчик также вкратце коснется идеи экосистем и гипотезы промежуточного нарушения, согласно которой оптимальное разнообразие достигается при среднем уровне нарушения.
  
  
• 00:15:00 В этом разделе Джоэл Саймон обсуждает свое увлечение творческими сетями, основанными на природных экосистемах, и исследует, как эти ландшафты способствуют созданию моделей и манипулированию ими. Он ставит вопрос о том, каково было бы видеть экологический коллапс или как такие нарушения, как инвазивные виды или слияние разных островов, повлияют на экосистему. Саймон был вдохновлен клинописью и идеей каллиграфии как решения многоцелевой проблемы. Чтобы поэкспериментировать с различными методами, Саймон создал специальную нейронную архитектуру, которая генерировала распознавание образов для общения через шумную среду, при этом каждая форма была узнаваемой и взаимно различимой, что привело к появлению разных языков. Позже он модифицировал эту систему, сделав ее одновременно совместной и противоборствующей, создав уникальные наборы для каллиграфии, которые похожи друг на друга, но остаются функциональными по-разному.
  
  
• 00:20:00 В этом разделе Джоэл Саймон обсуждает некоторые из своих генеративных художественных проектов, вдохновленных различными источниками, такими как автопортреты Матисса и «Игра жизни» Конвейса. Он создавал портреты с использованием генетических алгоритмов и исследовал концепцию генеративной архитектуры искусственной жизни. Саймон также рассказывает о том, как он был вдохновлен проектом по выбору заводчиков, который включал использование нейронной сети для создания изображений существ, которые затем выборочно размножались для создания новых и интересных дизайнов.
  
  
• 00:25:00 В этом разделе спикер обсуждает свое вдохновение для создания GANBreeder, онлайн-инструмента для обнаружения и изменения изображений с использованием CPPN и GAN. Он был вдохновлен идеей о том, что величие нельзя спланировать, и его заинтриговало врожденное чувство интереса к людям, которое могло помочь улучшить алгоритмы, используемые в этом инструменте. Он углубляется в GAN и признает, что скрытые векторы GAN обладают необходимым свойством, позволяющим использовать их для кроссовера, что позволяет изображениям детей напоминать обоих родителей. Спикер рассказывает о различных видах творчества и заявляет, что его инструментом была комбинаторная вещь, в которой он объединил BigGAN с Picbreeder для создания GANBreeder. Он также обсуждает три способа, с помощью которых GANBreeder позволяет пользователям создавать изображения, а именно: получение случайных детей, смешивание двух изображений вместе и редактирование генов изображения.
  
  
• 00:30:00 В этом разделе лекции Джоэл Саймон обсуждает творческий процесс с точки зрения этапов исследования, которые варьируются от открытых до преднамеренных с градиентом между ними. Упоминаются биологические параллели, такие как бесполое размножение, половое размножение и четкость, как разные способы создания и создания образов. Затем Саймон приводит пример созданного им изображения вместе с составляющими его генами, подчеркивая важность интерактивного совместного исследования, поскольку люди не могут мыслить в 128 измерениях. Саймон завершает мысль о том, что ArtBreeder можно использовать в качестве инструмента для поиска идей и вдохновения, и упоминает недавнюю функцию, которая позволяет пользователям создавать свои собственные гены, актуальные для тех, кто интересуется машинным обучением.
  
  
• 00:35:00 В этом разделе Саймон описывает, как его проект Ganbreeder использует преимущества экосистемы краудсорсинга тегов изображений. Собирая образцы тонкого свойства изображений, пользователи могут превратить его в инструмент или фильтр, позволяющий создавать более мощные гены. Проект начинался как простая сетка изображений с подсказкой, какое изображение наиболее интересно. Однако пользователи использовали Ganbreeder неожиданным образом, например, загружали фотографии для раскрашивания исторических фигур, делали платья или даже закрашивали персонажей. Саймон подчеркивает, что на самом деле эксперимент был интерфейсом, а не ганом, поскольку они действительно должны были работать вместе, чтобы заставить его работать.
  
  
• 00:40:00 В этом разделе видео Джоэл Саймон обсуждает потенциальные возможности создания инструмента системы перекрестных рекомендаций, который использует скрытые параметры вариации, которые в настоящее время не используются в существующих механизмах рекомендаций. Он приводит пример, когда не может указать, присутствуют ли тексты в песнях, когда он работает, предполагая, что если бы системы рекомендаций могли помочь таким пользователям, как он, создать инструмент, учитывающий эти аспекты вариаций, они могли бы давать гораздо более сильные рекомендации. . Саймон также исследует идею собственности и сотрудничества в творческих инструментах, описывая интерактивное художественное шоу, которое он курировал, где никто не «владел» искусством, потому что оно было создано совместно многими людьми.
  
  
• 00:45:00 В этом разделе Джоэл Саймон обсуждает ограничения человеческого мышления по сравнению с потенциалом вычислительных способностей в творческом процессе. У людей есть определенные предубеждения в отношении нашего мышления, в том числе мышление в виде четких иерархий, наличие рутины и отказ от сложных перекрытий. Саймон обсуждает, как содействие сотрудничеству, исследованиям, использованию новых средств и метафор могут привести к новым творческим процессам. Диалоги между креативным директором и художником необходимы в этом процессе, когда режиссер направляет творчество художника. Саймон с оптимизмом смотрит в будущее вычислений и творчества и считает, что люди будут использовать этот инструмент для создания новых произведений искусства, которыми мы будем делиться с другими людьми, а не заменять художников и креативщиков.
  
  
• 00:50:00 В этом разделе Джоэл Саймон обсуждает творчество и ошибочное представление о том, что технологические достижения заменят художников. Он считает, что такие достижения только делают творческое самовыражение более доступным для всех, и заявляет, что творчество — это врожденная человеческая потребность и самоцель. В заключение Саймон предлагает концепцию морфогенетического дизайна, которая адаптирует естественный процесс размножения и использует биомимикрию для создания совместных процессов проектирования за пределами человеческих когнитивных способностей. Он подчеркивает, что люди являются частью более крупной творческой соединительной ткани, и вдохновение для проектов черпается из этой более крупной системы.
  
  
• 00:55:00 В этом разделе Джоэл Саймон рассказывает о своем оптимистичном видении будущего технологий в построении экосистемы зданий, которые гармонично сочетаются друг с другом как сложная экосистема. Он считает, что с помощью новых метафор и методов люди могут сотрудничать и оптимизировать функции этих зданий непостижимым образом. Хотя у технологий есть свои плюсы и минусы, позитивный взгляд Саймона на диалог между машинами и людьми дает представление о будущем, в котором технологии могут объединить людей для создания чего-то большего.