Машинное обучение и нейронные сети - страница 21

[MetaQuotes]

AlphaZero с нуля — учебник по машинному обучению

AlphaZero с нуля — учебник по машинному обучению

00:00:00 - 01:00:00 Видео «AlphaZero с нуля — Учебное пособие по машинному обучению» учит пользователей, как создавать и обучать алгоритм AlphaZero с использованием Python и PyTorch, чтобы играть в сложные настольные игры на сверхчеловеческих уровнях, с примерами, приведенными для Tic-tac-toe (крестики-нолики) и Connect 4. Одним из ключевых компонентов алгоритма является поиск по дереву Монте-Карло, который включает в себя выбор наиболее многообещающего действия, расширение дерева и моделирование игры, а результаты используются для обучения. В учебном пособии демонстрируется расширение узлов во время алгоритма исследования Монте-Карло, процесс самостоятельной игры и обучение модели с использованием функций потерь, которые минимизируют разницу между политикой и распределением MCTS, а также значением и окончательным вознаграждением. Видео заканчивается созданием игры в крестики-нолики и ее тестированием в цикле while.

01:00:00 - 02:00:00 В этом разделе руководства по сборке AlphaZero с нуля инструктор демонстрирует реализацию алгоритма поиска по дереву Монте-Карло (MCTS) для игры Крестики-нолики. Алгоритм реализуется через новый класс для MCTS, который включает метод поиска, определяющий цикл повторяющихся итераций для фаз выбора, расширения, моделирования и обратного распространения. В видео также рассказывается о реализации архитектуры нейронной сети AlphaZero, которая включает в себя две головки, одну для политики и одну для значения, и использует остаточную сеть с пропуском соединений. Заголовок политики использует функцию softmax, чтобы указать наиболее многообещающее действие, а заголовок значения дает оценку того, насколько хорошим является текущее состояние. Спикер также обсуждает реализацию стартового блока и магистрали для класса ResNet и объясняет, как использовать модель AlphaZero для получения политики и значения для заданного состояния в крестики-нолики.

02:00:00 - 03:00:00 Учебник "AlphaZero с нуля" демонстрирует построение алгоритма AlphaZero с помощью машинного обучения. Докладчик затрагивает широкий круг тем: от обновления алгоритма MCTS, самостоятельных игр и методов обучения до таких улучшений, как добавление температуры в распределение вероятностей, снижение веса и поддержка графического процессора в модели, а также добавление шума в корневой узел. Учебное пособие шаг за шагом проводит зрителя через реализацию этих функций, показывая, как кодировать состояние узла, получать политику и выходные данные значений, а также настраивать политику с помощью softmax, действительных перемещений и случайного шума Дирихле, чтобы добавить исследование, обеспечивая при этом многообещающие действия не пропускаются.

03:00:00 - 04:05:00 В этом учебном пособии YouTube по созданию AlphaZero с нуля с использованием машинного обучения инструктор охватывает различные темы, такие как добавление исследования в политику с коэффициентом шума, включение поддержки ЦП и ГП для обучения моделей на более сложные игры, обновление исходного кода для создания игры Connect Four, повышение эффективности реализации AlphaZero за счет распараллеливания, создание двух новых классов на Python для самостоятельных игр, кодирование состояний для повышения эффективности, реализация алгоритма поиска по дереву Монте-Карло для AlphaZero и обучение модели для Connect Four с использованием распараллеленного fs0. Учебное пособие содержит пошаговые инструкции по каждой теме с упором на создание эффективной и действенной реализации AlphaZero. Ведущий демонстрирует, как создать среду Connect Four с помощью пакета окружений Кегеля, затем запускает и визуализирует игру с двумя агентами, использующими алгоритм поиска MCTS на основе обученной модели AlphaZero. Ведущий также вносит небольшие исправления в код и определяет первого игрока как агента, используя алгоритм MCTS для прогнозов на основе обученной модели. Учебное пособие заканчивается тем, что ведущий предоставляет репозиторий GitHub с блокнотами Jupyter для каждой контрольной точки и папку с весами с последней моделью для крестиков-ноликов и Connect Four, выражая заинтересованность в создании дополнительного видео о Mu Zero, если таковое имеется. интерес к этому.

Часть 1

• 00:00:00 В этом разделе учебник знакомит с концепцией AlphaZero, алгоритма искусственного интеллекта, который использует методы машинного обучения, чтобы научиться играть в сложные настольные игры на сверхчеловеческих уровнях. Алгоритм изначально был разработан DeepMind и может достигать впечатляющих результатов в таких играх, как го, и даже изобретать новые алгоритмы в математике. В этом учебном пособии пользователи научатся создавать AlphaZero с нуля с помощью Python и PyTorch, а также обучать и оценивать его на таких играх, как крестики-нолики и Connect 4. Алгоритм состоит из двух компонентов: самостоятельной игры и обучения, и использует нейронную сеть для создать политику и значение на основе входного состояния. Повторяя этот цикл, алгоритм может оптимизировать себя, чтобы играть в игру лучше, чем люди.
  
  
• 00:05:00 В этом разделе видео объясняет поиск по дереву Монте-Карло, алгоритм поиска, используемый для самостоятельной игры, и общий алгоритм. Он принимает состояние, в данном случае позицию блока, и находит наиболее перспективное действие, строя дерево в будущее. Каждый узел хранит состояние и общее количество выигрышей, достигнутых при игре в этом направлении в будущем, а также общее количество посещений. Коэффициент выигрыша дочерних узлов каждого узла используется для определения наиболее многообещающего действия, и эта информация может использоваться в реальной игре, такой как крестики-нолики. Данные для узлов генерируются путем обхода дерева на этапе выбора до конечного узла, который можно расширить дальше.
  
  
• 00:10:00 В этом разделе спикер обсуждает различные этапы поиска по дереву Монте-Карло (MCTS) для игры. Фаза выбора включает в себя выбор дочернего узла, который имеет более высокую формулу UCB и посещался относительно мало раз. Фаза расширения включает в себя создание нового узла и добавление его в дерево, а фаза симуляции включает в себя игру в случайном порядке, пока не будет достигнут конечный узел. На этапе обратного распространения результаты, полученные на этапе моделирования, распространяются вверх по дереву, обновляя число побед и посещений для каждого узла.
  
  
• 00:15:00 В этом разделе видео инструктор демонстрирует пример процесса поиска по дереву Монте-Карло (MCTS), начиная с фазы выбора, когда алгоритм проходит по дереву, чтобы выбрать следующий узел. Затем они переходят к фазе расширения, на которой создается новый узел, а затем следует фаза симуляции, на которой предпринимаются случайные действия для достижения конечного узла. Затем алгоритм проверяет, была ли игра выиграна, проиграна или нарушено правило. Поскольку игра была выиграна, выполняется обратное распространение, обновляя количество побед и посещений для узлов, пройденных в процессе MCTS. Процесс повторяется с новой фазой выбора и фазой расширения, с созданием нового узла и повторным выполнением фазы симуляции.
  
  
• 00:20:00 В этом разделе учебник описывает процесс моделирования и обратного распространения в алгоритме MCTS с использованием AlphaZero. Пример, представленный в этом руководстве, показывает потерю на этапе моделирования. При обратном распространении увеличивается только количество посещений, а общее количество побед остается прежним, поскольку ИИ проиграл игру во время симуляции. Затем учебник переходит к объяснению процессов выбора и расширения MCTS с использованием AlphaZero. В учебнике показано, как рассчитать балл UCB для каждого ребенка и как выбрать ребенка с наивысшим баллом. Затем процесс повторяется, когда ИИ вычисляет формулу UCB для каждого узла, пока не достигнет конечного узла, где происходит расширение.
  
  
• 00:25:00 В этом разделе руководства основное внимание уделяется тому, как метод исследования Монте-Карло меняется, когда он адаптируется к алгоритму General AlphaZero. В алгоритм внесены два важных изменения. Во-первых, политика, полученная из модели, включается в фазу выбора путем обновления формулы UCB информацией о политике. Во-вторых, фаза моделирования исключается, а значение, полученное от нейронной сети, используется для обратного распространения вместе с политикой для фазы выбора. С этими изменениями метод исследования Монте-Карло может значительно улучшиться, когда есть модель, которая понимает, как играть в игру.
  
  
• 00:30:00 В этом разделе видео «AlphaZero с нуля — Учебное пособие по машинному обучению» ведущий вносит небольшое изменение, чтобы расширить возможные направления масла на этапе расширения, чтобы можно было создать все возможные узлы, а не только один новый узел. Затем они проводят итерации на доске, чтобы показать, как адаптируется многоцветное исследование. На этапе расширения новые узлы создаются путем вызова нейронной сети для получения политики и значения и добавления к узлам количества побед, количества посещений и информации о политике. Затем, на этапе обратного распространения, значение распространяется обратно. Докладчик упоминает формулу UCB и отмечает, что вероятность выигрыша не может быть рассчитана для узлов с нулевым количеством посещений, что необходимо устранить, чтобы избежать ошибки деления на ноль.
  
  
• 00:35:00 В этом разделе урока спикер объясняет процесс расширения узлов во время алгоритма исследования Монте-Карло. Алгоритм используется для определения лучшего хода для данного состояния в игре. Докладчик приводит пример того, как расширяются узлы и как вычисляются политика и значение для каждого дочернего узла. Также объясняется процесс обратного распространения значения нового дочернего узла на корневой узел. Затем учебник переходит к объяснению процесса самостоятельной игры, когда игра ведется алгоритмом против самого себя, начиная с пустого состояния, и с использованием исследования Монте-Карло для определения наилучшего хода на основе распределения количества посещений детей. корневой узел.
  
  
• 00:40:00 В этом разделе мы увидим, как обучить модель с помощью поиска по дереву Монте-Карло (MCTS). Цель состоит в том, чтобы сохранить всю информацию, полученную во время игры, включая распределение MCTS и вознаграждение за каждое состояние. Награда зависит от окончательного результата игры для игрока в этом состоянии. После того, как мы собрали данные, мы используем их для обучения модели с использованием функции потерь, которая минимизирует разницу между политикой и распределением MCTS, а также значением V и окончательным вознаграждением Z. Мы делаем это, используя обратное распространение для обновления весов модель Тета. В целом, этот процесс помогает модели лучше понять, как играть в игру, и оптимизировать ее.
  
  
• 00:45:00 В этом разделе видеоруководство по созданию AlphaZero с нуля с использованием машинного обучения начинается с создания блокнота Jupyter и создания простой игры в крестики-нолики с количеством строк и столбцов, а также размером действия. . Затем в учебнике описываются методы получения начального состояния, следующего состояния после выполнения действия и разрешенных ходов. Ввод действия кодируется в формате строки и столбца для использования в массиве NumPy. Код написан так, чтобы быть гибким для решения различных сред или настольных игр, с планами расширения до Connect Four.
  
  
• 00:50:00 В этом разделе ютубер пишет метод, который будет проверять, выиграл игрок или нет после его хода. Они начинают с получения строки и столбца хода, а затем определяют игрока, который сделал этот ход. Затем они проверяют все возможные способы выиграть в крестики-нолики, а именно три в ряд, три в столбец и две диагонали, используя методы np.sum и np.diac. Кроме того, они проверяют ничью, вычисляя сумму допустимых ходов и проверяя, равна ли она нулю. Наконец, они создают новый метод с именем get value и завершают его, возвращая значение и true, если игра закончилась.
  
  
• 00:55:00 В этом разделе автор пишет игру Крестики-нолики и метод оппонента для смены игрока. Они тестируют игру, запуская ее и используя цикл while. В цикле печатаются состояние и допустимые ходы, и пользователю предлагается ввести свой ход. Игра проверяет, допустимо ли действие и завершена ли игра. Если игра продолжается, игрок переворачивается. Если значение равно единице, игрок выигрывает, а если была ничья, то она будет напечатана.

Часть 2

• 01:00:00 В этом разделе руководства по созданию AlphaZero с нуля с использованием машинного обучения инструктор начинает с выбора крестиков-ноликов в качестве игры для демонстрационных целей. Создается новый класс для многоцветных исследований (MCTS), который инициализируется игрой и гиперпараметрами в качестве аргументов. В этом классе метод поиска определяется циклом для повторяющихся итераций фаз выбора, расширения, моделирования и обратного распространения, в конечном итоге возвращая распределение количества посещений дочерних узлов корневого узла. Затем для узла определяется класс с такими атрибутами, как состояние игры, родитель, предпринятое действие, дочерние элементы и количество посещений. Корневой узел также определяется игрой, гиперпараметрами, начальным состоянием и None для родительского элемента и заполнителей предпринятых действий.
  
  
• 01:05:00 В этом разделе видео демонстрирует процесс выбора узлов в дереве во время игры в алгоритме AlphaZero. Определяется метод определения того, полностью ли расширен узел, используя информацию о количестве расширяемых перемещений и о том, не завершен ли узел. На этапе выбора алгоритм выбирает вниз, пока узел полностью расширен. Для выбора алгоритм перебирает все дочерние элементы узла, вычисляет оценку UCB для каждого дочернего элемента, а затем выбирает дочерний элемент с наивысшей оценкой UCB. Оценка UCB рассчитывается с использованием значения Q, константы C для исследования или эксплуатации и логарифмической функции. Значение Q определяется как сумма посещений ребенка, деленная на его количество посещений, с корректировками, сделанными для обеспечения того, чтобы значение Q находилось в диапазоне от 0 до 1.
  
  
• 01:10:00 В этом разделе видеоруководство описывает процесс выбора AlphaZero. Код выбирает дочерний элемент с очень отрицательным или низким значением, так как его выбор поставит оппонента в затруднительное положение. Затем значение Q дочернего элемента инвертируется, чтобы дать родительскому элементу значение Q, близкое к 1. Таким образом, дерево обрабатывается таким образом, что дочерний элемент находится в плохом положении. В видео рассматриваются шаги по реализации этих изменений в коде и объясняется важность проверки того, является ли окончательно выбранный узел терминальным или нет. Кроме того, добавлен новый метод для учета перспективы игры в атрибуте получения значения.
  
  
• 01:15:00 В этом разделе руководства по созданию AlphaZero с нуля с использованием машинного обучения инструктор объясняет, как проверить, является ли узел конечным, выполнить обратное распространение и выполнить расширение и моделирование. Выбирая одно расширяемое перемещение из определенных, создается новое состояние для дочернего элемента, и новый узел добавляется к списку дочерних элементов для последующего использования внутри метода выбора. Преподаватель также обсуждает идею переключения состояния для смены игроков, а не для явного определения игроков, что упрощает логику для игр с одним игроком и обеспечивает правильность кода.
  
  
• 01:20:00 В этом разделе спикер создает дочерний узел для игры в крестики-нолики и объясняет метод изменения перспективы. Они устанавливают игрока как -1 для противника и используют умножение, чтобы изменить перспективу. После создания дочернего узла они добавляют его в список дочерних узлов и возвращают его. Затем спикер переходит к обсуждению процесса моделирования, где они используют развертывания для выполнения случайных действий до тех пор, пока не будет достигнут конечный узел и не будет получено значение. Они используют полученное значение для обратного распространения узлов, где игрок узла выиграл, чтобы быть более перспективным.
  
  
• 01:25:00 В этом разделе видео ведущий продолжает построение алгоритма поиска по дереву Монте-Карло (MCTS) для игровой программы AlphaZero. Они показывают, как использовать текущее необработанное состояние для выбора действия, получения следующего состояния и проверки того, является ли это состояние терминальным. Ведущий пишет оператор if, чтобы различать между первым и вторым игроками, получающими положительное значение, когда они выигрывают игру, а затем переходит к написанию метода обратного распространения для обновления значения и количества посещений для каждого узла. Наконец, ведущий создает переменную, которая вычисляет вероятность наиболее многообещающих действий, action_props.
  
  
• 01:30:00 В этом разделе видеоурок показано, как реализовать автономный алгоритм поиска по дереву Монте-Карло (MCTS) для игры Крестики-нолики. В учебнике показано, как перебрать все дочерние элементы и написать реквизиты действий для каждого дочернего элемента. Количество посещений каждого ребенка используется для превращения их в вероятности. Затем сумма вероятностей делится на 1, чтобы преобразовать их в вероятности. Затем создается объект MCTS, и квадратный корень из 2 используется для значения C в формуле UCB. Скрипт тестируется в игре, а алгоритм тестируется в нейтральном состоянии. Затем используется дерево MCTS вместе с лучшей дочерней функцией, чтобы вернуть дочерний элемент, который посещался чаще всего.
  
  
• 01:35:00 В этом разделе обсуждается архитектура нейросети для алгоритма AlphaZero. Состояние, переданное в качестве входных данных для нейронной сети, представляет собой позицию на доске, закодированную в трех разных плоскостях для положительного игрока, отрицательного игрока и пустых полей. Эта кодировка позволяет распознавать закономерности и понимать, как играть в игру. Используемая архитектура нейронной сети представляет собой остаточную сеть с пропуском соединений для хранения начального значения X и получения выходных данных в виде суммы выходных данных сверточных блоков и начального значения X. Модель разделена на две части: заголовок политики и заголовок значения, и для случая крестиков-ноликов в заголовке политики есть девять нейронов, по одному для каждого потенциального действия.
  
  
• 01:40:00 В этом разделе спикер объясняет архитектуру нейросети AlphaZero с нуля. В сети есть две «головы», одна для политики, а другая для ценности. Голова политики имеет девять нейронов, и выходные данные применяются с функцией soft-max, чтобы превратить их в распределение вероятностей, указывающее, насколько многообещающим является определенное действие. Головка значения имеет только один нейрон и использует 10-часовую функцию активации, чтобы сжать все потенциальные значения в диапазоне от отрицательного до положительного, давая оценку того, насколько хорошим является текущее состояние. Код создается внутри блокнота Jupyter с использованием среды глубокого обучения PyTorch. Модель включает в себя начальный блок и основу сверточных остаточных блоков, и каждый блок содержит сверточный слой, за которым следуют два слоя пакетной нормализации и функция активации ReLU.
  
  
• 01:45:00 В этом разделе спикер обсуждает создание начального блока для модели AlphaZero, который включает в себя создание блока conf 2D, блока пакетной нормы и блока значений. Они также создали основу для модели, используя массив блоков отдыха, и создали класс для блоков отдыха. Остальные блоки состоят из блока conf, блока норм пакета и другого блока conf, которые используются для обновления ввода с использованием пропущенных соединений. Прямой метод определен для подачи входных данных через блоки конфигурации и добавления результирующего вывода к остатку.
  
  
• 01:50:00 В этом разделе спикер проходит код создания остаточной сети (ResNet) для алгоритма AlphaZero с нуля. Они показывают, как создать основу ResNet, перебирая остаточные блоки для указанного количества скрытых слоев. Затем они создают заголовок политики и заголовок значения, используя nn.sequential и определяя слои в последовательности. Наконец, выступающий показывает, как определить прямой метод для класса ResNet, передавая входные данные через начальный блок, перебирая остаточные блоки и возвращая сумму в конце.
  
  
• 01:55:00 В этом разделе спикер объясняет, как использовать модель AlphaZero для получения политики и значения для заданного состояния в крестики-нолики. Он пишет код для получения политики и значения путем передачи тензорного состояния через модель, а затем сглаживает политику и получает элемент значения. Он также объясняет важность кодирования состояния в правильном формате и добавления пакетного измерения к тензору.

Часть 3

• 02:00:00 В этом разделе спикер показывает, как преобразовать тензор политики в число с плавающей запятой с помощью метода точечного элемента, а затем применить функцию softmax для выбора действий с наибольшей вероятностью. Затем спикер визуализирует распределение политики с помощью Matplotlib, чтобы показать, где играть. Затем спикер устанавливает начальное значение для Torch, чтобы обеспечить воспроизводимость, и обновляет алгоритм MCTS, предоставляя входные данные модели ResNet для прогнозирования значения и политики на основе состояния конечного узла. Часть моделирования удаляется, а значение, полученное из модели, используется для обратного распространения.
  
  
• 02:05:00 В этом разделе видео ведущий демонстрирует, как закодировать состояние узла игры в крестики-нолики и превратить его в тензор с помощью torch.tensor, чтобы передать его в качестве входных данных для модели. Политику, состоящую из логитов, нужно превратить в распределение вероятностей с помощью torch.softmax. Докладчик также объясняет, как маскировать недопустимые перемещения с помощью политики и допустимых ходов, а также как изменить масштаб политик, чтобы они представляли проценты. Значение извлекается из заголовка значения вызовом value.item(). Кроме того, докладчик показывает, как использовать политику для расширения и значение для обратного распространения в случае, если узел является конечным узлом.
  
  
• 02:10:00 В этом разделе видеоурока по построению AlphaZero с нуля с помощью машинного обучения спикер объясняет, как обновить методы расширения и формулы UCB. Метод расширения обновлен, чтобы немедленно расширяться во всех возможных направлениях и сохранять вероятность внутри объекта узла для последующего использования в формуле UCB во время выбора. В новой формуле UCB используется формула, отличная от стандартного многоцветного исследования, и спикер демонстрирует, как удалить math.log и добавить единицу к подсчету посещений ребенка. Эти обновления позволяют использовать метод UCB для дочернего элемента, который ранее не посещался.
  
  
• 02:15:00 В этом разделе инструктор обновляет MCTS с помощью политики прав ребенка для выбора ходов и проверяет ее, запустив игру. Затем они переходят к построению основного алгоритма AlphaZero, определяя класс AlphaZero, который принимает модель, оптимизатор, игру и другие аргументы. Они также определяют методы самостоятельной игры и обучения и создают цикл, который повторяет несколько циклов игры, сбора данных, обучения модели и ее повторного тестирования. Инструктор также создает класс памяти для хранения тренировочных данных и повторяет каждую самостоятельную игру в тренировочном цикле.
  
  
• 02:20:00 В этом разделе видеоруководства ведущий просматривает код цикла самостоятельной игры и обучения для AlphaZero. В них рассказывается, как расширить новые данные, полученные методом самостоятельного воспроизведения, в список памяти и как изменить режим модели на режим оценки, чтобы избежать пакетных ручек во время воспроизведения. В цикле обучения также подробно описано, как вызвать метод обучения и сохранить веса модели. Наконец, объясняется метод самостоятельной игры, включая определение новой памяти, создание начального состояния и повторение игрового процесса, а также проверку конечных состояний и возврат данных в память в формате кортежа.
  
  
• 02:25:00 В этом разделе видеоурока рассказывается, как сохранить нейтральное состояние, реквизиты действий и информацию об игроке в памяти, чтобы использовать их позже для сбора данных обучения. В этом руководстве показано, как выбрать действие из реквизитов действия с помощью функции NumPy random.choice, а затем воспроизвести на основе этого действия. В видео также рассказывается, как проверить, завершено состояние или нет, и если да, то как вернуть окончательный результат для каждого экземпляра, в котором играл игрок. Наконец, в учебнике показано, как добавить нейтральное состояние, реквизиты действия и результат к переменной памяти и как получить эти данные позже для обучения.
  
  
• 02:30:00 В этом разделе учебника «AlphaZero с нуля» код обновлен, чтобы сделать его более общим, заменив отрицательные значения значениями, воспринимаемыми противником для разных игр. Визуализация циклов улучшена за счет использования пакета tqdm и путей выполнения. Реализация AlphaZero тестируется путем создания экземпляра класса с моделью реснета, оптимизатором Адама и конкретными аргументами. В качестве примера используется игра «Крестики-нолики» с 4 блоками отдыха и скрытым измерением 64. Задаются константа исследования, количество поисков, итераций, самостоятельных игр и эпох, а модель сохраняется для использования в будущем. .
  
  
• 02:35:00 В этом разделе руководства метод обучения реализуется внутри реализации AlphaZero путем перетасовки обучающих данных и циклического перебора всей памяти в пакетах для выборки пакета различных образцов для обучения. Состояния, реквизиты MCTS и окончательные награды получаются из выборки путем вызова метода zip для транспонирования списка кортежей в списки массивов MP. Затем они заменяются массивами NP, а целевые значения изменяются таким образом, чтобы каждое значение находилось в своем собственном подмассиве для лучшего сравнения с выходными данными модели.
  
  
• 02:40:00 В этом разделе руководства создатель видео обсуждает, как преобразовать состояние, целевые политики и целевые значения в тензоры с помощью torch.float32, чтобы получить политику вывода и значение вывода из модели с помощью позволяя ему предсказать состояние. Далее они определяют потери политики и потери стоимости, которые они используют для расчета суммы обоих потерь, чтобы минимизировать общие потери из-за обратного распространения. Затем они демонстрируют процесс обучения, используя размер пакета по умолчанию, равный 64, с индикаторами выполнения, которые показывают итерации процесса обучения. После обучения модели в течение 3 итераций они загружают статическую модель, чтобы проверить, что нейронная сеть узнала об игре.
  
  
• 02:45:00 В этом разделе видеоурока ведущий демонстрирует, как использовать модель нейронной сети для игры и проверки ее способности предсказывать, куда делать ходы. Запустив симуляцию в поиске MCTS, модель может предоставить распределение того, где играть, и прогноз стоимости для данного состояния. Докладчик также добавляет в алгоритм поддержку графического процессора, чтобы ускорить его во время обучения и тестирования. Докладчик показывает, как объявить устройство и передать его модели в качестве аргумента, чтобы использовать графический процессор Nvidia, если он доступен. Кроме того, модель перемещается на устройство во время самостоятельной игры и обучения для оптимизации скорости.
  
  
• 02:50:00 В этом разделе спикер обсуждает несколько твиков, которые можно добавить в AlphaZero для повышения его производительности. Во-первых, они добавляют модели снижение веса и поддержку графического процессора. Далее вводят понятие температуры, позволяющее более гибко распределять вероятности при выборочных действиях. Более высокая температура ведет к большему исследованию, а более низкая температура ведет к большей эксплуатации. Наконец, спикер предлагает добавить шум к исходной политике, данной корневому узлу в ходе исследования методом Монте-Карло. Эти настройки могут значительно улучшить результаты алгоритма AlphaZero.
  
  
• 02:55:00 В этом разделе руководства по созданию AlphaZero с нуля с помощью машинного обучения основное внимание уделяется добавлению шума в корневой узел, чтобы включить случайность и исследовать больше, а также убедиться, что ни одно многообещающее действие не будет упущено. Это достигается путем получения политики и значения путем вызова save.model и использования torch.tensor и устройства модели для состояния. Затем политика настраивается с помощью softmax и умножается на допустимые ходы, чтобы замаскировать незаконные ходы. Случайный шум Дирихле добавляется к политике путем умножения старой политики на коэффициент, меньший единицы, и добавления этого коэффициента к другому коэффициенту, умноженному на случайный шум. Таким образом, политика изменяется, чтобы позволить больше исследований, особенно в начале, когда модель мало что знает об игре.

Часть 4

• 03:00:00 В этом разделе видеоурока основное внимание уделяется добавлению исследования в политику с использованием коэффициента шума. Изменяя политику, бот может расставлять приоритеты для действий, которые не выбирались часто, увеличивая исследование. В видео рассказывается, как скорректировать уравнение для политики и использовать значение альфа-канала в качестве входных данных для функции дирихле случайных точек NP, которая изменяет способ случайного распределения в зависимости от количества различных действий в игре, поэтому альфа-канал может изменяться в зависимости от окружающей среды. Также описана политика расширения корневого узла, обеспечивающая обратное распространение узла (счетчик посещений установлен на единицу) после расширения, чтобы априор согласился с выбором дочернего элемента в начале исследования методом Монте-Карло.
  
  
• 03:05:00 В этом разделе руководства инструктор добавляет поддержку ЦП и ГП для обучения моделей в более сложных играх, таких как Connect Four. Они определяют устройство с помощью torch.device() и проверяют, используется ли torch.cuda.is_available(), чтобы решить, использовать ли устройство CPU или CUDA. Они также добавляют устройство в стек состояния тензора и в загрузку статического файла. Инструктор обучает и тестирует модель в игре «Крестики-нолики» и показывает, что модель научилась распознавать неправильные движения. Затем они определяют игру «Соедини четыре» с количеством строк, количеством столбцов и размером действия.
  
  
• 03:10:00 В этом разделе видеоруководство демонстрирует обновление исходного кода для создания игры Connect Four. Игра инициализируется пустым массивом и сохраненной точкой в переменной строки, равной четырем, для количества камней, необходимых для победы. Метод получения следующего состояния обновляется, чтобы получить строку, просматривая заданный столбец, а затем находя самое глубокое пустое поле в этом столбце, чтобы поместить камень. Метод получения действительных ходов обновлен, чтобы проверить верхнюю строку на наличие доступных ходов. Метод проверки на выигрыш скопирован из игры «Крестики-нолики» с изменениями для проверки обеих диагоналей, а метод получения следующего состояния обновлен для использования переменной действия вместо переменной столбца. Обновленный код тестируется, чтобы убедиться, что он работает.
  
  
• 03:15:00 В этом разделе спикер заменяет крестики-нолики игрой «Соедини четыре» и устанавливает количество поисков равным 20 для проверки. Размер модели также изменен на 9 для количества блоков отдыха и 128 для скрытого диммера, чтобы модель лучше обучалась. Затем эффективность обучения повышается, так что для сложной среды требуется меньше времени. Затем модель обучается для одной итерации, которая занимает несколько часов. Затем оценочный набор используется для проверки того, научилась ли модель чему-то или нет.
  
  
• 03:20:00 В этом разделе руководства основное внимание уделяется повышению эффективности реализации AlphaZero за счет распараллеливания. План состоит в том, чтобы максимально распараллелить реализацию путем объединения состояний, чтобы получить параллельные прогнозы для политики и значения. Таким образом, количество вызовов модели резко сокращается, что позволяет полностью использовать возможности графического процессора и увеличивает скорость. В руководстве объясняется, как реализовать параллельную версию с помощью Python без использования таких пакетов, как Ray, а новый класс под названием «AlphaZeroParallel» и «MCTSParallel» создается путем копирования исходных классов.
  
  
• 03:25:00 В этом разделе спикер обсуждает создание двух новых классов в Python: `SPG` для хранения информации о самостоятельных играх, и `ParallelMCD`, который реализует методы `save_play` и `search` с использованием новый класс САУ. Класс `SPG` хранит начальное состояние игры, пустой список памяти и переменные `root` и `note`, для которых установлено значение `None`. Класс ParallelMCD также обновляет метод set_play для создания списка экземпляров SPG, используя в качестве входных данных значение game и количество параллельных игр. Затем цикл while запускает метод set_play до тех пор, пока не закончатся все самостоятельные игры, что обеспечивает эффективное распараллеливание.
  
  
• 03:30:00 В этом разделе спикер объясняет, как получить список всех состояний и превратить их в числовой массив для повышения эффективности. Они также показывают, как изменить перспективу для всех состояний, используя один вызов функции для умножения значений на отрицательное значение для игрока, установленного на отрицательное значение. Далее спикер демонстрирует, как передать нейтральные состояния в исследование Монте-Карло, обновить метод поиска исследования Монте-Карло и получить политики на видео, используя все состояния пакета. Наконец, они объясняют, как изменить порядок закодированного состояния для работы с несколькими состояниями, а не только с одним, при вызове метода получения закодированного состояния, и как скопировать этот процесс в игру крестики-нолики.
  
  
• 03:35:00 этот цикл в массив numpy и вместо этого используется векторизация numpy. Затем мы можем применить модель ко всем состояниям в массиве numpy без необходимости перебирать каждое из них, что экономит много времени. Затем мы можем преобразовать выходные данные в исходную форму и продолжить остальную часть поиска MCTS, как обычно. Наконец, мы обновляем статистику для каждой самостоятельной игры и возвращаем корневой узел для выбранного действия. На этом реализация поиска MCTS с политикой и сетью значений с использованием алгоритма AlphaZero завершена.
  
  
• 03:40:00 В этом разделе видео инструктор вносит некоторые изменения в код, чтобы хранить все расширяемые узлы вместо классов SPG. Затем основное внимание уделяется выяснению того, какие безопасные игры можно расширять, а какие нет, путем создания списка для их хранения и получения индекса отображения для каждой безопасной игры. Преподаватель проверяет, есть ли какие-либо расширяемые игры, и если они есть, состояния складываются и кодируются, чтобы позже можно было получить политику и значение.
  
  
• 03:45:00 В этом разделе руководства инструктор объясняет реализацию кода для алгоритма поиска по дереву Монте-Карло для AlphaZero. Они показывают, как использовать расширяемые состояния и не нужно разжимать, сжимать или добавлять шум, а также создавать индекс для получения политики и сопоставления индексов для размещения политик в индексе самостоятельной игры. Узлы расширяются с помощью политики SPG, обратно распространяются с использованием значения точки SPG, а затем вместо использования метода OSF Planet получают реквизиты действия. Инструктор копирует код распараллеливания и вносит изменения для работы с реквизитами действия вместо метода OSF Planet в рамках реализации алгоритма поиска по дереву Монте-Карло для AlphaZero.
  
  
• 03:50:00 В этом разделе видеоруководства основное внимание уделяется обновлению кода для параллельной реализации поиска MCTS. Инструктор подчеркивает важность удаления из списка самостоятельных игр, если они являются терминальными, и обновления состояния путем вызова spg.state вместо класса SPG. Код также изменен, чтобы добавить память к общей региональной памяти и перевернуть игрока после завершения цикла по всем играм с самим собой. Цель состоит в том, чтобы создать гладкую петлю, которая эффективно работает и удаляет круг из списка самостоятельных игр в нужное время.
  
  
• 03:55:00 В этом разделе спикер обсуждает обучение модели для Connect Four с использованием распараллеленной реализации fs0. Модель обучается в течение восьми итераций и оценивает результаты с помощью платы Connect Four. Спикер отмечает, что количество поисков достаточно мало по сравнению с другими поисковыми алгоритмами, используемыми на практике, но результаты удовлетворительные. Они играют против модели и делают какие-то ходы, а модель отвечает соответствующим образом. В целом обучение заняло несколько часов, но итоговая модель хорошо понимает, как играть в игру.

• 04:00:00 В этом разделе руководства ведущий демонстрирует, как создать среду Connect Four с помощью пакета сред Kegel и играть в игру с двумя агентами. Агенты используют алгоритм поиска MCTS, чтобы делать прогнозы на основе обученной модели AlphaZero. Ведущий также вносит небольшие исправления в код, такие как включение пропсов температурного действия в fs03 и использование save.optimizer вместо обычного оптимизатора. Кроме того, ведущий устанавливает температуру на ноль, чтобы всегда получать дугу Max политики, и устанавливает эпсилон отражения на единицу, чтобы добавить в игру некоторую случайность. Наконец, ведущий определяет первого игрока как вычисляемого агента, который использует алгоритм MCTS для прогнозирования на основе обученной модели.
  
  
• 04:05:00 В этом разделе «AlphaZero from Scratch — Учебное пособие по машинному обучению» спикер моделирует игру и аргументы, записывая коды для игрока 1 и игрока 2, что обеспечивает большую гибкость, чтобы попробовать разных игроков. Затем они запускают ячейку и получают визуализацию моделей, играющих друг против друга, что привело к ничьей, поскольку модель может защищаться от всех атак. Они также продемонстрировали, как изменить код для крестиков-ноликов, изменив игру и аргументы и обновив путь, что привело к тому, что модели играли друг против друга снова вничью. Учебное пособие было завершено, и спикер предоставил репозиторий GitHub с блокнотами jupyter для каждой контрольной точки и папку с весами с последней моделью для крестиков-ноликов и Connect Four. Спикер также выразил заинтересованность в создании дополнительного видео о Mu Zero, если оно будет интересно.

[MetaQuotes]

Google в панике из-за ChatGPT [Войны ИИ начались]

Google в панике из-за ChatGPT [Войны ИИ начались]

В видео рассказывается, как Google готовится к тому, что чат-боты станут более мощными, и как это может повлиять на их бизнес-модель. Сообщается, что Microsoft работает над чат-ботом, который позволит пользователям общаться с Bing более по-человечески, и эта функция будет полезна для поиска, где изображений в настоящее время не существует. Microsoft заявила, что они тесно сотрудничают с открытым ИИ, поэтому эта функция не создает явных или неуместных визуальных эффектов. Итак, похоже, что Bing претерпевает капитальный ремонт с интегрированными функциями чата GPT и Dali 2.

• 00:00:00 Google в 1998 году снимал дом рядом с другим домом. Стол для пинг-понга был в другом доме.
  
  
• 00:05:00 В видео рассказывается, как Google обеспокоен тем, что чат-боты станут более мощными, и как это может повредить их бизнес-модели. Сообщается, что Google работает над планом по борьбе с этим, и их соучредители Ларри Пейдж и Сергей Брин были приглашены на встречу для обсуждения проблемы.
  
  
• 00:10:00 В этом видео Google показан как конкурирующий с Microsoft, поскольку последняя инвестирует дополнительные 10 миллиардов долларов в открытый ИИ. Однако это может быть не в интересах движения за открытый ИИ, поскольку может привести к гибели ИИ до того, как он действительно получит шанс начать работу. Сообщается также, что Google работает над 20 проектами искусственного интеллекта, некоторые из которых похожи на чат GPT, что привело к тому, что Microsoft инвестировала в компанию 300 миллионов долларов. Пока неясно, как это будет происходить, но похоже, что Google будет вынужден отложить вопросы безопасности на задний план и выпустить на волю свои продукты с искусственным интеллектом.
  
  
• 00:15:00 В видео рассказывается о слухах о том, что Microsoft работает над чат-ботом, который позволит пользователям общаться более по-человечески. Также упоминается, что эта функция будет полезна для поиска, где изображения в настоящее время не существуют. Наконец, в видео рассказывается о том, как эта интеграция позволит пользователям вводить текст и генерировать изображения, что будет особенно полезно для поиска, где изображений в настоящее время не существует. Microsoft заявила, что они тесно сотрудничают с открытым ИИ, поэтому эта функция не создает явных или неуместных визуальных эффектов. Итак, похоже, что Bing претерпевает капитальный ремонт с интегрированными функциями чата GPT и Dali 2. Когда он будет запущен, он обязательно привлечет всеобщее внимание.

[MetaQuotes]

КОНФЕРЕНЦИЯ ДЖЕНСЕН ХУАНГ (NVIDIA) и ИЛЬЯ СУЦКЕВЕР (OPEN AI).AI СЕГОДНЯ И ВИДЕНИЕ БУДУЩЕГО

КОНФЕРЕНЦИЯ ДЖЕНСЕН ХУАНГ (NVIDIA) и ИЛЬЯ СУЦКЕВЕР (OPEN AI).AI СЕГОДНЯ И ВИДЕНИЕ БУДУЩЕГО

Генеральный директор NVIDIA Дженсен Хуанг и соучредитель OpenAI Илья Суцкевер обсуждают на конференции происхождение и достижения искусственного интеллекта (ИИ). Суцкевер объясняет, как глубокое обучение стало для него понятным, как неконтролируемое обучение посредством сжатия привело к открытию нейрона, соответствующего чувствам, и как предварительное обучение нейронной сети привело к обучению и совершенствованию в сотрудничестве с человеком и ИИ. Они также обсуждают достижения и ограничения GPT-4 и многомодального обучения, а также роль создания синтетических данных и повышения надежности систем ИИ. Несмотря на то, что это одна и та же концепция 20-летней давности, они оба восхищаются прогрессом, достигнутым в исследованиях ИИ.

• 00:00:00 В этом разделе Дженсен Хуанг, генеральный директор NVIDIA, отмечает достижения Илью Суцкевера, соучредителя OpenAI в области искусственного интеллекта. Он спрашивает Илью о своей интуиции в отношении глубокого обучения и о том, как он понял, что это сработает. Илья объясняет, что он интересовался искусственным интеллектом из-за своего интереса к сознанию и его влиянию, и казалось, что прогресс в области ИИ действительно поможет в этом. Он добавляет, что в 2002-2003 годах компьютеры ничему не могли научиться и даже не было ясно, возможно ли это в теории, но обнаружение Джеффа Хинтона, работавшего в области нейронных сетей, обнадежило Илью.
  
  
• 00:05:00 В этом разделе Суцкевер обсуждает происхождение AlexNet и то, как ему стала ясна идея использования обучения с учителем для создания глубокой и большой нейронной сети. Он объясняет, что в то время область машинного обучения не рассматривала нейронные сети и использовала другие методы, которые были теоретически элегантными, но не могли представлять собой хорошее решение. Суцкевер также упоминает прорывной метод оптимизации другого аспиранта, который доказал, что большие нейронные сети можно обучать. Тогда стало ясно, что если большая сверточная нейронная сеть будет обучена на наборе данных ImageNet, она должна добиться успеха. Суцкевер также рассказывает о появлении GPU в лаборатории и о том, как Алексу Крижевскому удалось запрограммировать быстрые сверточные ядра и обучить набор данных нейронной сети, что привело к побитию рекорда компьютерного зрения с таким большим отрывом. Значение этого прорыва заключалось в том, что набор данных был явно сложным и недоступным для классических методов.
  
  
• 00:10:00 В этом разделе Дженсен Хуанг и Илья Суцкевер обсуждают первые дни OpenAI и свои первоначальные идеи о том, как подходить к интеллекту. Еще в 2015–2016 годах эта область все еще находилась в зачаточном состоянии, с гораздо меньшим количеством исследователей и гораздо меньшим пониманием. Первой крупной идеей OpenAI была концепция неконтролируемого обучения посредством сжатия, которая в то время была нерешенной проблемой машинного обучения. Суцкевер считал, что действительно хорошее сжатие данных приведет к неконтролируемому обучению, позволяющему извлечь все скрытые секреты, которые существуют внутри них. Это привело к нескольким работам в OpenAI, включая нейрон настроения, который обнаружил нейрон внутри LSTM, соответствующий его настроению.
  
  
• 00:15:00 В этом разделе Илья Суцкевер обсуждает концепцию обучения без учителя и важность прогнозирования следующего токена в последовательности как достойную цель изучения представления. Он упоминает, что сложность обучения с учителем заключается не в том, где взять данные, а в том, зачем тренировать нейронные сети, чтобы они предсказывали следующий токен. Масштабирование для повышения производительности также было важным фактором в их работе, и обучение с подкреплением было еще одной важной областью внимания, особенно при обучении агента обучения с подкреплением играть в стратегическую игру в реальном времени, DotA 2, чтобы соревноваться с лучшими игроками. в мире.
  
  
• 00:20:00 В этом разделе Илья Суцкевер объясняет процесс предварительного обучения большой нейронной сети для предсказания следующего слова в различных текстах из Интернета, что приводит к обучению сжатого абстрактного представления мира. Однако предварительное обучение не определяет желаемое поведение, которое мы ожидаем от нейронной сети, и именно здесь вступает в действие второй этап тонкой настройки и обучения с подкреплением в результате сотрудничества человека и ИИ. Второй этап важен, потому что именно здесь мы общаемся с нейронной сетью и инструктируем ее, что делать и чего не делать.
  
  
• 00:25:00 В этой секции спикеры обсуждают достижения в технологии искусственного интеллекта, такие как GPT-4, которая всего через несколько месяцев после запуска стала самым быстрорастущим приложением в истории человечества. GPT-4 — это усовершенствование Chat GPT, обеспечивающее более точное предсказание следующего слова в тексте, что приводит к лучшему пониманию текста. Постоянно исследуя и обновляя точность, ИИ стал более надежным и точным в следовании намеченным инструкциям. Кроме того, разговор может устранить двусмысленность до тех пор, пока ИИ не поймет намерения пользователя. Более того, улучшенная производительность GPT-4 во многих областях, таких как баллы SAT, GRE и экзамены на адвоката, среди прочего, замечательна и заслуживает внимания.
  
  
• 00:30:00 В этом разделе спикеры обсуждают текущие ограничения и возможности улучшения мыслительных способностей нейронных сетей, в частности GPT4. Хотя нейронные сети демонстрируют некоторые навыки рассуждения, надежность остается основным препятствием для их полезности. Выступающие предполагают, что попросив нейронную сеть думать вслух и внедрив амбициозные планы исследований, можно повысить надежность и точность. В настоящее время GPT4 не имеет встроенной функции извлечения, но он превосходен в качестве предсказателя следующего слова и может потреблять изображения.
  
  
• 00:35:00 В этом разделе Дженсен Хуанг и Илья Суцкевер обсуждают мультимодальное обучение и его важность. Они объясняют, что мультимодальное обучение, которое включает изучение как текста, так и изображений, полезно для нейронных сетей, чтобы лучше понимать мир, поскольку люди — визуальные животные. Мультимодальное обучение также позволяет нейронным сетям узнавать больше о мире, предоставляя дополнительные источники информации. Они утверждают, что, хотя важно видеть, чтобы понимать такие вещи, как цвет, нейронные сети, работающие только с текстом, все же могут изучать информацию, которую трудно извлечь из одного только текста, подвергаясь воздействию триллионов слов.
  
  
• 00:40:00 В этом разделе Суцкевер и Хуанг обсуждают важность различных источников данных в обучении ИИ, включая визуальные эффекты и аудио. Они касаются идеи мультимодальности и того, как объединение различных источников данных может быть чрезвычайно полезным для изучения мира и визуального общения. Суцкевер также упоминает документ, в котором предполагается, что в мире в конечном итоге закончатся токены для обучения, и как искусственный интеллект, генерирующий собственные данные, может стать возможным решением этой проблемы.
  
  
• 00:45:00 В этой секции спикеры обсуждают роль генерации синтетических данных в обучении и самообучении ИИ. Хотя доступность существующих данных не следует недооценивать, возможность ИИ генерировать собственные данные для обучения и решения проблем — это возможность в будущем. В ближайшем будущем основное внимание будет уделено повышению надежности систем ИИ, чтобы им можно было доверять при принятии важных решений. Потенциал моделей ИИ, таких как GPT-4, для надежного решения математических задач и создания творческого контента впечатляет, но еще предстоит проделать работу, чтобы повысить их точность и ясность в понимании и реагировании на намерения пользователя.
  
  
• 00:50:00 В этом разделе Дженсен Хуанг и Илья Суцкевер обсуждают удивительный успех нейронных сетей в ИИ сегодня. Несмотря на то, что это та же концепция нейронной сети, что и 20 лет назад, она стала более серьезной и интенсивной, поскольку она обучается на больших наборах данных по-разному с одним и тем же фундаментальным алгоритмом обучения. Основополагающие работы Суцкевера по Alexnet и GPT в Open AI — замечательные достижения, и Хуанг восхищается его способностью разобраться в проблеме и описать современное состояние больших языковых моделей. Двое догоняют и восхищаются прогрессом, достигнутым в области ИИ.

[MetaQuotes]

Пришло время обратить внимание на ИИ (ChatGPT и не только)

Пришло время обратить внимание на ИИ (ChatGPT и не только)

В видео обсуждается развитие искусственного интеллекта (ИИ) и то, как он меняет то, как мы работаем и живем. Некоторые люди в восторге от потенциала ИИ, в то время как другие обеспокоены его потенциальными последствиями. Спикер также дает краткое изложение недавнего эпизода подкаста.

• 00:00:00 ChatGPT — это программа искусственного интеллекта, выпущенная в 2022 году и способная генерировать текст, который пытается предсказать, какое следующее слово в предложении будет на основе того, что он видел в своем огромном наборе данных в Интернете. ChatGPT — это улучшенная версия gpt3, которую открытый ИИ называет GPT 3.5. Основное различие между GPT 3.5 и GPT заключается в том, что они добавили человеческую обратную связь во время процесса обучения, что называется контролируемым обучением с подкреплением. По сути, во время обучения несколько версий ответов ИИ ранжировались людьми по качеству от лучшего к худшему, и ИИ получает цифровое вознаграждение, когда улучшает модель. ChatGPT используется начинающими предпринимателями, чтобы задаться вопросом, что будет дальше, поскольку генеральный директор Open AI имеет некоторые интересные идеи о будущем всей отрасли.
  
  
• 00:05:00 ChatGPT — это стартап, созданный для того, чтобы клиентам было проще подавать жалобы, отменять подписки и т. д. Кроме того, ChatGPT может формировать мнения по очень конкретным темам, чего не может сделать ни одна поисковая система. Также говорят, что ChatGPT хорош в кодировании, что обычно не считается навыком, который можно улучшить с помощью ИИ. Хотя у ChatGPT есть много полезных приложений, он все еще находится на ранней стадии, и ему еще предстоит пройти долгий путь, прежде чем его можно будет считать действительно революционной технологией. Тем не менее, потенциальные последствия ChatGPT заслуживают внимания, и вполне вероятно, что в будущем он станет еще более важным.
  
  
• 00:10:00 ChatGPT — это чат-бот, который способен «говорить» по-человечески и использовался для того, чтобы ставить под сомнение этические границы, установленные открытым ИИ. Отмечается, что ChatGPT может быть непредсказуемым и нестабильным, что затрудняет его контроль. Также отмечается, что ChatGPT может сократить количество работников, необходимых в нескольких областях.
  
  
• 00:15:00 Автор обсуждает потенциальное влияние автоматизации на рабочую силу и способы подготовки. Он также обсуждает быстрое развитие ИИ и некоторые прогнозы на ближайшее будущее, о которых следует помнить предпринимателям.
  
  
• 00:20:00 ChatGPT — это новая технологическая платформа, которая будет использоваться для создания моделей будущего, таких как модели медицины или компьютеров. Появится новый набор стартапов, которые будут использовать платформу для настройки существующих крупных моделей для создания моделей, специфичных для отрасли или варианта использования.
  
  
• 00:25:00 В видео обсуждается развитие искусственного интеллекта (ИИ) и то, как он меняет то, как мы работаем и живем. Некоторые люди в восторге от потенциала ИИ, в то время как другие обеспокоены его потенциальными последствиями. Спикер также дает краткое изложение недавнего эпизода подкаста.

[MetaQuotes]

История удивительного потенциала ChatGPT | Грег Брокман | ТЕД

История удивительного потенциала ChatGPT | Грег Брокман | ТЕД

В этом разделе видео Грег Брокман обсуждает роль ИИ в улучшении образования. Он утверждает, что традиционные методы обучения часто бывают неэффективными и неэффективными, поскольку ученики изо всех сил стараются сохранить знания, а учителя изо всех сил пытаются преподавать таким образом, чтобы вовлечь каждого ученика. Брокман предполагает, что ИИ может помочь решить эти проблемы, предоставляя каждому учащемуся персонализированный опыт обучения. С помощью инструментов ИИ можно отслеживать успеваемость учащихся в режиме реального времени, корректируя учебную программу в соответствии с их потребностями и предпочтениями. Это может привести к более увлекательному и эффективному обучению, позволяя учащимся сохранить больше знаний, а учителям сосредоточиться на более важных задачах. Брокман также подчеркивает важность разработки инструментов ИИ с учетом конфиденциальности, гарантируя, что данные учащихся защищены и используются только в образовательных целях.

• 00:00:00 В этом разделе Грег Брокман, генеральный директор OpenAI, продемонстрировал возможности инструмента ИИ под названием Dolly, который создает инструменты для ИИ. Используя этот инструмент с ChatGPT, пользователи могут генерировать изображения и текст для достижения своих целей с помощью унифицированного языкового интерфейса, что позволяет им удалять мелкие детали и проверять их, объединяя их с другими приложениями. Этот новый способ мышления о пользовательском интерфейсе расширит возможности того, что ИИ может делать от имени пользователя, и выведет технологию на новый уровень.
  
  
• 00:05:00 В этом разделе Грег Брокман объясняет, как ИИ обучается использовать инструменты и получать желаемый результат посредством обратной связи. Процесс состоит из двух этапов: во-первых, используется неконтролируемый процесс обучения, когда ИИ показывают весь мир и просят предсказать, что будет дальше в тексте, который он никогда раньше не видел. Второй шаг включает в себя обратную связь с человеком, когда ИИ учат, что делать с этими навыками, пробуя несколько вещей, а человеческая обратная связь предоставляется для усиления всего процесса, используемого для получения ответа. Эта обратная связь позволяет обобщать и применять полученные знания к новым ситуациям. ИИ также используется для проверки фактов и может выдавать поисковые запросы и записывать всю цепочку своих мыслей, что делает более эффективной проверку любой части цепочки рассуждений.
  
  
• 00:10:00 В этом разделе видео Грег Брокман обсуждает потенциал сотрудничества между людьми и ИИ при решении сложных задач. Он показывает пример инструмента проверки фактов, который требует участия человека для получения полезных данных для другого ИИ, демонстрируя, как люди могут обеспечивать управление, надзор и обратную связь, в то время как машины работают надежным и контролируемым образом. Брокман считает, что это приведет к решению ранее неразрешимых проблем, включая переосмысление того, как мы взаимодействуем с компьютерами. Он демонстрирует, как ChatGPT, мощную языковую модель ИИ, можно использовать для анализа электронной таблицы из 167 000 документов ИИ и предоставления информации с помощью исследовательских графиков, демонстрируя потенциал ИИ для помощи в анализе данных и принятии решений.
  
  
• 00:15:00 В этом разделе Грег Брокман обсуждает потенциал ИИ, заявляя, что для его правильного использования потребуется участие каждого в установлении правил и рекомендаций по его интеграции в нашу повседневную жизнь. Он считает, что выполнение миссии OpenAI по обеспечению того, чтобы искусственный интеллект приносил пользу всему человечеству, возможно благодаря грамотности и готовности переосмыслить то, как мы делаем вещи. Брокман признает, что, хотя технология потрясающая, она также пугает, поскольку требует переосмысления всего, что мы делаем в настоящее время. Успех модели chatGPT от OpenAI частично обусловлен их осознанным выбором, противостоянием реальности и поощрением сотрудничества между различными командами. Брокман также приписывает появление новых возможностей росту языковых моделей и принципу эмерджентности, где множество простых компонентов могут привести к сложному эмерджентному поведению.
  
  
• 00:20:00 В этом разделе видео Грег Брокман обсуждает поразительный потенциал способности ChatGPT к обучению и прогнозированию даже в тех областях, которые не были специально обучены машине. Однако он отмечает, что, хотя машина может обрабатывать сложение 40-значных чисел, она часто неправильно решает задачу сложения, когда представлено 40-значное число и 35-значное число. Брокман также подчеркивает важность инженерного качества с машинным обучением, перестраивая весь стек, чтобы убедиться, что каждый элемент спроектирован правильно, прежде чем делать прогнозы. Он признает, что масштабирование такой технологии может привести к непредсказуемым результатам, но верит в развертывание постепенных изменений, чтобы должным образом контролировать и согласовывать намерения машины с нашими. В конечном счете, Брокман считает, что при правильной обратной связи и интеграции с людьми путь к истине и мудрости с помощью ИИ возможен.
  
  
• 00:25:00 В этом разделе Грег Брокман обращается к опасениям по поводу ответственности и последствий для безопасности выпуска искусственного интеллекта (ИИ), такого как GPT, без надлежащих ограждений. Он объясняет, что стандартный план строительства в тайне, а затем надежда на то, что безопасность будет обеспечена должным образом, ужасает и кажется неправильным. Вместо этого он утверждает, что альтернативный подход состоит в том, чтобы выпустить ИИ и позволить людям вносить свой вклад, прежде чем они станут слишком могущественными. Брокман делится историей размышлений о том, хочет ли он, чтобы технология появилась через 5 или 500 лет, и приходит к выводу, что лучше подходить к этому праву с коллективной ответственностью и обеспечивать ограждения для ИИ, чтобы он был мудрым, а не безрассудным.

[MetaQuotes]

Deep Learning в науках о жизни — весна 2021 г.

Массачусетский технологический институт глубокое обучение в науках о жизни — весна 2021 г.

Курс «Глубокое обучение в науках о жизни» применяет машинное обучение к различным задачам наук о жизни и преподается исследователем в области машинного обучения и геномики с преподавательским составом, состоящим из аспирантов и студентов Массачусетского технологического института. Курс охватывает основы машинного обучения, схемы регуляции генов, вариации заболеваний, взаимодействие белков и их укладку, а также визуализацию с использованием TensorFlow через Python на платформе Google Cloud. Курс будет состоять из четырех наборов задач, викторины и командного проекта с чередующимися сеансами наставничества, чтобы помочь студентам в разработке собственных проектов. Преподаватель подчеркивает важность создания команды с взаимодополняющими навыками и интересами и предоставляет различные вехи и результаты на протяжении всего семестра. Курс направлен на предоставление реального опыта, включая написание заявок на гранты и стипендии, экспертную оценку, годовые отчеты и развитие навыков общения и сотрудничества. Докладчик обсуждает различия между традиционным ИИ и глубоким обучением, которое строит внутреннее представление сцены на основе наблюдаемых стимулов, и подчеркивает важность глубокого обучения в науках о жизни из-за конвергенции обучающих данных, вычислительной мощности и новых алгоритмов. .

Видео представляет собой вводную лекцию о глубоком обучении в науках о жизни, объясняющую важность машинного обучения и глубокого обучения в исследовании сложности мира. Доклад посвящен концепции байесовского вывода и тому, как он играет решающую роль в классическом и глубоком машинном обучении, а также различиям между генеративным и дискриминативным подходами к обучению. В лекции также освещаются возможности машин опорных векторов, производительность классификации и линейная алгебра для понимания сетей в биологических системах. Спикер отмечает, что курс будет охватывать различные темы глубокого обучения, в том числе регуляризацию, предотвращение переобучения и обучающие наборы. Лекция завершается рассмотрением вопросов, связанных с интерпретируемостью искусственных нейронов и глубоких сетей для будущих лекций.

• 00:00:00 В этом разделе спикер представляет курс «Глубокое обучение в науках о жизни» и объясняет его направленность на применение машинного обучения к задачам в науках о жизни, включая регуляцию генов, болезни, терапевтический дизайн, медицинскую визуализацию и вычислительную технику. биология. Курс проводится два раза в неделю с дополнительными наставническими занятиями по пятницам, и его ведет спикер, который является исследователем в области машинного обучения и геномики, и преподавательский состав, состоящий из аспирантов и студентов Массачусетского технологического института. Спикер также дает ссылки на прошлогодние страницы курсовых работ с записями всех лекций.
  
  
• 00:05:00 В этом разделе стенограммы инструктор знакомит с основами, на которых будет строиться курс, такими как исчисление, линейная алгебра, вероятность и статистика, а также программирование. У курса также будет вводная основа биологии, которую студенты смогут использовать. Затем инструктор подробно описывает разбивку оценок по курсу, которая включает в себя наборы задач, викторину, финальный проект и участие. Раздел завершается объяснением того, почему глубокое обучение важно в науках о жизни из-за конвергенции недорогих больших наборов данных, фундаментальных достижений в методах машинного обучения и высокопроизводительных вычислений, которые полностью изменили научную область.
  
  
• 00:10:00 В этом разделе спикер обсуждает важность и преимущества вычислительной биологии. Учащиеся дают ответы на вопрос, почему важна вычислительная биология, включая обработку больших объемов данных, возможность ускорить открытие, создание математических моделей для сложных процессов, понимание закономерностей из биологических данных и использование визуализации для извлечения значимой информации. узоры. Докладчик подчеркивает существование основных закономерностей и принципов в биологии, которые можно понять с помощью вычислений, и призывает студентов изучить различные курсы, предлагаемые на факультете и между факультетами.
  
  
• 00:15:00 В этом разделе спикер обсуждает, как вычислительные методы могут помочь не только в прикладных исследованиях, но и в создании нового фундаментального понимания фундаментальных биологических исследований. Они подчеркивают, что, хотя используемые вычислительные методы не всегда могут давать идеальные результаты, они могут обеспечить важные приближения, которые могут быть еще более интересными. Кроме того, спикер показывает, как вычислительная биология позволяет интегрировать различные области исследований для более полного понимания сложных заболеваний, поражающих несколько органов. Наконец, они упоминают использование вычислительных инструментов для моделирования долгосрочных временных процессов, таких как передача и прогрессирование болезни.
  
  
• 00:20:00 В этом разделе видео спикер обсуждает роль вычислений в науках о жизни, в частности, как они могут моделировать развитие процессов во времени, сокращая время открытия и разработки лекарств и методов лечения. Использование глубокого обучения также становится все более распространенным для разработки лекарств и создания синтетических тестовых данных. Спикер также подчеркивает важность изучения генетического разнообразия в разных демографических группах для обеспечения подлинной справедливости в наборах генетических данных. Жизнь сама по себе цифровая, и задача понимания биологии состоит в том, чтобы извлечь сигналы из шума и распознать значимые закономерности в наборах данных.
  
  
• 00:25:00 В этом разделе инструктор курса описывает основные задачи и проблемы, которые будут рассмотрены в ходе курса, включая основы машинного обучения, схемы регуляции генов, вариации заболеваний, взаимодействия белков и их укладку, а также визуализацию. В курсе будут использоваться наборы задач, чтобы познакомить студентов с каждой из этих границ, и студенты будут использовать TensorFlow через Python в среде программирования на платформе Google Cloud. Первый набор задач будет сосредоточен на распознавании символов, а затем на использовании этих методов для анализа геномных данных и распознавания паттернов последовательностей, связанных с регуляторными событиями генов.
  
  
• 00:30:00 В этом разделе инструктор обсуждает структуру и цели курса, который будет состоять из четырех наборов задач, викторины и командного проекта на протяжении всего занятия. Преподаватели подчеркивают, что курс будет интерактивным, и призывают студентов записываться на интересующие их лекции, что позволяет им инвестировать в эту конкретную область. У студентов также будет возможность взаимодействовать с приглашенными лекторами, которые активно работают в области глубокого обучения в области наук о жизни, а командные проекты будут построены на обсуждениях направлений исследовательских проектов, что даст студентам возможность применить свои новые навыки для решения практических задач. . Кроме того, преподаватели упоминают, что области глубокого обучения в науках о жизни всего десять лет, а приглашенные лекторы представят ключевые документы в этой области, что сделает курс весьма увлекательным и интерактивным для студентов.
  
  
• 00:35:00 В этом разделе преподаватель курса обсуждает, как курс будет включать в себя сеансы наставничества, чередующиеся с модулями, чтобы помочь студентам разрабатывать свои собственные проекты, придумывать идеи и уравновешивать их со своими партнерами и наставниками. В этих наставнических занятиях примут участие сотрудники или исследователи, которые активно работают в соответствующих областях, что позволит студентам поделиться с ними идеями и подготовиться к тому, чтобы стать активными исследователями в области вычислительной биологии. Преподаватель также подчеркивает нематериальные аспекты образования, в которых поможет курс, включая разработку исследовательского предложения, работу с дополнительными наборами навыков, получение отзывов от коллег и выявление потенциальных недостатков в предложениях коллег. Курс будет иметь временной проект, отражающий эти нематериальные задачи в реальной жизни. Студентам также предлагается встречаться со своими сверстниками, заранее формировать команды с дополнительным опытом и представлять профиль и видео-введение.
  
  
• 00:40:00 В этом разделе преподаватель обсуждает различные вехи, установленные для курса, чтобы обеспечить достаточное планирование, обратную связь и поиск проектов, соответствующих навыкам и интересам учащихся. Он упоминает о важности создания команды с взаимодополняющими навыками и интересами, предоставления ссылок на прошлогодние проекты и недавние статьи для вдохновения, а также организации периодических сессий наставничества со студентами старших курсов, докторантами и сотрудниками курсов. Курс также будет включать групповые обсуждения различных тем и аспектов экспертной оценки, чтобы стимулировать критическое осмысление предложений и предоставлять отзывы и предложения. Преподаватель подчеркивает реальный опыт, который будет получен в ходе этого курса, включая написание заявок на гранты и стипендии, экспертную оценку, годовые отчеты и развитие навыков общения и сотрудничества. Преподаватель приглашает студентов встретиться друг с другом во время различных секционных сессий на протяжении всего курса и предоставляет обзор вех и результатов, которые будут выполнены в течение семестра.
  
  
• 00:45:00 Структура курса и проектов, преподаватель дает обзор различных модулей и статей, доступных по каждой теме. Кроме того, указывается график курса, включая сроки подачи проектных предложений и демонстраций сквозного конвейера. Преподаватель подчеркивает важность наличия данных и инструментов на начальном этапе курса, чтобы избежать проблем в дальнейшем. Также упоминаются промежуточные отчеты и лекция по презентации, а также сроки выполнения окончательных проектов и презентаций. Также могут быть приглашены приглашенные лекторы, авторы некоторых статей.
  
  
• 00:50:00 В этом разделе спикер представляет ресурсы и поддержку, доступные для курса, включая наставничество и лабораторные работы с обратной связью. Они также поделились результатами вводного опроса, раскрывающего различный опыт студентов, проходящих курс, причем большинство из них представляют специальности 6 и 20. Докладчик тратит около 10 минут на введение некоторых тем машинного обучения и биологии, которые будут освещены в курсе. конечно, подчеркивая важность глубокого обучения и его различных приложений. Они также объясняют разницу между искусственным интеллектом, глубоким обучением и машинным обучением.
  
  
• 00:55:00 В этом разделе лектор обсуждает различия между традиционными подходами искусственного интеллекта (ИИ) и глубоким обучением. В то время как традиционный ИИ полагается на людей-экспертов для кодирования правил и функций оценки, глубокое обучение направлено на изучение интуиции и правил самостоятельно, без явного руководства со стороны человека. Лектор использует пример шахмат, чтобы проиллюстрировать эти различия, и отмечает, что глубокое обучение произвело революцию в области искусственного интеллекта, позволив машинам ориентироваться в сложных средах, таких как естественные сцены и ситуации реального мира. Лектор определяет конвергенцию обучающих данных, вычислительную мощность и новые алгоритмы как три ключевых столпа глубокого обучения и объясняет, что машины создают внутреннее представление сцены на основе наблюдаемых стимулов.
• 01:00:00 В этом разделе спикер объясняет, что машинное обучение и глубокое обучение включают построение представлений о сложности мира путем анализа наблюдений и данных. Традиционное машинное обучение использует простые представления, тогда как глубокое обучение использует иерархические представления. Генеративные модели позволяют выразить прямую вероятность события с учетом скрытого состояния мира, в то время как правило Байеса позволяет оценить апостериорную вероятность того, что это конкретное время года с учетом наблюдения. Это включает в себя переход от вероятности данных с учетом гипотезы к вероятности гипотезы с учетом данных через произведение вероятности и априорных вероятностей. Предельная вероятность данных используется для суммирования всех гипотез, чтобы получить общую вероятность данных.
  
  
• 01:05:00 В этом разделе спикер объясняет концепцию байесовского вывода и его роль в классическом и глубоком машинном обучении. Байесовский вывод включает в себя создание генеративной модели мира, а затем вывод чего-либо об этой модели, что особенно полезно при обучении с учителем, когда существуют метки для некоторых точек и может быть достигнута классификация объектов на основе признаков. В традиционном машинном обучении основной задачей было проектирование признаков или выбор правильных признаков из набора данных, тогда как при глубоком обучении признаки изучаются автоматически. Кластеризация — это форма неконтролируемого обучения, при которой наборы данных могут быть изучены и представлены, а байесовский вывод может использоваться для итеративной оценки параметров генеративной модели набора данных для улучшения характеристик данных.
  
  
• 01:10:00 В этом разделе видео инструктор обсуждает различия между генеративным и дискриминативным подходами к обучению, подчеркивая, как дискриминационное обучение направлено на изучение наилучшего разделителя между элементами данных, а не на попытки зафиксировать все распределение данных. В лекции также затрагиваются возможности машин опорных векторов, эффективность классификации и линейная алгебра для понимания сетей в биологических системах. Преподаватель отмечает, что в классе основное внимание будет уделено глубокому обучению, в частности построению простых и более абстрактных функций с помощью слоев для классификации различных объектов и представлений о мире. Наконец, в лекции подчеркивается, что не все обучение является глубоким, и рассматриваются исторические подходы к искусственному интеллекту и машинному обучению.
  
  
• 01:15:00 В этом разделе спикер обсуждает, как человеческий мозг обрабатывает изображения и распознает объекты, используя слои нейронов, которые изучают абстрактные слои умозаключений. Он сравнивает этот процесс с архитектурой нейронных сетей, используемых в глубоком обучении и искусственном интеллекте, которые были перенесены из биологического пространства в вычислительное пространство. Курс будет охватывать различные темы глубокого обучения, включая регуляризацию, предотвращение переобучения, наборы для обучения и наборы для тестирования. Спикер также упоминает автоэнкодеры для сужения представлений до более простых и алгоритмы с учителем, работающие как неконтролируемые методы. Кроме того, он приветствует участников курса и подчеркивает важность биологических аспектов курса.
  
  
• 01:20:00 В этом разделе спикер затрагивает несколько вопросов, связанных с интерпретируемостью искусственных нейронов и глубоких сетей, которые будут подробно рассмотрены в следующей лекции. Они также напоминают учащимся заполнить свои профили и загрузить свои видеоролики.

[MetaQuotes]

Основы машинного обучения — Лекция 02 (весна 2021 г.)

Основы машинного обучения — глубокое обучение в науках о жизни, лекция 02 (весна 2021 г.)

В этой лекции рассматриваются основы машинного обучения, вводятся такие понятия, как обучающие и тестовые наборы, типы моделей, такие как дискриминационные и генеративные, оценка функций потерь, регуляризация и переобучение, а также нейронные сети. Лектор продолжает объяснять важность гиперпараметров, оценки точности в науках о жизни, корреляционного тестирования и расчетов вероятности для тестирования моделей. Наконец, обсуждаются основы глубоких нейронных сетей и структура нейрона, подчеркивая роль нелинейности в изучении сложных функций.

Во втором разделе лекции объясняется концепция функций активации в глубоком обучении, а также процесс обучения корректировке весов в соответствии с выходной функцией с использованием частных производных при настройке обновлений весов для минимизации ошибок, что является основой градиента. обучение на основе. Понятие обратного распространения вводится как метод распространения производных через нейронную сеть для корректировки весов. Обсуждаются различные методы оптимизации весов в нескольких слоях моделей глубокого обучения, включая стохастический градиентный спуск и концепцию емкости модели и размерности VC. Также обсуждаются эффективность емкости модели на графике, а также смещение и дисперсия, а также различные методы регуляризации, такие как ранняя остановка и уменьшение веса. Подчеркивается важность нахождения правильного баланса сложности, и учащимся предлагается позитивно представиться своим одноклассникам.

• 00:00:00 В этом разделе лектор знакомит с основами машинного обучения и его определением. Машинное обучение — это процесс преобразования опыта в опыт или знания, в котором используются вычислительные методы для точного прогнозирования будущих результатов с использованием обнаруженных закономерностей в данных. Цель машинного обучения — разработать методы, которые могут автоматически обнаруживать закономерности в данных и использовать их для получения хороших прогнозов на выходе. Лектор также объясняет концепцию обучающего набора, который используется для подбора параметров и архитектуры модели, и тестового набора, который оценивает производительность и способность модели к обобщению. Наконец, лектор затрагивает важность регуляризации в управлении параметрами и сложностью модели, чтобы избежать переобучения.
  
  
• 00:05:00 В этом разделе лекции инструктор знакомит с различными типами объектов, используемых в машинном обучении, такими как скаляры, векторы, матрицы и тензоры. Входное пространство определяется как отдельные примеры этих объектов, где используется конкретный набор данных с определенными индексами и признаками. Также вводится пространство меток с предсказанной меткой, обозначенной как y hat. Целью машинного обучения является оценка функций, извлеченных из входных данных, и вычисление выходного результата с помощью функции, которая переводит входные данные в выходные. Преподаватель также объясняет разницу между обучающими и тестовыми наборами и то, как функция принимает входные параметры и вычисляет выходные данные с использованием векторов весов и смещений.
  
  
• 00:10:00 В этом разделе спикер объясняет, как веса и смещения используются для оптимизации вывода линейной функции при отсутствии оси. Функцию преобразования можно рассматривать как модель мира, которая делает выводы и классификации мира. Существует два типа моделей: дискриминационные модели, которые различают два класса, и генеративные модели, которые пытаются смоделировать совместное распределение нескольких классов. Линейная регрессия — это всего лишь один из типов машинного обучения, при этом регрессия является обычной задачей, помимо классификации.
  
  
• 00:15:00 В этом разделе лектор обсуждает различные типы машинного обучения, в том числе контролируемое, частично контролируемое, неконтролируемое и обучение с подкреплением. Основное внимание уделяется обучению с учителем и различным типам результатов, таким как многомерная регрессия, бинарная и многоклассовая классификация, а также классификация с несколькими метками. Лектор также рассказывает о целевых функциях, которые используются для оптимизации моделей машинного обучения во время обучения и могут быть в виде функций потерь, стоимости или ошибок. Представлены различные типы функций потерь, в том числе нулевая потеря единицы, потеря перекрестной энтропии и потеря шарнира, а лекция завершается обсуждением среднеквадратичной ошибки и средней абсолютной ошибки для регрессии.
  
  
• 00:20:00 В этом разделе лектор вводит понятия регуляризации L1 и L2, которые представляют собой линейные и квадратичные штрафы за отклонение от прогнозируемого значения соответственно. Они обсуждают, как их можно использовать для наказания далеко выпадающих значений и предотвращения переобучения путем назначения ограничений на параметры. Затем лектор исследует различные функции потерь для задач классификации, таких как бинарная кросс-энтропийная потеря, которая взвешивает все по вероятности возникновения значения, и категориальная кросс-энтропийная потеря, в которой используется подход, основанный на информации. Кроме того, они касаются функции soft max для сопоставления данных с диапазоном от нуля до единицы. Все эти концепции учитывают оценку максимального правдоподобия и апостериорные вероятности в байесовской настройке.
  
  
• 00:25:00 В этом разделе лекция объясняет вывод использования определенной формулы во всем классе, который равен единице, если она принадлежит указанному классу, и нулю в противном случае. В лекции также обсуждается структура задачи, включая входные данные, веса и смещение. Оптимизатор строится на основе расхождений между весами, и эти веса обучаются с использованием функции потерь, такой как среднеквадратическая ошибка или средняя абсолютная ошибка. В лекции также вводится понятие риска, учитывающее затраты, связанные с конкретными прогнозами, и объясняется, как использовать риск для оптимизации целевой функции. Затем в лекции описывается, как обновлять веса на основе функции потерь и как использовать наборы для обучения и тестирования для оценки модели.
  
  
• 00:30:00 В этом разделе инструктор объясняет концепцию переобучения и недообучения в машинном обучении. Он описывает, как по мере улучшения обучающей выборки модель становится лучше в прогнозировании данных и в проверочной выборке. Однако после определенного момента модель начинает переобучать обучающий набор, и ошибка на проверочном наборе начинает увеличиваться. Поэтому инструктор подчеркивает важность разделения данных на обучающие, проверочные и тестовые наборы, чтобы проверочный набор использовался для настройки гиперпараметров, а тестовый набор — для оценки производительности полностью обученной модели.
  
  
• 00:35:00 В этом разделе спикер обсуждает, как оценивать точность моделей машинного обучения в контексте наук о жизни. Они объясняют различные методы оценки, такие как истинная положительная мощность, которая фокусируется на истинных положительных и истинных отрицательных значениях, а также ложных положительных и ложных отрицательных значениях. Докладчик также обсуждает другие методы оценки, такие как точность, специфичность, полнота и достоверность, а также важность учета сбалансированности набора данных. Затем они представляют кривую рабочих характеристик приемника (ROC) и то, как она помогает оценить компромисс между чувствительностью и специфичностью классификатора. Кроме того, кривая точного отзыва упоминается как лучший вариант для очень несбалансированных наборов данных для определенных настроек регрессии. Обе кривые дополняют друг друга и отражают различные аспекты производительности модели.
  
  
• 00:40:00 В этом разделе спикер обсуждает концепцию корреляции и то, как ее можно использовать для оценки предикторов регрессии. Они объясняют, что корреляция измеряет взаимосвязь между прогнозируемыми значениями и фактическими значениями, и что существуют различные типы тестов корреляции, такие как корреляция Пирсона и ранговая корреляция Спирмена. Докладчик также упоминает о важности корреляционных тестов и о том, как их можно использовать для оценки точности предиктора. Они объясняют использование статистических тестов, таких как t-распределение Стьюдента и биномиальные тесты, для определения вероятности получения определенного значения корреляции и того, значительно ли оно отклоняется от ожидаемого значения.
  
  
• 00:45:00 В этом разделе спикер обсуждает вероятность того, что классификатор сделает правильный выбор случайно, вычислив вероятность того, что k наблюдений будут правильно классифицированы просто случайно, используя гипергеометрическое распределение. Он также подчеркивает, что если вы тестируете несколько гипотез, вам необходимо скорректировать вероятность нуля, и вы можете использовать строгую поправку Бонферрони или менее строгую поправку Бенджамина Хофберга для настройки вашего порога. Спикер предупреждает об опасности обнаружения корреляций практически везде при наличии достаточного количества данных и подчеркивает, что отсутствие корреляции не означает отсутствие взаимосвязей. Раздел заканчивается паузой, прежде чем спикер переходит к обсуждению нейронных сетей.
  
  
• 00:50:00 В этом разделе лекции инструктор знакомит с концепцией глубоких нейронных сетей и их корнями в иерархии абстракций в обучении. Инструктор описывает слои сети, начиная с входного слоя и переходя к нескольким скрытым слоям, которые изучают все более сложные функции. Концепция сверточных фильтров кратко упоминается, но более подробно она будет рассмотрена в следующей лекции. Инструктор также отмечает, что эти сети вдохновлены биологической структурой нейронов человеческого мозга.
  
  
• 00:55:00 В этом разделе лектор объясняет основы нейронной сети глубокого обучения. Он описывает структуру нейрона как вычислительную конструкцию, которая получает взвешенные входные данные, пересекает порог, а затем отправляет идентичные выходные данные своим потомкам. Обучение в нейронной сети встроено в эти веса, а вычисляемая функция представляет собой преобразованную вероятность на основе полученных входных данных. Лектор подчеркивает, что нейронные сети стали мощными, когда они вышли за рамки линейных функций и ввели нелинейность, способную обучить практически любую функцию. Исходной нелинейностью была сигмовидная единица, представляющая нейрон, либо срабатывающий на единицу, либо остающийся на нуле, пока порог не будет пересечен. Кроме того, был введен модуль soft plus для аппроксимации более сложных функций.
• 01:00:00 В этом разделе лекции спикер объясняет концепцию функций активации в глубоком обучении и то, как они помогают нейронам срабатывать в ответ на входные данные. Он вводит различные функции активации, такие как мягкий плюс, сигмовидная и выпрямленная линейная единица (ReLU) и другие. Докладчик также обсуждает процесс обучения корректировке весов в соответствии с выходной функцией и роль частных производных в настройке обновлений весов для минимизации ошибок. Это, объясняет он, является основой обучения на основе градиента.
  
  
• 01:05:00 В этом разделе лекции вводится понятие обратного распространения как метода распространения производных через нейронную сеть для корректировки весов. Цепное правило используется для вычисления производной каждого слоя как функции предыдущего слоя, что позволяет вносить коррективы на каждом уровне. К этому процессу можно добавить дополнительные навороты, такие как скорость обучения для масштабирования градиента, уменьшение веса для предотвращения больших весов и учет дельты на предыдущем временном шаге для определения направления и объема необходимых изменений.
  
  
• 01:10:00 В этом разделе спикер объясняет различные методы оптимизации весов в нескольких слоях моделей глубокого обучения. Эти методы включают использование цепного правила для вычисления производных выходных данных по каждому весу, а также стохастический градиентный спуск, который случайным образом выбирает подмножество обучающих данных для обновления весов. Кроме того, докладчик обсуждает концепцию емкости модели и размерность VC, которая описывает общую способность моделирования модели глубокого обучения на основе как ее параметров, так и типов функций, которые она может вычислять. Возможности непараметрической модели определяются размером обучающей выборки.
  
  
• 01:15:00 В этом разделе вводится понятие k-ближайшего соседа и его обобщаемость. Хотя k-ближайший сосед является хорошим базовым методом, он может иметь плохую способность к обобщению, поскольку он не изучает функцию, которая разделяет наборы данных, что затрудняет его хорошую работу с ранее неизвестными входными данными. Также обсуждается эффективность емкости модели на графике, где по оси X отображается эффективное количество параметров или измерений, и увеличение этого числа может привести к лучшему совпадению с данными, но с более высокой ошибкой обобщения. Также вводятся систематическая ошибка, или насколько хорошо человек соответствует заданным данным, и дисперсия, или насколько хорошо можно сопоставить будущие наборы данных. Наконец, модели можно упорядочить, скомпрометировав регуляризацию параметров и регуляризацию сложности модели, что можно продемонстрировать, сравнивая наборы данных с разными уровнями сложности нейронов.
  
  
• 01:20:00 В этом разделе лекции инструктор обсуждает различные методы добавления регуляризации в нейронные сети, такие как ранняя остановка, снижение веса, добавление шума в качестве регуляризатора и байесовские априорные вероятности. Также обсуждается понятие пропускной способности, которое зависит от функций активации и количества весов. Преподаватель подчеркивает, что поиск компромисса между большим количеством слоев, более широкими слоями и большим количеством связей — это искусство, а не теория, и важно найти правильный баланс сложности. Преподаватель призывает студентов представиться своим одноклассникам в положительном свете и найти время, чтобы встретиться и узнать об их профилях и видео.

[MetaQuotes]

Сверточные нейронные сети CNN - Лекция 03 (весна 2021 г.)

Сверточные нейронные сети CNN - Глубокое обучение в науках о жизни - Лекция 03 (весна 2021 г.)

Эта видеолекция посвящена теме сверточных нейронных сетей (CNN) в глубоком обучении для наук о жизни. Докладчик обсуждает принципы зрительной коры и то, как они связаны с CNN, включая строительные блоки зрительных систем человека и животных, такие как основные строительные блоки суммирования и взвешивания и порог активации смещения нейрона. Они объясняют, что CNN используют специализированные нейроны для низкоуровневых операций обнаружения и слои скрытых единиц для изучения абстрактных понятий. В лекции также рассматривается роль слоев свертки и объединения, использование нескольких фильтров для извлечения нескольких функций и концепция трансферного обучения. Наконец, также обсуждаются нелинейности и использование заполнения для решения пограничных случаев в свертке. В целом, лекция подчеркивает силу и потенциал CNN в различных приложениях наук о жизни.

Вторая часть лекции посвящена различным концепциям, связанным со сверточными нейронными сетями (CNN). В лекции спикер рассказывает о важности сохранения размера входных данных в CNN, увеличении данных как средстве достижения инвариантности к преобразованиям, а также о различных архитектурах CNN и их приложениях. В лекции также рассматриваются проблемы, связанные с изучением глубоких CNN, гиперпараметров и их влияния на общую производительность, а также подходы к настройке гиперпараметров. Докладчик подчеркивает важность понимания фундаментальных принципов, лежащих в основе CNN, и подчеркивает их универсальность как метода, применимого в различных условиях.

• 00:00:00 В этом разделе спикер представляет тему сверточных нейронных сетей (CNN) и подчеркивает их значение в глубоком обучении в различных областях. Спикер считает курс 6s191 и заметки Тесс Фернандес Coursera отличными ресурсами для изучения CNN. Спикер объясняет, как CNN были вдохновлены собственными нейронными сетями человеческого мозга и результатами нейробиологических исследований зрительной коры животных в 50-х и 60-х годах. Докладчик продолжает объяснять некоторые из ключевых принципов, обнаруженных фундаментальными исследованиями нейронауки, в том числе концепцию наличия только ограниченных рецептивных полей и клеток, реагирующих на края под прямым углом. Эти концепции составляют основу сверточных фильтров и используемых сегодня CNN.
  
  
• 00:05:00 В этом разделе спикер обсуждает принципы зрительной коры и то, как они соотносятся со сверточными нейронными сетями (CNN). Зрительная кора содержит простые примитивные операции, такие как обнаружение краев, которые создаются отдельными нейронами, обнаруживающими свет и темноту в разных местах и пороговыми значениями этого сигнала. Существуют нейроны более высокого порядка, которые инвариантны к положению обнаруженного края или объекта, что привело к концепции позиционной инвариантности в объединяющих слоях CNN. Спикер также обсуждает строительные блоки зрительных систем человека и животных, которые содержат аналогичные принципы, обнаруженные в нейронных сетях, такие как основные строительные блоки суммирования и взвешивания и порог активации нейрона.
  
  
• 00:10:00 В этом разделе лекции спикер обсуждает функции активации в нейронах, которые определяют, сработает нейрон или нет, на основе ввода выше определенного порога. Нелинейность этого процесса позволяет изучать более сложные функции, поскольку линейные преобразования линейной информации по-прежнему остаются линейными преобразованиями. Нейроны связаны в сети, которые обладают эмерджентными свойствами и позволяют обучаться и запоминать. Человеческий мозг чрезвычайно мощен: он содержит 86 миллиардов нейронов и квадриллионы соединений, которые организованы в простые, большие и глубокие сети, позволяющие абстрагироваться и распознавать сложные понятия, такие как края и линии. Приведен пример того, как можно создать краевой детектор на более низком уровне нейронов на основе положительной и отрицательной передачи сигналов в ответ на светлые и темные области.
  
  
• 00:15:00 В этом разделе спикер объясняет, как нейронные связи в мозге обнаруживают самые простые линейные и круговые примитивы, такие как края и полосы, и используют их для восприятия более сложных функций, таких как цвет, кривизна и ориентация. Верхние слои зрительной коры головного мозга соответствуют слоям абстракции в глубоком обучении, которые строят сложные концепции из более простых частей. Гибкость мозга также позволяет ему использовать различные части мозга для восприятия соответствующих сигналов, а эксперименты на животных показали, что цепи в мозгу взаимозаменяемы и могут быть перенастроены при травме. Кроме того, спикер отмечает огромную разницу в размерах между мозгом человека и мыши и то, как расширение неокортекса у млекопитающих, особенно у приматов, привело к более высоким уровням абстракции и социального интеллекта.
  
  
• 00:20:00 В этом разделе лектор объясняет, как нейронные сети могут изучать огромное количество функций, которые хорошо подходят для физического мира, в котором мы живем, несмотря на то, что они не могут изучить все математические функции. В лекции также исследуется, как визуальные иллюзии могут выявить примитивы и строительные блоки вычислений, происходящих внутри мозга, которые могут быть использованы методом глубокого обучения для создания таких переживаний, как наблюдение за тем, как человек превращается в чудовищную комбинацию животных. Затем лекция переходит к обсуждению ключевых компонентов сверточных нейронных сетей, таких как локальность и вычисление сверточных фильтров, которые вычисляются локально, а не в полносвязной сети.
  
  
• 00:25:00 В этом разделе лекции о CNN и глубоком обучении в науках о жизни спикер обсуждает несколько ключевых особенностей сверточных нейронных сетей. К ним относятся использование специализированных нейронов, которые выполняют операции обнаружения низкого уровня, слои скрытых единиц, где абстрактные понятия изучаются из более простых частей, функции активации, которые вводят нелинейности, объединяющие слои для инвариантности позиции и сокращения времени вычислений, несколько фильтров, которые фиксировать различные аспекты исходного изображения и способы ограничения веса отдельных скрытых единиц для регуляризации. Все эти функции важны для создания эффективных CNN, которые могут изучать и распознавать закономерности в сложных изображениях или геномных данных.
  
  
• 00:30:00 В этом разделе лектор объясняет, что человеческий мозг также использует различные механизмы для укрепления полезных связей, ограничивая при этом чрезмерную зависимость от какой-либо отдельной связи для конкретной задачи. Он упоминает примеры уменьшения срабатывания нейронов с течением времени и использования обучения с подкреплением для улучшения двигательных задач. Он также проводит параллели между этими примитивными механизмами обучения в человеческом мозгу и алгоритмом обратного распространения, используемым в сверточных нейронных сетях. Лектор призывает студентов выйти за рамки существующих архитектур и рассмотреть новые вычислительные архитектуры, которые могут быть получены из отдельных примитивов. Наконец, он отвечает на вопрос из чата о том, как думать о приложениях, которые нуждаются или не нуждаются в локальности в полностью подключенной сети.
  
  
• 00:35:00 В этом разделе спикер обсуждает две части глубоких нейронных сетей: обучение представлению и классификацию. При наличии иерархических уровней обучения комбинации пикселей превращаются в извлечение признаков, за которым следует обнаружение признаков. Это позволяет сети изучать сложную нелинейную функцию за счет соединения двух задач обратного распространения и извлечения признаков. Докладчик упоминает, что эта парадигма очень эффективна и ее можно обобщить в различных областях применения. Эта область все еще находится в зачаточном состоянии, и есть много возможностей для творчества и исследований, особенно в геномике, биологии, неврологии, визуализации и электронных медицинских картах. Следовательно, эти области приложений могут стимулировать разработку новых архитектур, которые могут иметь широкое применение в науке о данных в различных областях.
  
  
• 00:40:00 В этом разделе спикер объясняет концепцию сверточных нейронных сетей и роль сверток в использовании пространственной структуры, выполнении локальных вычислений и совместном использовании параметров по всему изображению. Применяя фильтр или ядро к каждому отдельному фрагменту изображения, свертка используется для вычисления карты функций, которая сообщает нам, сколько функций присутствовало в каждом фрагменте изображения, эффективно выполняя извлечение функций. Докладчик подчеркивает использование нескольких фильтров для извлечения нескольких функций, таких как края и усы, а также пространственное совместное использование параметров каждого фильтра для обучения на меньшем количестве параметров.
  
  
• 00:45:00 В этом разделе о CNN спикер объясняет, что параметры для каждого процесса извлечения признаков, такие как обнаружение краев, являются общими и применяются ко всему изображению сразу. Каждый нейрон в скрытом слое получает входные данные от патча, вычисляет взвешенную сумму и применяет смещение, чтобы активироваться с помощью нелинейной функции. Сверточные фильтры используются для извлечения функций из изображения и изучения представлений, которые можно изучить с помощью фильтров для конкретных задач. Разные виды развили сверточные фильтры, жестко закодированные с рождения, которые можно повторно использовать для самых полезных задач.
  
  
• 00:50:00 В этом разделе лектор рассказывает о процессе обучения фильтров посредством сверточных нейронных сетей, которые извлекают из изображений общие признаки и выделяют специфические признаки для разных задач. В то время как некоторые фильтры жестко закодированы, например, специфичные для определенного вида, другие, такие как обнаружение краев и лиц, полезны для различных приложений. Обсуждается концепция трансферного обучения, когда предыдущие сверточные фильтры могут применяться к новым данным для предварительного изучения промежуточных и высокоуровневых представлений перед повторным обучением новым функциям. Иерархия признаков от низкого уровня к высокому уровню настраивается в соответствии с поставленной задачей классификации. Лектор также объясняет, что свертка относится к эффекту скручивания одной вещи в другую, после чего в игру вступает обнаружение с использованием нелинейностей.
  
  
• 00:55:00 В этом разделе спикер обсуждает концепцию нелинейностей и то, как они позволяют обнаруживать, вводя тишину до тех пор, пока не будет замечена определенная функция. Они также обсуждают использование слоев пула, которые находят максимальное значение в пределах определенного раздела и уменьшают размер представления, делая некоторые обнаруженные функции более надежными. Затем полностью подключенный уровень изучает гораздо более сложные функции и фиксирует комбинации функций, извлеченных из сети, что в конечном итоге позволяет классифицировать. Докладчик также затрагивает крайние случаи свертки и то, как заполнение изображений нулями перед сверткой решает эту проблему.
• 01:00:00 В этом разделе спикер обсуждает важность сохранения размера входных данных в сверточных нейронных сетях и различные способы достижения этого, включая заполнение нулями и расширенную свертку. Концепция увеличения данных вводится как способ достижения инвариантности к преобразованиям в реальном мире, таким как изменения ориентации или формы. Прежде всего, преобразуя изображения, сеть может научиться распознавать объекты независимо от их местоположения или ориентации. Спикер подчеркивает важность изучения миллионов признаков снизу вверх и преобразования изображений для достижения инвариантности.
  
  
• 01:05:00 В этом разделе докладчик резюмирует концепции, обсуждавшиеся в предыдущих разделах лекции, включая локальность, фильтры и функции, функции активации, объединение и мультимодальность. Затем он показывает пример глубокой сверточной нейронной сети, состоящей из входного объема изображения RGB, за которым следуют 20 фильтров с шагом 2, что создает объем 10. Докладчик подчеркивает, что количество вычисленных фильтров создает соответствующий объем, который меняется на каждом уровне сети. Он также демонстрирует, как реализовать эти концепции в TensorFlow с помощью механизма Keras для глубокого обучения, включая различные размеры фильтров, функции активации, объединение и размер шага.
  
  
• 01:10:00 В этом разделе спикер обсуждает различные архитектуры сверточных нейронных сетей и их приложения, начиная с LeNet-5 для распознавания документов, которая помогла создать серию сверточных фильтров, субдискретизации и полносвязных слоев, составляющих CNN сегодня. Спикер объясняет, что обучение CNN — это искусство, так как требует значительно больше обучающих данных из-за большего количества параметров и слоев. Также подчеркивается важность нормализации в обучении, поскольку асимметричные данные могут повлиять на производительность модели. В целом докладчик подчеркивает естественный и эффективный способ, с помощью которого CNN могут выполнять задачи классификации.
  
  
• 01:15:00 В этом разделе лектор обсуждает несколько проблем, связанных с обучением в глубоких сверточных нейронных сетях. Одной из проблем являются исчезающие или взрывающиеся градиенты, которые можно смягчить, тщательно выбрав начальные значения и нормализовав данные. Лектор также объясняет, как выбрать размер пакета, где вы можете тренироваться на всем наборе данных или использовать мини-пакеты, и рассказывает о различных методах обучения, таких как RMS prop и имитация отжига. В лекции также рассматриваются гиперпараметры, то есть параметры архитектуры и обучения, и их влияние на общую производительность. Наконец, лектор представляет два подхода к настройке гиперпараметров, поиск по сетке и случайный поиск, а также обсуждает их преимущества и недостатки.
  
  
• 01:20:00 В этом разделе спикер подчеркивает важность фундаментальных принципов сверточных нейронных сетей, а не фокусируется на логистике и традиционных подходах. Лекция охватывает ключевые особенности CNN, включая свертки, обучающие представления, обнаружение, нелинейность и объединение слоев. Докладчик также освещает практические вопросы обеспечения инвариантности обучения к малым возмущениям и работы с различными типами архитектур. Кроме того, класс обсудит искусство обучения моделей на будущих занятиях. В целом, лекция представляет CNN как чрезвычайно универсальный метод, применимый в различных условиях.

[MetaQuotes]

Рекуррентные нейронные сети RNN, GNN графовые нейронные сети, LSTM с долговременной кратковременной памятью — лекция 04 (весна 2021 г.)

Рекуррентные нейронные сети RNN, GNN графовые нейронные сети, LSTM с долговременной кратковременной памятью

Это видео охватывает ряд тем, начиная с рекуррентных нейронных сетей (RNN) и их способности кодировать временной контекст, что имеет решающее значение для обучения последовательности. Докладчик представляет концепцию скрытых марковских моделей и их ограничения, что приводит к обсуждению модулей долговременной кратковременной памяти (LSTM) как мощного подхода к работе с длинными последовательностями. В видео также обсуждается модуль преобразования, который изучает временные отношения без развертывания или использования RNN. Представлены графовые нейронные сети и их потенциальные приложения для решения классических сетевых задач и в вычислительной биологии. Доклад завершается обсуждением границ исследований в области графовых нейронных сетей, таких как их применение в моделях дегенеративных графов и латентном выводе графов.

Во второй части видео обсуждаются рекуррентные нейронные сети (RNN), графовые нейронные сети (GNN) и модули долговременной кратковременной памяти (LSTM). Это объясняет, как традиционные нейронные сети с прямой связью имеют ограничения при работе с данными на основе графа, но GNN могут обрабатывать широкий спектр инвариантностей и распространять информацию по графу. Спикеры также обсуждают графовые сверточные сети (GCN), их преимущества и проблемы. Кроме того, в видео описывается важность функций внимания для повышения мощности и гибкости GNN.

• 00:00:00 В этом разделе лектор представляет темы, которые будут затронуты в классе, включая рекуррентные нейронные сети и модули долговременной кратковременной памяти. Лектор обсуждает, как машины могут понимать контекст и внимание и кодировать временной контекст, используя скрытые марковские модели и рекуррентные нейронные сети. В лекции также рассказывается, как избежать исчезновения градиентов с помощью модулей памяти, и рассказывается о модуле Transformer, который может изучать временные отношения без развертывания последовательности. Лекция также затрагивает графовые нейронные сети и то, как они используют шаблоны связности графов для управления обучением. Затем лектор обсуждает способность человеческого мозга читать и понимать контекст и приводит примеры фонематического восстановления и заполнения пропущенных слов в зависимости от контекста.
  
  
• 00:05:00 В этом разделе видео спикер обсуждает, как мозг обрабатывает язык и звук, предсказывая, что будет дальше, что лежит в основе понимания. Рекуррентные нейронные сети используются для кодирования временного контекста при применении машинного обучения к последовательностям, чтобы превратить входную последовательность в выходную последовательность, которая находится в другом домене, например, превратить последовательность звукового давления в последовательность тождеств слов. Спикер также приводит примеры когнитивных эффектов, связанных со слуховой и визуальной контекстной информацией, таких как эффект Мак-Герка и отсроченная слуховая обратная связь, и объясняет, как они работают.
  
  
• 00:10:00 В этом разделе видео спикер обсуждает возможности использования модели прогнозирования последовательности для изучения мира. Предсказывая следующий член последовательности, процесс обучения без учителя можно превратить в процесс обучения с учителем. Это позволяет использовать методы, предназначенные для обучения с учителем, без необходимости аннотации. Спикер объясняет, что одну общую функцию можно изучить и применить ко всей последовательности, что позволит предсказывать будущие события. Включая скрытые узлы и внутреннюю динамику, можно строить более сложные модели и хранить информацию в течение длительного времени. Докладчик описывает, как можно вывести распределения вероятностей по скрытым векторам состояния и как входные данные можно использовать для прямого или косвенного управления скрытыми узлами, предоставляя информацию текущему скрытому узлу.
  
  
• 00:15:00 В этом разделе спикер обсуждает скрытые марковские модели (СММ) и их ограничения. HMM имеют два типа параметров: матрица выбросов, которая представляет вероятность наблюдения каждого выхода при заданном скрытом состоянии, и матрица перехода, которая представляет вероятность перехода в другое скрытое состояние при текущем состоянии. Однако на каждом временном шаге можно выбрать только одно из скрытых состояний, а с n состояниями можно запомнить только log n битов информации. Чтобы закодировать больше предыдущей информации, потребовалось бы огромное количество состояний. Это ограничение устраняется рекуррентными нейронными сетями (RNN), которые позволяют явно кодировать информацию.
  
  
• 00:20:00 В этом разделе мы узнаем о свойствах рекуррентных нейронных сетей (RNN), которые позволяют нам эффективно хранить много информации, используя распределенное скрытое состояние, обновляемое более сложными способами с нелинейной динамикой. В то время как апостериорное распределение вероятности скрытых состояний в линейной динамической системе или скрытой марковской модели (HMM) является стохастическим, скрытое состояние RNN является детерминированным. В отличие от HMM или линейных динамических систем, которые являются стохастическими по своей природе, RNN могут иметь все виды поведения, такие как колебания или хаотическое поведение, что позволяет принимать непредсказуемые решения. Сети с прямой связью и RNN одинаковы, когда время развертывается, что делает их эквивалентными сети с прямой связью с бесконечным числом стеков с одинаковыми общими весами, используемыми для вычисления каждого символа в сети.
  
  
• 00:25:00 В этом разделе спикер объясняет конкретные архитектуры, которые можно использовать для рекуррентных нейронных сетей (RNN), и как их можно обучать с помощью обратного распространения. Один из способов состоит в том, чтобы вводить входные данные в скрытые единицы, а затем иметь один выход после всей последовательности. Другой способ — иметь выходной прогноз на каждом временном шаге, позволяя информации проходить между скрытыми единицами и позволяя прогнозировать выходные переменные. Тот же алгоритм обратного распространения можно использовать для обновления весов этих архитектур. Спикер подчеркивает, что веса распределяются между разными уровнями сети, что позволяет более эффективно обучаться.
  
  
• 00:30:00 В этом разделе спикер обсуждает концепцию обратного распространения во времени в рекуррентных нейронных сетях (RNN) и то, как она позволяет кодировать память из предыдущих временных шагов. Они объясняют, что этого можно добиться, передав выходные данные с предыдущего временного шага в текущую скрытую единицу или передав правильную выходную метку для предыдущего высказывания текущей модели во время обучения. Процесс обучения включает в себя получение производной функции потерь от каждого веса и использование ее для обновления весов при линейных ограничениях. Спикер отмечает, что, хотя RNN могут показаться сложными, их можно обучать, используя те же процедуры, что и другие нейронные сети.
  
  
• 00:35:00 В этом разделе спикер обсуждает концепцию моделирования последовательностей с помощью инструментов машинного обучения и способы работы с длинными последовательностями. Он объясняет, что в таких случаях, как перевод предложений или расшифровка произносимых слов, входные последовательности необходимо преобразовать в выходные последовательности. Однако при отсутствии отдельной целевой последовательности обучающий сигнал можно получить, пытаясь предсказать следующий член входной последовательности. Проблема этого подхода возникает при работе с очень длинными последовательностями, в которых влияние конкретного слова со временем ослабевает. Чтобы справиться с этим, спикер объясняет различные методы, такие как сети эхо-состояний и использование импульса, но выделяет долговременные модули кратковременной памяти как наиболее мощный подход. Эти модули используют логистические и линейные единицы с мультипликативным взаимодействием для разработки ячейки памяти, которая может запоминать значения для сотен временных шагов.
  
  
• 00:40:00 В этом разделе спикер объясняет концепцию аналоговой ячейки памяти в нейронных сетях с долговременной кратковременной памятью (LSTM). Ячейка памяти представляет собой линейную единицу с самосвязью, которая имеет вес 1, гарантируя, что информация останется неизменной и неразбавленной при любом уменьшении веса. Ячейка контролируется воротами, поддерживающими эхо-камеру, где информация постоянно повторяется до тех пор, пока она не понадобится, а сеть решает, когда следует запомнить или забыть часть информации. Активация шлюзов чтения и сохранения позволяет извлекать и поддерживать информацию соответственно. Сети даны возможности запоминать, забывать, хранить и извлекать память, и она решает, когда полезно запомнить или забыть определенную часть информации. Реализация этих вентилей позволяет длительное время сохранять информацию в рекуррентных нейронных сетях.
  
  
• 00:45:00 В этом разделе спикер обсуждает применение рекуррентных нейронных сетей (РНС) при чтении скорописи. В 2009 году было обнаружено, что RNN с модулями долговременной кратковременной памяти являются лучшей системой для этой задачи. Для обучения сети вместо координат пера использовалась последовательность небольших изображений. Докладчик показывает демонстрацию онлайн-распознавания рукописного ввода, где символы выводятся из почерка с течением времени, и доступны апостериорные вероятности для каждого из этих символов. Состояние системы сохраняется, и разные точки получают разные веса. Спикер объясняет, как изучаются символы и какие части системы важны. Докладчик также обсуждает инициализацию скрытых и выходных единиц RNN и то, как их начальное состояние можно рассматривать как параметры обучения вместо их явного кодирования.
  
  
• 00:50:00 В этом разделе видео описывается новая разработка в нейронных сетях, называемая модулем-трансформером, который изучает временные отношения без развертывания и без использования рекуррентных нейронных сетей. Модуль преобразования использует ввод с позиционным кодированием, чтобы указать, где находится сеть в последовательности, без необходимости разворачивать сеть во времени. Кодер сдвигает выходное вложение на единицу относительно входного, чтобы предсказать следующий элемент в предложении, в то время как модули внимания определяют наиболее важные моменты в предложении. Модуль использует представление запроса одного слова в последовательности, представления ключей всех слов в последовательности и представления значений всех слов в последовательности для достижения временных отношений.
  
  
• 00:55:00 В этом разделе спикер обсуждает Transformer, тип нейронной сети, который полезен для преобразования последовательности или любой последовательной задачи. Он кодирует контекстную информацию всего предложения каждый раз при создании каждого слова, а отношения между последовательными словами кодируются в этом отношении ввода-вывода, которое сдвигается на единицу. Докладчик также представляет графовые нейронные сети и описывает, как их можно использовать для решения классических сетевых задач, а также потенциальное применение в вычислительной биологии. Доклад завершается обсуждением границ исследований графовых нейронных сетей, таких как их применение в дегенеративных графовых моделях и вывод скрытых графов.
• 01:00:00 В этом разделе спикер рассказывает о преимуществах использования сверточных нейронных сетей (CNN) для данных с сеткой, таких как изображения, и потенциале использования графовых нейронных сетей (GNN) для данных без сетки, таких как социальные сети, карты связей мозга и химические молекулы. Докладчик также обсуждает три различных типа функций, которые могут присутствовать в GNN: функции узлов, функции ребер и функции уровня графа. Кроме того, спикер освещает проблемы использования полносвязной сети для прогнозирования графов, включая масштабирование количества параметров с количеством узлов, что делает его непрактичным во многих ситуациях.
  
  
• 01:05:00 В этом разделе спикер обсуждает некоторые ограничения использования традиционных нейронных сетей с прямой связью для данных на основе графов, включая проблему размера графа и отсутствие инвариантности к порядку узлов. Затем они вводят графовые нейронные сети (GNN), которые могут обрабатывать широкий класс инвариантностей и распространять информацию по графу для вычисления характеристик узлов и создания последующих прогнозов. Основная формула для GNN включает выборку информации из окружения узла и обновление представления узла на основе этой информации. Докладчик отмечает, что этот процесс похож на процесс, используемый в сверточных нейронных сетях (CNN) для данных изображений.
  
  
• 01:10:00 В этом разделе спикер обсуждает концепцию двухслойных графовых нейронных сетей и то, как они обновляются для разных узлов графа. Они объясняют, что графовые нейронные сети отличаются от других типов сетей, потому что они позволяют получить больше информации в целом, а не просто взаимодействия более высокого порядка между различными частями входного пространства. Докладчик также рассказывает о сверточных сетях графов (GCN) и о том, как они рассматривают неориентированные графы с правилом обновления, которое применяет весовую матрицу к каждому скрытому представлению от соседей узла. Также обсуждается масштабируемость графовых нейронных сетей с предложением подвыборки числа участников обновлений узлов, чтобы предотвратить взрыв сети.
  
  
• 01:15:00 В этом разделе спикер объясняет графовые нейронные сети (GNN), которые представляют собой тип нейронной сети, используемый для графических данных. GNN меньше зависят от веса, чем полносвязные сети, и инвариантны к перестановкам, что позволяет проводить классификацию на больших графах. GNN имеют косвенную поддержку пограничных функций, и одна адаптация заключается в использовании пограничных вложений для полной передачи сообщений по сети. Спикер использует сети цитирования в качестве примера и объясняет, как работает механизм обновления в GNN.
  
  
• 01:20:00 В этом разделе видео спикер объясняет, как графовая нейронная сеть работает для обновления от края до вершины, и как функция внимания играет жизненно важную роль в обеспечении гибкости и мощности сети. Цель обновления ребра GNN от вершины к вершине состоит в том, чтобы получить состояние одного из ребер, что может быть достигнуто путем агрегирования представлений от инцидентных узлов и применения нелинейной функции, характерной для обновлений ребер. Точно так же обновления вершин включают информацию об инцидентных ребрах узла. Однако краевые активации становятся огромными, что затрудняет обработку больших графов. Функция внимания обеспечивает явное векторное представление без включения всей информации о ребрах, что снижает вычислительные требования моделей, сохраняя при этом их гибкость и мощность. Докладчик описывает, как оценки внимания могут показать, насколько каждый сосед вносит вклад в обновление центрального узла, что позволяет сделать вывод о некоторых отношениях или свойствах вклада.
  
  
• 01:25:00 В этом разделе спикеры обсуждают графовые сверточные сети (GCN), их преимущества и проблемы. GCN позволяют применять несколько слоев по всему графику, и каждое обновление имеет одинаковую форму. Они полезны для классификации узлов, классификации графов и прогнозирования ссылок. Тем не менее, по-прежнему существуют проблемы с оптимизацией из-за параллельных обновлений по всему графу, и, возможно, потребуется исправить константы нормализации, чтобы избежать дестабилизации. Кроме того, GCN могут страдать от проблем с выразительностью по сравнению с другими методами, такими как Graph Attention Networks (GAT). Тем не менее, GCN по-прежнему быстрее, чем методы, требующие встраивания краев или передачи нейронных сообщений.
  
  
• 01:30:00 В этом разделе докладчик обсуждает графовые нейронные сети (GNN), которые представляют собой тип модели, которую можно применять к графам или сетям данных. GNN включают в себя скалярное произведение между представлениями любых двух узлов в графе, применение нелинейной функции, такой как сигмоид, а затем получение вероятности существования этого ребра. GNN также позволяют проводить прогнозное моделирование в таких областях, как взаимодействие генов в биологии. В заключение докладчик резюмирует различные типы обсуждаемых сетей, включая сверточные нейронные сети (CNN), рекуррентные нейронные сети (RNN), модули долговременной кратковременной памяти и модули Transformer.

[MetaQuotes]

Интерпретируемое глубокое обучение - Глубокое обучение в науках о жизни - Лекция 05 (весна 2021 г.)

Интерпретируемое глубокое обучение - Глубокое обучение в науках о жизни - Лекция 05 (весна 2021 г.)

В этом видео обсуждается важность интерпретируемости в моделях глубокого обучения, особенно в области наук о жизни, где решения могут иметь тяжелые последствия. Докладчик объясняет два типа интерпретируемости: встраивание ее в дизайн модели с самого начала и разработка методов постфактум интерпретируемости для уже построенных моделей. Далее они исследуют различные методы интерпретации моделей, включая визуализацию веса, построение суррогатной модели и максимизацию активации, а также обсуждают важность понимания внутренних представлений модели. Лектор также объясняет несколько методов интерпретации индивидуальных решений, таких как методы, основанные на примерах, и методы атрибуции. Кроме того, спикер обсуждает проблему интерпретации сложных концепций и ограничения интерпретации модели нейронной сети, а также исследует гипотезы, связанные с разрывом градиентов в нейронных сетях глубокого обучения.

Во второй части лекции спикер затронул проблемы прерывистых градиентов и насыщенных функций в моделях глубокого обучения в области наук о жизни. Они предложили такие методы, как усреднение небольших отклонений входных данных по нескольким образцам для получения более плавного градиента, использование случайного шума для выделения существенных признаков в классификации изображений, а также методы обратного распространения, такие как деконволюционные нейронные сети и управляемое обратное распространение для интерпретации моделей регуляции генов. Спикер также обсудил количественную оценку методов атрибуции, включая процедуру переворачивания пикселей и подход удаления и замены баллов. Наконец, они подчеркнули необходимость интерпретируемости моделей глубокого обучения и различных методов ее достижения.

• 00:00:00 В этом разделе ведущий обсуждает важность интерпретируемости в глубоком обучении и различные методы ее достижения. Они объясняют, что, хотя модели глубокого обучения могут превзойти людей, важно понимать, как они принимают решения и можно ли доверять этим решениям. Интерпретируемость может помочь при отладке, совершении открытий и предоставлении объяснений решений. Далее ведущий обсуждает антиястребовые и апостериорные методы интерпретации, а также интерпретацию моделей в сравнении с решениями. Затем они углубляются в конкретные методы интерпретации моделей, такие как визуализация веса, построение суррогатных моделей, максимизация активации и модели на основе примеров. Наконец, ведущий обсуждает методы атрибуции и оценку эффективности этих методов с помощью качественных и количественных показателей.
  
  
• 00:05:00 В этом разделе подчеркивается важность интерпретируемости в машинном обучении, особенно в области наук о жизни, где неправильные решения могут иметь дорогостоящие последствия. Традиционного подхода к построению гигантской модели без понимания того, как и почему она работает, уже недостаточно, и вместо этого из моделей черного ящика необходимо извлекать интерпретируемую информацию. Интерпретируемое машинное обучение обеспечивает проверенные прогнозы, оптимизированные не только для ошибки обобщения, но и для человеческого опыта. Важно понимать физические, биологические и химические механизмы болезней, чтобы лучше обучать врачей и понимать, как функционирует человеческий мозг. Кроме того, право на объяснение имеет решающее значение для борьбы с предубеждениями, которые могут быть присущи обучающим наборам данных из-за многовековой дискриминации.
  
  
• 00:10:00 В этом разделе видео спикер обсуждает два типа интерпретируемости в глубоком обучении: встраивание интерпретируемости в дизайн модели и построение интерпретируемости постфактум путем разработки специальных методов интерпретации сложных моделей после их построения. . Они объясняют, что глубокое обучение имеет миллионы параметров, что делает невозможным создание интерпретируемых моделей для начала. Поэтому основное внимание уделяется разработке методов апостериорной интерпретации на основе степени их локальности. Спикер также обсуждает способы построения интерпретируемых нейронных сетей как на уровне модели, так и на уровне принятия решений.
  
  
• 00:15:00 В этом разделе спикер обсуждает два типа интерпретируемых моделей для глубокого обучения: те, которые интерпретируют саму модель, и те, которые интерпретируют решения. Решения могут быть основаны либо на методах атрибуции, либо на методах, основанных на примерах. Спикер также рассказывает об анализе самих представлений и генерации данных из модели. Они вводят четыре типа подходов к анализу представлений, которые включают визуализацию веса, построение суррогатной модели и понимание входных данных, которые максимизируют активационные единицы. Наконец, выступающий подчеркивает важность понимания внутренних представлений модели, в частности иерархических признаков, извлеченных из левой половины модели, которые могут дать представление о том, как модели глубокого обучения делают выводы.
  
  
• 00:20:00 В этом разделе лектор обсуждает идею интерпретации глубокого обучения, рассматривая внутреннюю работу нейронной сети. Он объясняет, что точно так же, как ученые изучали зрительную кору у кошек и обезьян, чтобы понять, как отдельные нейроны возбуждаются в разных направлениях, мы можем смотреть на возбуждение нейронов в нейронной сети, чтобы понять примитивы или особенности, которые сеть научилась распознавать. Однако с миллионами параметров и тысячами внутренних узлов визуализировать каждый из них невозможно. Поэтому лектор вводит идею суррогатных моделей или приближенных моделей, которые проще и интерпретируемее. В лекции также рассматривается максимизация активации, где цель состоит в том, чтобы генерировать данные, которые максимизируют активацию конкретного нейрона.
  
  
• 00:25:00 В этом разделе спикер обсуждает проблему оптимизации, которая включает в себя максимизацию апостериорной вероятности класса для заданных входных данных, а также использование термина регуляризации, чтобы гарантировать, что выходные данные могут быть интерпретированы человеком. Они объясняют, что простая максимизация на основе вероятности класса может привести к изображениям, которые не имеют особого смысла, поэтому дополнительный член регуляризации необходим, чтобы ограничить вывод интерпретируемым. Они также касаются концепции скрытых переменных и параметров, которые могут помочь параметризовать зашумленные векторы и улучшить качество интерпретации. Цель состоит в том, чтобы сгенерировать данные, которые более точно соответствуют данным обучения, чтобы выходные данные напоминали шаблоны, связанные с классом, и их было легче интерпретировать для людей.
  
  
• 00:30:00 Цель состоит в том, чтобы максимизировать или минимизировать определенные функции, а затем использовать эти экземпляры, чтобы понять, как модель принимает свои решения. Это можно сделать путем максимизации активации в пространстве возможных входных данных, где входные данные ограничены человеческим распределением данных. В качестве альтернативы можно использовать генеративную модель для выборки из функции плотности вероятности этого распределения. Заставляя представление находиться в пространстве кода, результирующие изображения становятся более интерпретируемыми и могут использоваться для создания более интерпретируемых моделей. Другие методы построения интерпретируемых моделей включают визуализацию весов, построение суррогатных моделей, которые аппроксимируют выходные данные, и интерпретацию на основе примеров, когда экземпляры, которые либо максимизируют, либо минимизируют определенные функции, используются для понимания процесса принятия решений модели.
  
  
• 00:35:00 В этом разделе спикер обсуждает четыре различных способа интерпретации решений, принимаемых моделью, особенно с точки зрения практического применения. Первый метод основан на примерах, который включает в себя выбор примеров, которые неправильно классифицированы и близки к конкретным входным данным, чтобы научить модель тому, как совершенствоваться. Второй метод — это активная атрибуция, которая включает в себя изучение того, почему конкретный градиент зашумлен. Третий метод — это атрибуция на основе градиента с плавными градациями или внутренними градиентами, а последний метод — атрибуция на основе обратной опоры со сверткой и управляемым черным распространением. Также отмечаются ограничения интерпретации на уровне модели, особенно когда речь идет об определении наилучшего изображения для интерпретации классификации.
  
  
• 00:40:00 В этом разделе спикер обсуждает проблему интерпретации моделей глубокого обучения с точки зрения поиска прототипа или типичного изображения, представляющего сложную концепцию, такую как мотоцикл или подсолнух. Метод, основанный на примерах, вводится как способ определить, какой обучающий пример больше всего влияет на решение, без особого выделения важных особенностей этих изображений. Метод направлен на определение ближайших обучающих изображений на основе их влияния на классификацию конкретного изображения, а не близости пикселей. Спикер также говорит о хрупкости интерпретаций модели нейронной сети и использовании функций влияния для понимания лежащего в основе процесса обучения.
  
  
• 00:45:00 В этом разделе спикер представляет два метода интерпретации моделей глубокого обучения. Во-первых, это интерпретация на основе примеров, при которой рассматриваются отдельные примеры в обучающем наборе, чтобы понять процесс принятия решений нейронной сетью. Второй — это методы атрибуции, которые присваивают значение атрибуции каждому пикселю изображения, чтобы определить, насколько он влияет на решение о классификации. Цель обоих методов — сделать машинное обучение интерпретируемым и понятным для людей, а также определить наиболее заметные особенности изображения. Визуализируя значения атрибуции в виде тепловых карт, исследователи могут лучше понять, как глубокие нейронные сети принимают решения и какие пиксели на изображении больше всего ответственны за это решение.
  
  
• 00:50:00 В этом разделе спикер объясняет, как вычислить заметность изображения, используя ту же методологию, что и обратное распространение во время обучения. Вместо того, чтобы смотреть на производные по весу, они смотрят на производные по пикселям. Затем рассчитывается карта значимости путем визуального сопоставления этих пикселей с изображением. Однако эти карты заметности имеют тенденцию быть зашумленными и неточными. Спикер подробно описывает две гипотезы, объясняющие, почему это так: либо рассеянные пиксели важны для процесса принятия решений нейронной сетью, либо градиенты могут быть прерывистыми. Затем спикер объясняет, как эти гипотезы повлияли на разработку методов работы с зашумленными картами значимости.
  
  
• 00:55:00 В этом разделе лекции спикер обсуждает три гипотезы, связанные с разрывностью градиентов в нейронных сетях глубокого обучения. Первая гипотеза заключается в том, что изучаемая функция не является гладкой, и по мере добавления дополнительных слоев запуск становится чрезвычайно прерывистым, что приводит к ошибочным классификациям. Во-вторых, градиенты являются прерывистыми из-за количества слоев и непроизводных функций, вызывающих шум и допускающих обман в функциях классификации. Третья гипотеза предполагает, что функция насыщается, препятствуя возможности обучения чему-либо более плавному. Чтобы улучшить эти частные производные по входным данным, одна из обсуждаемых возможностей состоит в том, чтобы добавить шум, чтобы возмущать входные данные, и использовать градиент возмущенных входных данных или взять среднее значение по нескольким возмущениям, чтобы сгладить зашумленный градиент.
• 01:00:00 В этом разделе спикер обсудил решения проблем глубокого обучения, вызванных прерывистыми градиентами или насыщенными функциями. К ним относятся методы изменения градиентов или обратного распространения, а также использование нескольких изображений с добавлением шума. Спикер также обсудил различные методы атрибуции, такие как послойное распространение релевантности и глубокий подъем, для интерпретации моделей регуляции генов. Чтобы решить проблему неоднородности градиентов, они предложили определить плавную функцию градиента путем усреднения небольших возмущений входных данных по многим выборкам, эффективно сглаживая функцию градиента, чтобы она работала как неглубокая сеть, а не как глубокая сеть. Кроме того, спикер объяснил, как добавление случайного шума к изображениям может помочь продемонстрировать надежность модели и выделить характерные признаки, периодически используемые при классификации изображений.
  
  
• 01:05:00 В этом разделе лектор обсуждает три гипотезы интерпретации моделей глубокого обучения в области наук о жизни. Вторая гипотеза предполагает, что градиенты прерывисты для любого конкретного изображения, но, взяв выборку из нескольких изображений, окружающих это одно, можно получить более плавный градиент. Третья гипотеза предполагает, что функция насыщается, что приводит к экстремальным активациям. Чтобы решить эту проблему, лектор предлагает уменьшить изображения, чтобы приблизить их к распределяемым функциям. Это делается с помощью внутренних градиентов, которые используются для изменения масштаба пикселей изображения. Также исследуются методы на основе фона, такие как деконволюционные нейронные сети и управляемое обратное распространение из-за проблемы обнуления значений в выпрямленной линейной единице.
  
  
• 01:10:00 В этом разделе спикер обсуждает проблемы обратного распространения в глубоком обучении и то, как их можно решить с помощью деконволюционных нейронных сетей. Сопоставляя шаблоны признаков с входным пространством и реконструируя изображение, деконволюционные нейронные сети могут получить достоверную реконструкцию признаков и удалить шум, удалив отрицательные градиенты. Докладчик также объясняет, как можно использовать направленное обратное распространение для объединения информации из прямого и обратного проходов для создания изображений, представляющих исходное изображение. Кроме того, спикер обсуждает методы оценки этих методов атрибуции, включая качественные и количественные подходы, основанные на согласованности и чувствительности к классам. Наконец, спикер исследует различные методы атрибуции, такие как глубокий подъем, карты заметности и гладкая градация, а также их эффективность в захвате конкретных пикселей, отвечающих за конкретную классификацию.
  
  
• 01:15:00 В этом разделе спикер обсуждает количественную оценку методов атрибуции в глубоком обучении. Цель состоит в том, чтобы оценить, правильно ли эти методы фиксируют предполагаемый интересующий объект и различают разные классы объектов. Докладчик представляет процедуру переворачивания пикселей для удаления отдельных признаков с высокими значениями атрибуции и оценивает функцию классификации для измерения чувствительности метода. Точность атрибуций значимости и классификационных атрибуций можно измерить с помощью кривой, и докладчик предлагает удалить и переобучить для достижения большей точности. В целом, в этом разделе обсуждаются количественные способы оценки эффективности методов атрибуции глубокого обучения.
  
  
• 01:20:00 В этом разделе спикер объясняет, как можно измерить эффективность классификатора, удалив определенные функции на основе метода атрибуции. Подход «удалить и заменить оценку» включает замену определенного процента наиболее или наименее важных пикселей и переобучение глубокой нейронной сети для измерения изменения точности. Это обеспечивает количественную метрику для оценки точности интерпретации решений. Докладчик также напоминает о важности интерпретируемости и различных методах интерпретации моделей глубокого обучения с использованием методов атрибуции и максимизации активации, а также о проблемах апостериорных методов.
  
  
• 01:25:00 В этом разделе лектор обсуждает, как можно ограничить модели глубокого обучения, и наиболее важные функции, обнаруженные с помощью обратного распространения, деконволюции и управляемого обратного распространения. Также были выделены различные методы оценки этих методов разделения, включая согласованность, чувствительность к классам и количественные показатели для удаления функций с высокой атрибуцией. Затем лектор представил методы удаления и переобучения, в которых отдельные пиксели могут быть удалены, переобучены и измерено падение точности. Лекция завершилась обзором пройденных тем и анонсом предстоящих лекций.