Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Лекция 22. Градиентный спуск: спуск к минимуму
22. Градиентный спуск: спуск к минимуму
В видео «Градиентный спуск: спуск к минимуму» спикер обсуждает важность градиентного спуска в оптимизации и глубоком обучении, где целью является минимизация функции. Докладчик представляет градиент и гессиан, а также иллюстрирует шаги наискорейшего спуска с использованием квадратичной функции. Спикер также обсуждает, как интерпретировать градиент и гессиан, а также их роль в измерении выпуклости. Докладчик углубляется в выбор подходящей скорости обучения, подчеркивая важность числа условий в управлении скоростью сходимости. Видео также содержит практические примеры и формулы, помогающие понять концепцию градиентного спуска, включая метод тяжелого мяча.
Лекция 23. Ускоряющийся градиентный спуск (используйте Momentum)
23. Ускоряющийся градиентный спуск (используйте импульс)
В этом видео обсуждается концепция импульса в ускорении градиентного спуска. Докладчик объясняет основную формулу градиентного спуска и показывает, как добавление импульса может привести к более быстрому спуску, чем обычный метод, что в конечном итоге дает значительные улучшения. Они также обсуждают непрерывную модель наискорейшего спуска и объясняют, как ее можно анализировать как дифференциальное уравнение второго порядка с импульсным членом. Докладчик подчеркивает важность минимизации обоих собственных значений при использовании импульса для минимизации наибольшего собственного значения путем выбора значений s и бета, чтобы сделать собственные значения матрицы как можно меньше. Они также обсуждают метод Нестерова и предполагают, что можно добиться дальнейших улучшений, вернувшись на два или три шага назад или более.
Лекция 24. Линейное программирование и игры на двоих
24. Линейное программирование и игры для двоих.
Это видео на YouTube посвящено линейному программированию и играм для двух человек. Линейное программирование — это процесс оптимизации линейной функции затрат с учетом набора линейных ограничений, который используется в таких областях, как экономика и инженерия. В видео объясняются алгоритмы, используемые в линейном программировании, в том числе симплексный метод и методы внутренних точек, а также концепция двойственности, когда основная задача и ее двойственная задача тесно связаны и могут быть решены с использованием симплексного метода. В видео также показано, как линейное программирование можно применить к играм для двух человек, включая процесс нахождения верхней границы максимального потока в сети и решение игры с матрицей. Наконец, в видео кратко обсуждаются ограничения применения этих методов к играм для трех и более человек и упоминается, что следующая лекция будет посвящена стохастическому градиентному спуску.
Лекция 25. Стохастический градиентный спуск
25. Стохастический градиентный спуск
В этом видеоролике представлена концепция стохастического градиентного спуска (SGD) как метода оптимизации для решения крупномасштабных задач машинного обучения, часто представляемых в виде задачи с конечной суммой. Докладчик объясняет, как SGD выбирает случайные точки данных для вычисления градиента, чтобы ускорить вычисления, и как он ведет себя иначе, чем пакетный градиентный спуск, поскольку он приближается к оптимуму из-за флуктуирующего характера метода. Ключевым свойством SGD является то, что оценка стохастического градиента является несмещенной версией истинного ожидаемого градиента, и дисперсию стохастического градиента необходимо контролировать, чтобы уменьшить шум. Использование мини-пакетов обсуждается как средство дешевого параллелизма в обучении GPU для глубокого обучения, но выбор правильного размера мини-пакета все еще остается открытым вопросом, который может повлиять на надежность решения при наличии невидимых данных. Проблемы оптимизации SGD включают определение размера мини-пакета и вычисление стохастических градиентов, но исследователи пытаются понять эффективность SGD в нейронных сетях, разрабатывая теорию обобщения.
Лекция 26. Структура нейронных сетей для глубокого обучения
26. Структура нейронных сетей для глубокого обучения
В этом видео обсуждается структура нейронных сетей для глубокого обучения. Цель состоит в том, чтобы классифицировать данные двоичным способом путем построения нейронной сети с векторами признаков, которые имеют m признаков, создавая функцию обучения, которая может классифицировать данные как одну из двух категорий. Нелинейность важна при создании этих функций, поскольку линейные классификаторы не могут разделить нелинейные данные. В видео также обсуждается важность количества весов и слоев в нейронной сети, а также предоставляются ресурсы, такие как игровая площадка TensorFlow, чтобы пользователи могли практиковаться в создании функций. Наконец, в видео обсуждается рекурсия, используемая для доказательства формулы количества плоских кусочков, полученных при разрезании торта, и ее отношение к задаче оптимизации по минимизации общих потерь при глубоком обучении.
27. Обратное распространение: поиск частных производных
27. Обратное распространение: поиск частных производных
В этом видео рассматриваются несколько тем, связанных с обратным распространением ошибки и нахождением частных производных. Докладчик демонстрирует использование цепного правила для частных производных и подчеркивает важность порядка вычислений при умножении матриц. Обратное распространение выделено как эффективный алгоритм вычисления градиентов, и приведены различные примеры, демонстрирующие его эффективность. Кратко обсуждается сходимость стохастического градиентного спуска, а также идея проекта, связанная с использованием случайного порядка отсчетов функции потерь в стохастическом градиентном спуске. В целом, видео предоставляет всесторонний обзор обратного распространения и его приложений.
Лекция 30: Заполнение матрицы первого ранга, циркулянты!
Лекция 30: Заполнение матрицы первого ранга, циркулянты!
В лекции 30 лектор обсуждает заполнение матрицы первого ранга и циркулянтных матриц. Они начинают с определителя 2x2 и используют его для сужения того, какие значения могут быть заполнены в матрице, чтобы сделать ее ранговой. Затем лектор переходит к комбинаторной задаче для матрицы 4x4 и знакомит с циркулянтными матрицами, которые содержат циклические шаблоны, которые можно создать только с четырьмя заданными числами. В лекции также рассматриваются циклическая свертка, собственные значения и собственные векторы циркулянтных матриц, которые важны при обработке сигналов.
Лекция 31. Собственные векторы циркулянтных матриц: матрица Фурье
31. Собственные векторы циркулянтных матриц: матрица Фурье.
В этом видео о собственных векторах циркулянтных матриц спикер обсуждает, как циркулянтные матрицы связаны с обработкой изображений и машинным обучением, а также его связь с матрицей Фурье. Докладчик подчеркивает важность понимания сверточных и циркулянтных матриц по отношению к дискретному преобразованию Фурье (ДПФ) и преобразованиям Фурье. Докладчик обсуждает собственные векторы циркулянтных матриц, в частности матрицу Фурье, и то, как все они строятся из одного и того же набора восьми чисел, которые также являются собственными значениями. Спикер также рассказывает о свойствах матрицы Фурье, в том числе о том, что столбцы ортогональны, но не ортонормированы, и как ее собственные векторы складываются до нуля из-за симметрии циркулянтной матрицы, что делает их ортогональными друг другу. Наконец, спикер демонстрирует концепцию вектора Аргана как собственного вектора матрицы Фурье на примерах.
Лекция 32: ImageNet — это сверточная нейронная сеть (CNN), правило свертки
Лекция 32: ImageNet — это сверточная нейронная сеть (CNN), правило свертки
В лекции 32 курса глубокого обучения обсуждается мощь сверточных нейронных сетей (CNN) в классификации изображений на примере конкурса ImageNet, выигранного большой глубокой CNN, включающей сверточные слои, нормальные слои и максимальные объединяющие слои. Лекция также посвящена правилу свертки, которое связывает умножение и свертка, с примерами двумерных сверток, использованию произведения Кронекера для двумерного преобразования Фурье и при обработке сигналов, а также разнице между периодическими и непериодическими случаи в отношении свертки. Лектор также обсуждает собственные векторы и собственные значения циркулянтной матрицы и операцию суммы Кронекера.
Лекция 33. Нейронные сети и функция обучения
33. Нейронные сети и функция обучения
В этом видео спикер обсуждает построение функции обучения f для нейронных сетей, которая оптимизируется методом градиентного спуска или стохастического градиентного спуска и применяется к обучающим данным для минимизации потерь. Он объясняет использование нарисованной от руки картинки для иллюстрации концепции нейронных сетей и функции обучения, а также различные функции потерь, используемые в машинном обучении, включая кросс-энтропийные потери. Докладчик также рассказывает о задаче нахождения положения точек по заданным расстояниям между ними, которая является классической задачей с различными приложениями, например, при определении формы молекул с помощью ядерного магнитного резонанса. В заключение он обсуждает построение X, последний шаг в получении структуры нейронной сети, и упоминает вызов добровольцев для обсуждения проекта в пятницу.