Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Лекция 11 — Оптимизация для глубокого обучения — Фрэнк Шнайдер
Numerics of ML 11 — Оптимизация для глубокого обучения — Фрэнк Шнайдер
Фрэнк Шнайдер обсуждает проблемы оптимизации для глубокого обучения, подчеркивая сложность обучения нейронных сетей и важность выбора правильных методов и алгоритмов оптимизации. Он отмечает огромное количество доступных методов и сложность сравнения и сравнительного анализа различных алгоритмов. Шнайдер приводит реальные примеры успешного обучения больших языковых моделей и необходимость нестандартных графиков скорости обучения и изменений в процессе работы, чтобы модель успешно обучалась. Шнайдер подчеркивает важность предоставления пользователям более подробной информации о том, как использовать эти методы и как гиперпараметры влияют на процесс обучения, а также создания упражнений по сравнительному анализу, чтобы помочь практикам выбрать лучший метод для своего конкретного случая использования. Он также обсуждает новые методы, такие как Alpha, и то, как их можно использовать для управления процессом обучения нейронной сети.
Во второй части видео о числовых показателях оптимизации для глубокого обучения Фрэнк Шнайдер представляет инструмент Cockpit «Deep Debugger», который предоставляет дополнительные инструменты для обнаружения и исправления проблем в процессе обучения, таких как ошибки данных и блоки модели. Он объясняет важность нормализации данных для оптимальных гиперпараметров, взаимосвязь между скоростью обучения и точностью тестов, а также проблемы обучения нейронных сетей стохастичности. Шнайдер призывает студентов работать над улучшением обучения нейронных сетей, рассматривая градиент как распределение и разрабатывая более совершенные автономные методы в долгосрочной перспективе.
Лекция 12 — Оптимизация второго порядка для глубокого обучения — Лукас Тацель
Numerics of ML 12 — Оптимизация второго порядка для глубокого обучения — Лукас Тацель
В этом видео Лукас Тацель объясняет методы оптимизации второго порядка для глубокого обучения и их потенциальные преимущества. Он сравнивает траектории и скорости сходимости трех методов оптимизации — SGD, Adam и LBFGS — на примере функции Розенберга в 2D. Тацель отмечает, что скачкообразное поведение SGD замедляет сходимость по сравнению с хорошо информированными шагами LBFGS. Он представляет шаг Ньютона как более быстрый метод оптимизации и обсуждает его ограничения, такие как зависимость от числа обусловленности. Тацель также объясняет концепцию обобщенной матрицы Гаусса-Ньютона (GGN) как приближение к матрице Гессе для решения плохо обусловленных задач. Кроме того, он обсуждает проблему области доверия, как работать с невыпуклыми целевыми функциями и подход без гессиана, который использует компьютерную графику для минимизации квадратичных функций.
Во второй части видео рассматриваются методы оптимизации второго порядка для глубокого обучения, включая BFGS и LBFGS, оптимизацию без гессиана и KFC. Спикер поясняет, что подход без гессиана линеаризует модель с помощью векторного произведения Якоби, а KFC — это приблизительная кривизна, основанная на официальных информационных метриках. Однако при использовании этих методов могут возникать стохастичность и погрешности, и для решения этих проблем рекомендуется демпфирование. Докладчик предлагает использовать специализированные алгоритмы, которые могут использовать более богатые величины, такие как распределения, для обновления, и отмечает, что фундаментальная проблема стохастичности остается нерешенной. В целом методы оптимизации второго порядка предлагают частичное решение проблем глубокого обучения.
Лекция 13 — Неопределенность в глубоком обучении — Агустинус Кристиади
Numerics of ML 13 -- Неопределенность в глубоком обучении -- Агустинус Кристиади
В видео обсуждается неопределенность в глубоком обучении, особенно в весах нейронных сетей, и важность включения неопределенности из-за проблемы асимптотической чрезмерной уверенности, когда нейронные сети дают прогнозы с высокой степенью достоверности для примеров вне распределения, которые не следует классифицировать с помощью уверенность. Видео дает представление о том, как использовать величины второго порядка, в частности оценки кривизны, для получения неопределенности в глубоких нейронных сетях, используя распределение Гаусса для аппроксимации весов последнего слоя и матрицу Гессе для оценки кривизны нейронной сети. В видео также обсуждаются байесовский формализм и приближения Лапласа для выбора моделей и параметров нейронных сетей.
Во второй части лекции Агустинус Кристиади в этом видео обсуждает различные способы введения неопределенности в модели глубокого обучения. Один из методов включает использование линеаризованных аппроксимаций Лапласа для преобразования нейронной сети в модель Гаусса. Другим подходом является обучение вне распределения, при котором неопределенность добавляется в областях, не охваченных исходным обучающим набором. Кристиади подчеркивает важность добавления неопределенности для предотвращения чрезмерной уверенности в модели и предлагает использовать вероятностные меры, чтобы избежать затрат на поиск идеального апостериорного прогноза. Эти методы будут подробно изучены в следующем курсе по вероятностному машинному обучению.
Лекция 14 -- Заключение -- Филипп Хенниг
Numerics of ML 14 -- Заключение -- Филипп Хенниг
Филипп Хенниг дает краткое изложение курса «Численные основы машинного обучения», подчеркивая важность решения математических задач в машинном обучении, связанных с численным анализом, таких как интеграция, оптимизация, дифференциальные уравнения и линейная алгебра. Он обсуждает сложность выполнения линейной алгебры над набором данных и ее связь с процессором и диском. Хенниг также охватывает такие темы, как обработка наборов данных нетривиальных размеров, алгоритмы решения линейных систем, решение уравнений в частных производных и оценка интегралов. В заключение он признает сложность обучения глубоких нейронных сетей и необходимость решения проблемы стохастичности.
В заключение своей серии лекций Филипп Хенниг подчеркивает важность выхода за рамки простого обучения моделей машинного обучения и понимания того, что модель знает и чего не знает. Он говорит об оценке кривизны функции потерь для построения оценок неопределенности для глубоких нейронных сетей и важности вероятностного подхода, но не обязательного применения теоремы Байеса в каждом случае из-за сложности вычислений. Хенниг также подчеркивает важность численных вычислений в машинном обучении и необходимость разработки новых способов вычислений, ориентированных на данные. Наконец, он предлагает оставить отзыв о курсе и обсуждает предстоящий экзамен.
Метод опорных векторов (SVM) за 7 минут - Fun Machine Learning
Метод опорных векторов (SVM) за 7 минут - Fun Machine Learning
В видео рассказывается о машинах опорных векторов (SVM), алгоритме классификации, используемом для наборов данных с двумя классами, который рисует границу решения или гиперплоскость на основе крайних значений набора данных. В нем также обсуждается, как SVM можно использовать для нелинейно разделимых наборов данных, преобразовывая их в многомерные пространства признаков с помощью трюка ядра. В видео показаны преимущества SVM, такие как эффективность в многомерных пространствах, эффективность использования памяти и возможность использовать разные ядра для пользовательских функций. Тем не менее, видео также указывает на недостатки алгоритма, такие как низкая производительность, когда количество признаков превышает количество выборок и отсутствие прямых оценок вероятности, которые требуют дорогостоящей перекрестной проверки.
Революция глубокого обучения — Джеффри Хинтон
«Революция глубокого обучения» — Джеффри Хинтон — Лекция президента RSE, 2019 г.
Джеффри Хинтон, известный как «Крестный отец глубокого обучения», обсуждает историю и эволюцию глубокого обучения и нейронных сетей, проблемы и захватывающие возможности использования глубокого обучения для создания машин, которые могут обучаться так же, как человеческий мозг, и трюки и методы, которые сделали обратное распространение более эффективным. Он также описывает успех нейронных сетей в распознавании речи и компьютерном зрении, эволюцию нейронных сетей для компьютерного зрения и неконтролируемого предварительного обучения, а также их эффективность в языковом моделировании и машинном переводе. В заключение он подчеркивает ценность рассуждений по аналогии и обсуждает свою теорию «капсул» и связывание знаний в модель, которая предсказывает части из целого.
Джеффри Хинтон, пионер в области глубокого обучения, читает лекцию, выступающую за интеграцию ассоциативной памяти, быстрой памяти и множественных временных масштабов в нейронные сети, чтобы обеспечить долгосрочное знание и временное хранение, что необходимо для реальных рассуждений. Кроме того, он обсуждает балансирование между предыдущими убеждениями и данными, потенциал обучения без учителя, эффективность сверточных сетей в распознавании объектов с включением знаний о точке зрения и трансляционной эквивариантности, а также необходимость сочетать символическое рассуждение с коннекционистскими сетями, такими как трансформатор. сети. Он также обращается к проблеме бессознательных предубеждений в машинном обучении и считает, что их можно исправить легче, чем человеческие предубеждения, путем выявления и исправления предубеждений. Наконец, он подчеркивает необходимость большего финансирования и поддержки молодых исследователей в области ИИ.
Как на самом деле работает ChatGPT
Как на самом деле работает ChatGPT
ChatGPT — это модель машинного обучения, способная правильно идентифицировать вредоносный контент в чатах. Его архитектура основана на человеческом вкладе, и описаны его недостатки. Подробнее о нем можно узнать из рекомендуемой литературы.
Машинное обучение с нуля Полный курс
Машинное обучение с нуля Полный курс
Самостоятельное внедрение моделей машинного обучения — один из лучших способов освоить их. Несмотря на то, что задача кажется сложной, для большинства алгоритмов она зачастую оказывается проще, чем вы можете себе представить. В течение следующих 10 дней мы будем использовать Python и время от времени Numpy для конкретных расчетов, чтобы каждый день реализовывать один алгоритм машинного обучения.
Вы можете найти код в нашем репозитории GitHub: https://github.com/AssemblyAI-Examples/Machine-Learning-From-Scratch.
Как реализовать KNN с нуля с помощью Python
Как реализовать KNN с нуля с помощью Python
В видео под названием «Как реализовать KNN с нуля с помощью Python» спикер объясняет, как создать классификатор KNN с нуля с помощью Python. Они охватывают шаги, связанные с реализацией алгоритма, такие как вычисление расстояния между новой точкой данных и другими точками в наборе данных, выбор k ближайших точек и определение метки для классификации или среднего значения для регрессии. Докладчик реализует алгоритм с помощью класса на Python и демонстрирует его успешную реализацию на наборе данных радужной оболочки глаза с точностью 96%. Они также приглашают зрителей проверить код в их репозитории Github и задать вопросы в разделе комментариев.
Как реализовать линейную регрессию с нуля с помощью Python
Как реализовать линейную регрессию с нуля с помощью Python
В этом видео показан процесс реализации линейной регрессии с нуля с использованием Python. Докладчик объясняет, как найти наилучшую подходящую линию, используя среднеквадратичную ошибку, и как рассчитать веса и смещения с помощью градиентного спуска. Докладчик также обсуждает, как скорость обучения влияет на сходимость, и демонстрирует, как тестировать модель с помощью функции набора данных scikit-learn. Они также исправляют опечатку в коде и корректируют скорость обучения, чтобы улучшить соответствие строки прогноза. Код размещен на GitHub, и зрителям предлагается задавать вопросы.
результат, и вычисляется ошибка уравнения, что упрощает использование матричного умножения со всеми точками данных для вычисления градиентов. Во время тестирования обученная модель прогнозирует результаты, используя уравнение.