Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Курс Numerics of Machine Learning в Тюбингенском университете в зимний семестр 2022/23. Лекция 1 - Введение -- Филипп Хенниг
Numerics of ML 1 -- Введение -- Филипп Хенниг
В этом видео Филипп Хенниг обсуждает важность понимания численных алгоритмов в машинном обучении и представляет содержание курса для этого термина. Первым рассмотренным числовым алгоритмом является линейная алгебра с приложением в регрессии гауссовых процессов. Хенниг также обсуждает роль моделирования, дифференциальных уравнений, интеграции и оптимизации в машинном обучении. Он представляет новые разработки в численных алгоритмах, такие как алгоритмические шипы, наблюдаемые и вероятностные численные алгоритмы. На протяжении всего видео Хенниг подчеркивает важность обновления классических алгоритмов, используемых в машинном обучении, для решения сложных задач, а также подчеркивает роль написания кода на этом уроке информатики.
Филипп Хенниг представляет свой курс «Численные основы машинного обучения», целью которого является изучение того, как алгоритмы машинного обучения функционируют внутри коробки и как их можно адаптировать или изменить для улучшения обучающихся машин. Высокотехнические знания в области численных алгоритмов и алгоритмов машинного обучения пользуются большим спросом у исследователей и профессионалов отрасли. Курс будет состоять из теории и работы по кодированию, а задания оцениваются по двоичной системе. Хенниг подчеркивает важность численных алгоритмов в машинном обучении и предлагает студентам присоединиться к этому уникальному учебному эксперименту с девятью разными инструкторами.
Лекция 2 -- Численные методы линейной алгебры -- Марвин Пфертнер
Numerics of ML 2 -- Численные методы линейной алгебры -- Марвин Пфертнер
Численные методы линейной алгебры лежат в основе машинного обучения, гауссовских процессов и других методов непараметрической регрессии. Лекция охватывает различные аспекты числовой линейной алгебры, в том числе важность понимания структуры матрицы для более эффективного умножения, оптимизацию алгоритмов машинного обучения путем решения задач выбора гиперпараметров и вычисления ядерных матриц, а также решение линейной системы с использованием Разложение LU, среди прочего. В лекции также подчеркивается важность правильной реализации алгоритмов, поскольку алгоритм, используемый для математических операций, оказывает значительное влияние на производительность, стабильность и потребление памяти.
Во второй части видео Марвин Пфертнер обсуждает важность численной линейной алгебры в алгоритмах машинного обучения. Он охватывает различные темы, включая разложение LU, разложение Холецкого, лемму об обращении матриц и регрессию гауссовского процесса. Пфертнер подчеркивает важность использования структуры для повышения эффективности алгоритмов и подчеркивает важность численной стабильности при решении больших систем уравнений в регрессии гауссовского процесса. Он также обсуждает такие методы, как активное обучение и аппроксимации низкого ранга для обработки больших наборов данных и потенциальные ограничения памяти матриц ядра. В целом видео демонстрирует решающую роль, которую числовая линейная алгебра играет во многих аспектах машинного обучения.
Лекция 3 -- Масштабирование гауссовских процессов -- Джонатан Венгер
Numerics of ML 3 -- Масштабирование гауссовских процессов -- Джонатан Венгер
Джонатан Венгер обсуждает методы масштабирования гауссовских процессов для больших наборов данных в видео «Числовые данные ML 3». Он исследует итерационные методы для решения линейных систем и изучения обратной матрицы с основной целью достижения обобщения, простоты/интерпретируемости, оценки неопределенности и скорости. Венгер вводит приближения низкого ранга к матрице ядра, такие как итеративное разложение Холецкого, метод частичного Холецкого и методы сопряженных градиентов. Он также обсуждает предварительную подготовку для ускорения сходимости и повышения стабильности при работе с большими наборами данных. Наконец, он предлагает использовать ортогональную матрицу Z для перезаписи следа матрицы, что потенциально может привести к квадратичному времени для масштабирования гауссовских процессов.
Во второй части лекции Джонатан Венгер обсуждает масштабирование гауссовских процессов (GP) для больших наборов данных в этом видео. Он представляет различные стратегии для улучшения скорости сходимости оценок Монте-Карло для регрессии GP, включая использование существующих предварительных условий для решения линейной системы для оценки матрицы ядра и ее обратной. Он также вводит идею линейного времени GP посредством вариационной аппроксимации и обращается к количественной оценке неопределенности с использованием метода индуцирующих точек. Используя эти стратегии, с помощью графического процессора возможно масштабирование до наборов данных, содержащих до миллиона точек данных, что упрощает быструю оптимизацию гиперпараметров.
Лекция 4 -- Гауссовские процессы с поддержкой вычислений -- Джонатан Венгер
Numerics of ML 4 -- Гауссовские процессы с поддержкой вычислений -- Джонатан Венгер
В этом видеоролике, посвященном числовым характеристикам машинного обучения, Джонатан Венгер обсуждает гауссовские процессы с учетом вычислений и их способность количественно определять ошибку аппроксимации и неопределенность в прогнозах. Он исследует важность выбора правильных действий и то, как сопряженные градиенты могут значительно уменьшить неопределенность и ускорить обучение. Венгер также говорит об использовании аппроксимаций ГП линейного времени, основанных на индуцированных точках, но выделяет проблемы, возникающие в результате таких аппроксимаций. Наконец, он обсуждает обновление представлений о репрезентативных весах и использование алгоритмов вероятностного обучения для устранения ошибки репрезентативных весов. В целом видео демонстрирует эффективность гауссовских процессов с учетом вычислений в повышении точности прогнозов за счет учета вычислительных неопределенностей.
Джонатан Венгер также обсуждает в этом видео гауссовский процесс с учетом вычислений и его сложность. Он объясняет, что необходимо вычислить и сохранить только верхний квадрант матрицы ядра, а вычислительная стоимость алгоритма пропорциональна размеру этого квадранта. Процесс Гаусса можно использовать для наборов данных произвольного размера, если вычисления нацелены только на определенные точки данных, стирая грань между данными и вычислениями. Венгер утверждает, что GP можно смоделировать для учета этой ситуации, обусловив прогнозируемые данные. Он вводит новую теорему, которая позволяет точно определить количественную оценку неопределенности с помощью приближенной модели. Наконец, он анонсирует лекцию на следующей неделе о расширении модели GP на случаи, когда физический закон частично управляет изучаемой функцией.
Лекция 5 -- Модели пространства состояний -- Джонатан Шмидт
Numerics of ML 5 -- Модели в пространстве состояний -- Джонатан Шмидт
В этом разделе Джонатан Шмидт представляет модели в пространстве состояний и их применение в машинном обучении. Он объясняет, что модели в пространстве состояний используются для моделирования сложных динамических систем, которые поддаются наблюдению лишь частично и включают сильно нелинейные взаимодействия. Лекция посвящена графическому представлению моделей в пространстве состояний и важным свойствам марковских свойств и условно независимых измерений. Шмидт представляет различные алгоритмы для вычисления различных распределений, таких как распределения предсказания, фильтрации и сглаживания, которые используются для оценки состояния системы с использованием измерений, полученных в разные моменты времени. Лекция также охватывает реализацию алгоритмов фильтра Калмана в Джулии и вычисление оценок сглаживания в линейных гауссовских моделях пространства состояний. Наконец, Шмидт обсуждает расширенный фильтр Калмана, который позволяет оценивать нелинейную динамику и измерения в моделях в пространстве состояний.
Джонатан Шмидт также обсуждает модели в пространстве состояний и их реализацию с помощью кода, уделяя особое внимание нелинейной динамике и расширенному фильтру Калмана. Он также демонстрирует алгоритмы сглаживания и альтернативные методы байесовской фильтрации, выделяя их плюсы и минусы. Лекция завершается рекомендацией по дальнейшему обучению и ожиданием следующей лекции, на которой Натаниэль представит вероятностные числа для моделирования динамических систем.
Лекция 6 -- Решение обыкновенных дифференциальных уравнений -- Натанаэль Бош
Numerics of ML 6 -- Решение обыкновенных дифференциальных уравнений -- Натаниэль Бош
Натанаэль Бош раскрывает концепцию ОДУ в машинном обучении, которые описывают производную функции с учетом ее входных данных и модельных систем, которые развиваются с течением времени. Он обсуждает проблемы решения ОДУ и представляет численные методы, такие как прямой Эйлер и обратный Эйлер, а также их свойства устойчивости. Bosch исследует различные численные методы и их компромиссы в отношении точности и сложности, такие как явные методы средней точки и классические методы четвертого порядка. Он подчеркивает важность локальных ошибок, порядка и понимания стабильности, чтобы избежать проблем при использовании библиотек для решения ОДУ.
Во второй части видео обсуждается проблема оценки векторного поля и начального значения обыкновенного дифференциального уравнения (ОДУ) с использованием методов машинного обучения. Докладчик объясняет важность записи генеративной модели и модели наблюдения для состояний ОДУ для решения задачи логического вывода. Функция правдоподобия максимизируется за счет минимизации отрицательного логарифмического правдоподобия, что дает оценку параметра. Докладчик демонстрирует этот подход с использованием модели SIR-D и обсуждает использование нейронных сетей для улучшения оценки частоты контактов. Также подчеркивается важность ОДУ в исследованиях машинного обучения и их роль в решении реальных проблем.
Лекция 7 -- Вероятностные численные решатели обыкновенных дифференциальных уравнений -- Натаниэль Бош
Numerics of ML 7 -- Вероятностные численные решатели ОДУ -- Натаниэль Бош
В этом видео Натаниэль Бош представляет концепцию вероятностных численных решателей ОДУ, которые объединяют оценку состояния и численные решатели ОДУ для получения распределений по состояниям или решений ОДУ. Bosch объясняет, как интегрированный в Q раз Винеровский процесс можно использовать для моделирования истинного решения и как этот процесс позволяет количественно оценивать и распространять неопределенности в системе. Затем он демонстрирует, как использовать расширенные фильтры Калмана для решения ОДУ и как размер шага влияет на оценку ошибки. Видео заканчивается обсуждением калибровки неопределенности и использования расширенного фильтра Калмана для оценки параметров в нелинейных моделях пространства состояний.
Во второй части лекции Натанаэль Бош рассказывает о преимуществах использования вероятностных методов для решения ОДУ, в том числе о получении значимых оценок неопределенности и гибкости включения дополнительных функций модели, таких как начальные значения. Он демонстрирует этот подход на таких примерах, как гармонический осциллятор и дифференциальные алгебраические уравнения. Bosch также показывает, как добавление дополнительной информации и использование вероятностных методов может привести к более значимым результатам, на примере модели эпидемии, которая не смогла точно представить данные с помощью традиционных скалярных методов. Он использует расширенные фильтры Калмана и сглаживатели для решения ОДУ посредством оценки состояния, рассматривая оценку как вероятностную задачу, и подчеркивает важность байесовского подхода при принятии решений.
Лекция 8 -- Уравнения с частными производными -- Марвин Пфертнер
Numerics of ML 8 -- Уравнения с частными производными -- Марвин Пфертнер
Марвин Пфертнер обсуждает дифференциальные уравнения в частных производных (УЧП) и их значение при моделировании различных систем реального мира. Он объясняет, как УЧП представляют механизм системы с неизвестной функцией и линейным дифференциальным оператором, но требуют решения для параметров, которые часто неизвестны. Вывод гауссовского процесса можно использовать для анализа моделей PDE и внедрения механистических знаний в статистические модели. Пфертнер исследует распределение тепла в центральном процессоре компьютера, ограничивая модель двумерным распределением тепла и представляя предположения, сделанные для модели. В лекции также рассматривается использование гауссовских процессов для решения уравнений в частных производных и добавление реалистичных граничных условий для моделирования неопределенности. В целом, подход GP в сочетании с понятием информационного оператора позволяет нам включать предварительные знания о поведении системы, вводить механистические знания в форме линейного УЧП и обрабатывать граничные условия и правые части.
Во второй части этого видео Марвин Пфертнер обсуждает использование гауссовских процессов для решения уравнений в частных производных (УЧП) путем оценки вероятностной меры по функциям, а не точечной оценки. Он объясняет преимущества количественного определения неопределенности и отмечает, что этот подход является более честным, поскольку он признает неопределенность в оценке функции правой части УЧП. Пфертнер также объясняет ядро Матерна, которое полезно на практике и может управлять дифференцируемостью GP, и предоставляет формулу для вычисления параметра P для ядра Матерна. Далее он объясняет, как построить d-мерное ядро для УЧП, взяв произведения одномерных ядер Матерна по измерениям, и важность математической осторожности при построении модели.
Лекция 9 -- Монте-Карло -- Филипп Хенниг
Numerics of ML 9 -- Монте-Карло -- Филипп Хенниг
В этом видео на тему Монте-Карло Филипп Хенниг объясняет, почему интеграция является фундаментальной проблемой машинного обучения, когда речь идет о байесовском выводе с использованием теоремы Байеса. Он представляет алгоритм Монте-Карло как особый способ интегрирования и дает краткую историю метода. Он также обсуждает свойства алгоритмов Монте-Карло, такие как несмещенная оценка и уменьшение дисперсии с увеличением количества выборок. Кроме того, Хенниг углубляется в алгоритм Метрополиса-Гастингса, цепь Маркова Монте-Карло и гамильтониан Монте-Карло, предоставляя обзор свойств каждого алгоритма и того, как они работают при выборке из распределения вероятностей. В конечном счете, Хенниг отмечает важность понимания того, почему используются алгоритмы, а не слепого их применения, для достижения оптимальных и эффективных результатов.
Во второй части видео Филипп Хенниг обсуждает методы Монте-Карло для многомерных распределений, в частности алгоритм No U-turn Sampler (NUTS), который преодолевает проблему с идеей U-turn, нарушающей детальный баланс. Хенниг подчеркивает, что хотя эти алгоритмы сложны и сложны в реализации, их понимание имеет решающее значение для их эффективного использования. Он также ставит под сомнение рефлекторный подход к вычислению ожидаемых значений с использованием методов Монте-Карло и предполагает, что могут быть другие способы аппроксимации без случайности. Хенниг обсуждает концепцию и ограничения случайности, отсутствие скорости сходимости для методов Монте-Карло и предлагает рассмотреть другие методы машинного обучения, а не полагаться на детерминированную случайность.
Лекция 10 -- Байесовская квадратура -- Филипп Хенниг
Numerics of ML 10 -- Байесовская квадратура -- Филипп Хенниг
В этом видео Филипп Хенниг обсуждает байесовскую квадратуру как эффективный метод решения вычислительной задачи интеграции в машинном обучении. Он объясняет, как функция с действительным знаком может быть однозначно идентифицирована, но трудно ответить на вопросы напрямую. Байесовская квадратура - это метод вывода, который рассматривает проблему нахождения интеграла как проблему вывода, устанавливая априорную оценку неизвестного объекта и величин, которые можно вычислить, а затем выполняет байесовский вывод. Хенниг также сравнивает этот подход с отклонением Монте-Карло и выборкой по важности, показывая, как байесовская квадратура может превзойти классические квадратурные правила. В лекции рассматривается алгоритм фильтра Калмана для байесовской квадратуры и его связь с классическими алгоритмами интегрирования, а также обсуждение использования оценок неопределенности в численных методах. Наконец, Хенниг исследует, как социальная структура численных вычислений влияет на разработку алгоритмов, обсуждает метод разработки вычислительных методов для конкретных задач и то, как вероятностное машинное обучение может оценивать ошибку в режиме реального времени.
Во второй части видео Филипп Хенниг обсуждает байесовскую квадратуру, которая включает в себя наложение априорных распределений на интересующие нас величины, такие как интегралы и значения алгоритмов, для вычисления чего-либо в байесовском стиле. Метод присваивает как апостериорную оценку, так и оценку неопределенности вокруг оценок, которые можно идентифицировать с помощью классических методов. Хенниг объясняет, как алгоритм адаптируется к наблюдаемой функции и использует процедуру активного обучения, чтобы определить, где оценивать дальше. Этот алгоритм может работать в более высоких измерениях и имеет нетривиально умные скорости сходимости. Он также обсуждает ограничения классических алгоритмов и квадратурных правил и предлагает обходной путь с помощью адаптивного мышления.