Машинное обучение и нейронные сети - страница 5

[MetaQuotes]

Лекция 10 - Нейронные сети

Caltech's Machine Learning Course - CS 156. Lecture 10 - Neural Networks

Ясер Абу-Мостафа, профессор Калифорнийского технологического института, обсуждает в этой лекции логистическую регрессию и нейронные сети. Логистическая регрессия — это линейная модель, которая вычисляет вероятностную интерпретацию ограниченной действительной функции. Он не может оптимизировать свою меру ошибки напрямую, поэтому для минимизации произвольной нелинейной функции, достаточно гладкой и дважды дифференцируемой, вводится метод градиентного спуска. Хотя решения в закрытой форме не существует, мера ошибки представляет собой выпуклую функцию, что позволяет относительно легко оптимизировать ее с помощью градиентного спуска.

Стохастический градиентный спуск — это расширение градиентного спуска, которое используется в нейронных сетях. Нейронные сети — это модель, реализующая гипотезу, основанную на биологической точке зрения и связанную с персептронами. Алгоритм обратного распространения — это эффективный алгоритм, который работает с нейронными сетями и делает модель особенно практичной. Модель имеет биологическую связь, которая взбудоражила людей, и ее было легко реализовать с помощью алгоритма. Хотя в настоящее время это не модель выбора, нейронные сети успешно применяются на практике и до сих пор используются в качестве стандарта во многих отраслях, таких как банковское дело и одобрение кредитов.

Краткое содержание:

• Логистическая регрессия — это линейная модель, которая вычисляет вероятностную интерпретацию ограниченной действительно функции;
• Метод градиентного спуска введен для оптимизации логистической регрессии, но он не может оптимизировать меру ошибки напрямую;
• Стохастический градиентный спуск — это расширение градиентного спуска, которое используется в нейронных сетях;
• Нейронные сети — это модель, реализующая гипотезу, основанную на биологической точке зрения и связанную с персептронами;
• Алгоритм обратного распространения — это эффективный алгоритм, который работает с нейронными сетями и делает модель особенно практичной;
• Хотя в настоящее время нейронные сети не являются предпочтительной моделью, они по-прежнему используются в качестве стандарта во многих отраслях, таких как банковское дело и одобрение кредитов.

[MetaQuotes]

Лекция 11 - Переобучение

Caltech's Machine Learning Course - CS 156. Lecture 11 - Overfitting

Эта лекция знакомит с концепцией и важностью переобучения в машинном обучении. Переобучение происходит, когда модель обучается на шуме, а не на сигнале, что приводит к плохой подгонке вне выборки. Лекция включает в себя различные эксперименты, иллюстрирующие влияние различных параметров, таких как уровень шума и сложность цели, на переоснащение. Лектор подчеркивает важность раннего обнаружения переобучения и использования методов регуляризации и проверки для его предотвращения. Также обсуждается влияние детерминированного и стохастического шума на переобучение, и лекция завершается введением следующих двух лекций о том, как избежать переобучения с помощью регуляризации и проверки.

Обсуждается концепция переобучения и подчеркивается важность регуляризации для его предотвращения. Профессор подчеркивает компромисс между переоснащением и недообучением и объясняет роль измерения VC в переоснащении, когда несоответствие в измерении VC при одинаковом количестве примеров приводит к расхождениям в ошибках вне выборки и внутри выборки. Также рассматривается практический вопрос проверки модели и то, как она может повлиять на переоснащение и выбор модели. Кроме того, профессор подчеркивает роль кусочно-линейных функций в предотвращении переобучения и подчеркивает важность учета количества степеней свободы в модели и их ограничения посредством регуляризации.

• 00:00:00 В этом разделе лектор знакомит с темой переобучения в машинном обучении и его важности, отмечая, что умение справляться с переоснащением отличает профессионалов от любителей в этой области. Главный виновник переобучения определяется как шум, и лектор вводит концепцию регуляризации и проверки как методы борьбы с переобучением. Этот раздел служит введением в новую тему, которая будет рассмотрена в следующих трех лекциях.
  
  
• 00:05:00 В этом разделе лектор объясняет концепцию переобучения, показывая, как это может произойти при подгонке полинома 4-го порядка к целевой функции 2-го порядка с добавлением шума. Это приводит к нулевой ошибке обучения и плохой подгонке вне выборки, что является классическим примером переобучения, когда модель пошла дальше, чем нужно. Этот момент еще больше подчеркивается при обсуждении переобучения в нейронных сетях, поскольку E_in снижается во время обучения, а E_out остается высоким. Лектор также отмечает, что переобучение — это сравнительный термин, так как должна быть другая ситуация, которая лучше, и переобучение может происходить в рамках одной и той же модели.
  
  
• 00:10:00 В этом разделе профессор Абу-Мостафа обсуждает переподгонку, которая происходит, когда E_in снижается, а E_out увеличивается из-за подгонки шума вместо сигнала. Он объясняет, что эффективная размерность VC растет со временем, но ошибка обобщения становится все хуже и хуже по мере увеличения количества параметров. Переобучение может произойти при сравнении двух разных моделей или экземпляров одной и той же модели. Один из способов исправить это — обнаружить переобучение с помощью алгоритма ранней остановки, основанного на проверке, который действует как регуляризация для предотвращения переобучения. Чтобы избежать подгонки шума при переоснащении, важно обнаружить его на ранней стадии и остановить, а не продолжать минимизировать E_in.
  
  
• 00:15:00 В этом разделе лектор обсуждает, как может происходить переобучение из-за наличия шума в данных. Представлено тематическое исследование с двумя разными моделями: одна с шумной целью низкого порядка, а другая с бесшумной целью высокого порядка. Полином 2-го порядка и полином 10-го порядка используются для подбора данных. Для подгонки второго порядка ошибка внутри выборки составляет 0,05, а ошибка вне выборки немного выше. Напротив, подгонка 10-го порядка представляет проблему, поскольку ошибка в выборке меньше, чем у подгонки 2-го порядка. Однако ошибка вне выборки резко возрастает, указывая на случай переобучения, когда шум был вписан в модель.
  
  
• 00:20:00 В этом разделе лектор обсуждает переобучение и то, как оно может происходить даже в бесшумных ситуациях, когда модель подгоняется под другой тип шума. Он приводит пример подгонки модели 10-го порядка к зашумленной цели 10-го порядка и того, как это привело к переобучению. Затем он показывает, что сопоставление сложности модели с ресурсами данных, а не с целевой сложностью, может привести к повышению производительности, несмотря на более простую модель. Лектор подчеркивает, что вопросы обобщения зависят от размера и качества набора данных, и простое сопоставление сложности модели с целевой функцией — не всегда лучший подход.
  
  
• 00:25:00 В этом разделе исследуется концепция переобучения в машинном обучении. В лекции используются кривые обучения, чтобы продемонстрировать, как ошибка внутри выборки для более сложной модели меньше, но ошибка вне выборки больше, определяя серую область, где происходит переобучение. В лекции также показан эксперимент с двумя учащимися, один выбирает 10-й порядок, а другой выбирает 2-й порядок, чтобы соответствовать мишени 50-го порядка без шума. Несмотря на отсутствие шума, оба обучающихся по-прежнему испытывают переоснащение, что приводит к определению фактического шума и необходимости проявлять осторожность при решении реальных задач машинного обучения. В лекции делается вывод о том, что в большинстве случаев происходит переоснащение, подчеркивая важность понимания и решения этой проблемы.
  
  
• 00:30:00 В этом разделе лектор обсуждает параметры, влияющие на переоснащение, включая уровень шума, сложность цели и количество точек данных. Для создания интересных целевых функций высокой сложности лектор использует стандартный набор полиномов Лежандра с определенными коэффициентами, ортогональными друг другу. Приведя сигнал к энергии, равной 1, лектор может заявить, что сигма в квадрате представляет собой количество шума. При создании экземпляров эксперимента лектор использует различные комбинации шума, целевой сложности и количества точек данных, чтобы наблюдать постоянство переобучения.
  
  
• 00:35:00 В этом разделе лектор обсуждает метод измерения переобучения, который сравнивает вневыборочные ошибки двух разных моделей: полинома 2-го порядка и полинома 10-го порядка. Мерой является разница между ошибкой вне выборки для сложной модели и ошибкой вне выборки для простой модели. Если ошибка сложной модели вне выборки больше, что приводит к положительному показателю, то имеет место переоснащение. Затем лектор показывает, как мера переобучения меняется в зависимости от уровня шума и сложности цели. По мере увеличения уровня шума и увеличения сложности цели переобучение ухудшается. Лектор также отмечает, что переоснащение является серьезной проблемой и требует решения.
  
  
• 00:40:00 В этом разделе концепция шума при переобучении расширена за пределы обычного шума и разделена на стохастический шум и детерминированный шум. Отмечено, что больше данных обычно приводит к меньшему переобучению, а увеличение стохастического или детерминированного шума приводит к большему переобучению. Детерминированный шум определяется как часть целевой функции, которую не может захватить набор гипотез, и он помечен как шум, поскольку набор гипотез не может с ним справиться. Концепция того, что что-то, что не может быть захвачено, является шумом, дополнительно исследуется с использованием гипотетического сценария, включающего объяснение комплексных чисел младшим братьям и сестрам с ограниченным пониманием чисел.
  
  
• 00:45:00 В этом разделе лекции объясняется разница между детерминированным и стохастическим шумом, а также анализируется влияние детерминированного шума на переобучение. Подчеркивается, что детерминированный шум зависит от используемого набора гипотез, и по мере увеличения сложности мишени также увеличиваются детерминированный шум и переобучение. Однако этого не происходит до тех пор, пока целевая сложность не превысит определенный уровень. Для конечного N те же проблемы со стохастическим шумом применимы к детерминированному шуму, поскольку вы можете зафиксировать часть его из-за ограниченного размера выборки. Также упоминается, что использование более сложного набора гипотез не всегда лучше и может привести к переоснащению.
  
  
• 00:50:00 В этом разделе лектор обсуждает проблему переобучения при заданной конечной выборке. Он объясняет, что, имея конечную выборку, можно подобрать шум, как стохастический, так и детерминированный, что может привести к ухудшению производительности. Лектор проводит количественный анализ, который добавляет шум к цели, чтобы понять роль стохастического и детерминированного шума. Он складывает и вычитает центроид и эпсилон, готовясь к получению квадратов членов и перекрестных членов, что приводит к члену дисперсии, члену смещения и добавленному члену. Добавленный термин — это просто сигма в квадрате, дисперсия шума.
  
  
• 00:55:00 В этом разделе лекции спикер обсуждает разложение ожидаемого значения на смещение и дисперсию и как они связаны с детерминированным и стохастическим шумом. Оба представляют наилучшее приближение к целевой функции и шуму, который невозможно предсказать, соответственно. Увеличение количества примеров уменьшает дисперсию, но и систематическая ошибка, и дисперсия неизбежны при наличии гипотезы. И детерминированный шум, и стохастический шум имеют конечную версию точек данных, которые влияют на дисперсию, делая подгонку более восприимчивой к переобучению. Докладчик ведет следующие две лекции о том, как избежать переобучения, обсуждая два подхода: регуляризацию и проверку. Регуляризация похожа на притормаживание, чтобы избежать переоснащения, в то время как валидация проверяет итоговую строку, чтобы избежать переобучения.

• 01:00:00 В этом разделе профессор обсуждает концепцию сдерживания переобучения с помощью ограниченной подгонки или регуляризации. Он использует пример подгонки точек к многочлену 4-го порядка, но предотвращает его полное подгонку, создавая в нем некоторое трение. Величина применяемого тормоза минимальна, но приводит к резкому сокращению переоснащения при сохранении фантастической посадки. Профессор отмечает, что важно понимать регуляризацию и то, как ее выбрать, чтобы предотвратить переоснащение. Сессия вопросов и ответов посвящена важности рандомизации в стохастическом градиентном спуске и тому, как вывести ошибку вне выборки на графиках нейронной сети.
  
  
• 01:05:00 В этом разделе профессор объясняет, что детерминированный и стохастический шум в сценарии обучения одинаковы, потому что детерминированный шум вызван неспособностью набора гипотез приблизиться к целевой функции. В реальных задачах обучения сложность целевой функции, как правило, неизвестна, и шум не может быть идентифицирован. Цель концептуального понимания переобучения состоит в том, чтобы избежать переоснащения без учета особенностей шума. Переобучение является синонимом переобучения по отношению к той же модели. Другие источники ошибок, такие как числа с плавающей запятой, оказывают ограниченное влияние на переоснащение, которое никогда не упоминается. Что касается линейной модели третьего порядка (логистическая регрессия), профессор поясняет, что при применении к линейно разделимым данным можно достичь локального минимума и нулевой ошибки в выборке.
  
  
• 01:10:00 В этом разделе профессор обсуждает проблему переобучения и его версию с конечной выборкой, которая возникает из-за вклада шума как от стохастических, так и от детерминированных факторов в конечной выборке. Это приводит к тому, что алгоритм подгоняет этот шум, что вредно, когда дело доходит до подбора более крупных моделей, таких как H_10. Обсуждая использование кусочно-линейных функций для предотвращения переобучения, профессор подчеркивает важность учета количества степеней свободы в вашей модели и принятия мер по ограничению вашей модели с точки зрения подгонки посредством регуляризации. Наконец, профессор освещает практический вопрос проверки модели и того, как это может повлиять на переоснащение и выбор модели.
  
  
• 01:15:00 В этом разделе профессор обсуждает компромисс между переобучением и недообучением и объясняет, что для того, чтобы прийти к лучшей гипотезе, вам может потребоваться лишить себя ресурса, который можно было бы использовать для обучения. Профессор также подробно останавливается на измерении VC (Вапник-Червоненкис) и на том, как оно связано с переоснащением, заявляя, что несоответствие в измерении VC при одинаковом количестве примеров является причиной расхождений вне выборки и в - ошибка образца. Профессор также поясняет, что, несмотря на то, что они иллюстрировали целевую сложность на цветных графиках, целевая сложность не измеряется явно, и нет четкого способа отобразить ее в энергию детерминированного шума. Наконец, профессор обсуждает, как целевая сложность может преобразовываться во что-то в декомпозиции смещения и дисперсии и влияет на переоснащение и обобщение.

[MetaQuotes]

Лекция 12 - Регуляризация

Caltech's Machine Learning Course - CS 156. Lecture 12 - Regularization

Эта лекция о регуляризации начинается с объяснения переобучения и его негативного влияния на обобщение моделей машинного обучения. Обсуждаются два подхода к регуляризации: математический и эвристический. Затем в лекции рассматривается влияние регуляризации на смещение и дисперсию в линейных моделях на примере полиномов Лежандра в качестве расширяющихся компонентов. Также рассматривается взаимосвязь между C и лямбда в регуляризации, с введением в расширенную ошибку и ее роль в обосновании регуляризации для обобщения. Также обсуждаются методы уменьшения/роста веса и важность выбора правильного регуляризатора, чтобы избежать переобучения. Лекция заканчивается акцентом на выборе хорошей омеги в качестве эвристического упражнения и надеждой на то, что лямбда послужит спасением для регуляризации.

Во второй части обсуждается снижение веса как способ сбалансировать простоту сети с ее функциональностью. Лектор предостерегает от чрезмерной регуляризации и неоптимальной производительности, подчеркивая необходимость использования проверки для определения оптимальных параметров регуляризации для различных уровней шума. Регуляризация обсуждается как экспериментальная с теоретической и практической основой. Вводятся общие типы регуляризации, такие как L1/L2, ранняя остановка и отсев, а также способы определения подходящего метода регуляризации для различных задач. Также обсуждаются общие гиперпараметры, связанные с реализацией регуляризации.

• 00:00:00 В этом разделе Ясер Абу-Мостафа подробно рассматривает переоснащение, которое происходит, когда модель слишком хорошо соответствует данным за счет плохого обобщения. Даже если данные не зашумлены, детерминированный шум может возникать из-за ограничений модели, что приводит к шаблону, который вредит ошибке вне выборки и вызывает переоснащение. Тем не менее, Абу-Мостафо представляет регуляризацию как первое лекарство от переобучения, которое является методом, используемым почти во всех приложениях машинного обучения, и его важно понимать.
  
  
• 00:05:00 В этом разделе лектор обсуждает два подхода к регуляризации в машинном обучении. Первый подход является математическим, при котором ограничения гладкости накладываются для решения некорректных задач, но допущения, сделанные в этих разработках, не всегда реалистичны для практических приложений. Второй подход является эвристическим и включает в себя ограничение минимизации ошибки в выборке за счет торможения подбора, что помогает бороться с переобучением. Лектор приводит пример с использованием синусоиды и аппроксимации линии, показывая, что, регулируя и контролируя смещение и наклон линий, мы можем повысить производительность вне выборки.
  
  
• 00:10:00 В этом разделе лектор обсуждает влияние регуляризации на смещение и дисперсию линейной модели. При использовании регуляризации дисперсия уменьшается, а смещение немного увеличивается из-за несовершенного соответствия. Лектор использует пример полиномиальной модели с полиномами Лежандра в качестве расширяющихся компонентов, чтобы продемонстрировать влияние регуляризации на смещение и дисперсию. При регуляризации линейная модель превосходит нерегулярную модель и даже постоянную модель. Лекция посвящена математическому развитию одного из самых известных методов регуляризации в машинном обучении с упором на конкретные выводы и уроки, которые можно извлечь из реальных ситуаций.
  
  
• 00:15:00 В этом разделе лектор знакомит с полиномами Лежандра и объясняет, как их можно использовать для построения набора гипотез для полиномиальной регрессии. При использовании этих полиномов, которые являются ортогональными и имеют дело с разными координатами, релевантным параметром является комбинация весов, а не только один отдельный вес. Набор гипотез может быть параметризован и представлен в линейной форме, что позволяет легко находить аналитические решения. Целевая функция неизвестна, и цель состоит в том, чтобы получить для нее хорошее приближение, используя конечный обучающий набор. Лектор также рассматривает неограниченные и ограниченные решения для минимизации ошибки в выборке с использованием линейной регрессии.
  
  
• 00:20:00 В этом разделе лектор обсуждает концепцию регуляризации, которая представляет собой ограничение, применяемое к весам наборов гипотез. Регуляризация включает в себя установку бюджета C для общей величины квадрата весов, что означает, что вы не можете иметь все веса слишком большими. Проблема состоит в том, чтобы свести к минимуму внутривыборочную ошибку при наличии этого ограничения. Решение получается с использованием множителей Лагранжа или ККТ, что дает новое решение с именем w_reg. Лектор объясняет, что цель состоит в том, чтобы выбрать точку внутри круга, которая сводит к минимуму внутривыборочную ошибку, что требует максимально возможного расширения без нарушения ограничения.
  
  
• 00:25:00 В этом разделе обсуждается концепция регуляризации, целью которой является создание модели, которая хорошо обобщает невидимые данные. Решением линейной регрессии является минимальный абсолют, который удовлетворяет ограничению. Основное внимание уделяется выводу аналитического условия для достижения минимума E_in с учетом ограничения, чтобы найти компромисс между целью и ограничением. Градиент целевой функции должен быть ортогонален эллипсу, а вектор w направлен в сторону красной поверхности. Аналитическое условие для w_reg состоит в том, что градиент должен быть пропорционален отрицательному значению решения. Минимизируя уравнение решения, вы безусловно получаете минимум E_in.
  
  
• 00:30:00 В этом разделе лекции обсуждается взаимосвязь параметров C и лямбда при регуляризации. Чем больше значение C, тем меньше значение лямбда, поскольку меньше внимания уделяется члену регуляризации. И наоборот, по мере уменьшения C член регуляризации становится более значительным, и значение лямбда должно увеличиваться, чтобы обеспечить выполнение условия. В лекции также представлена дополнительная ошибка, которая представляет собой сумму функции ошибки и члена регуляризации. Это эквивалентно задаче оптимизации без ограничений, заключающейся в минимизации функции ошибки при наличии ограничения. Это соответствие оправдывает регуляризацию с точки зрения обобщения и применимо к любому регуляризатору. Наконец, в лекции приводится формула минимизации аугментированной ошибки, а в заключение приводится решение.
  
  
• 00:35:00 В этом разделе спикер обсуждает решение проблемы регуляризации. Решение представлено w_reg, которое является модификацией псевдообратного решения с дополнительным членом регуляризации. При чистых предположениях у нас есть одноэтапное обучение, включая регуляризацию. Другими словами, мы можем сразу получить решение, не выполняя оптимизацию с ограничениями. Член регуляризации в решении становится доминирующим по мере увеличения лямбда, что сбивает w_reg до нуля, создавая все меньше и меньше решения. Затем выступающий применяет регуляризацию к знакомой задаче, показывая, что выбор лямбды имеет решающее значение, и потребуется эвристический выбор типа регуляризатора.
  
  
• 00:40:00 В этом разделе представлена концепция регуляризации и связанный с ней метод, известный как снижение веса. Распад веса — известный регуляризатор в машинном обучении, который включает в себя минимизацию w, транспонированного w, и обеспечение того, чтобы веса были малы, чтобы было дано название «распад». При использовании нейронных сетей уменьшение веса может быть реализовано с помощью пакетного градиентного спуска, где добавление этого члена уменьшает веса перед любым движением в весовом пространстве, что ограничивает то, сколько можно узнать о функции, когда λ велико. Варианты уменьшения веса включают присвоение факторов важности определенным весам и использование различных констант для экспериментов с типом используемого регуляризатора.
  
  
• 00:45:00 В этом разделе лектор обсуждает методы уменьшения и увеличения веса, которые являются ограничениями, используемыми в машинном обучении для ограничения диапазона весов, используемых моделями. Уменьшение веса включает в себя ограничение моделей на использование меньших весов, в то время как рост веса ограничивает большие веса. Лектор объясняет, что для достижения наилучшей производительности вне выборки необходимо выбрать оптимальное значение лямбда для обоих методов. Кроме того, лектор обсуждает, как выбрать правильный регуляризатор, подчеркивая важность предотвращения переобучения с помощью рекомендаций, которые помогают выбрать регуляризаторы. В конечном итоге лектор рекомендует использовать практические правила, помогающие найти оптимальные регуляризаторы, например избегать высокочастотного стохастического шума.
  
  
• 00:50:00 В этом разделе лекции инструктор объясняет различные типы шума, которые могут привести к переобучению, и почему важно выбрать регуляризатор, который имеет тенденцию выбирать более гладкие гипотезы. Он определяет общую форму регуляризации и дополнительную ошибку, которая минимизируется, что аналогично уравнению, используемому в анализе VC. Он также обсуждает соответствие между сложностью отдельной гипотезы и сложностью набора объектов, а также то, как E_aug является лучшей оценкой E_out, чем E_in.
  
  
• 00:55:00 В этом разделе лекции о регуляризации обсуждается идея дополненной ошибки как лучшего прокси для ошибки вне выборки. Регуляризация направлена на уменьшение переобучения, которое, по сути, больше соответствует шуму, чем сигналу. Руководящий принцип при выборе регуляризатора состоит в том, чтобы двигаться в направлении более сглаженного, поскольку шум не является сглаженным, а более сглаженные решения, как правило, больше вредят шуму, чем подгоняющему сигналу. Понятие «более простое» также вводится в случае, когда более «гладкое» не подходит. Выбор хорошей омеги — это эвристическое упражнение, и применяемые математические расчеты хороши настолько, насколько хороши предположения, на которых они основаны. Лекция заканчивается надеждой, что лямбда послужит спасением при выборе регуляризатора.

• 01:00:00 В этом разделе лекции исследуется концепция уменьшения веса для нейронных сетей, где маленькие веса приводят к простоте функции, а большие веса приводят к логической зависимости, позволяющей реализовать любую функциональность. Другой формой регуляризатора является устранение веса, когда некоторые веса в сети принудительно равны нулю, что приводит к меньшей размерности VC, что позволяет лучше обобщать и снижает вероятность переобучения. Введено исключение мягкого веса, при котором к сети применяется непрерывная функция, чтобы выделять одни веса над другими. Наконец, ранняя остановка обсуждается как форма регуляризатора, который рекомендует останавливать обучение до его окончания, поскольку это способ косвенно упростить функцию.
  
  
• 01:05:00 В этом разделе профессор объясняет, что регуляризация осуществляется через оптимизатор и что мы не меняем целевую функцию. Вместо этого мы передаем целевую функцию, которая представляет собой ошибку в выборке, оптимизатору и приказываем минимизировать ее. Затем профессор предостерегает от простого помещения регуляризатора в оптимизатор, что может привести к чрезмерной регуляризации и неоптимальной производительности, если не сделать это правильно. Он подчеркивает важность захвата как можно большего количества целевой функции, а затем использования проверки для определения оптимального значения параметра регуляризации, лямбда. Затем профессор показывает, как выбор лямбда меняется в зависимости от уровня шума и как использование проверки может помочь определить наилучший возможный результат с учетом шума. Наконец, он обсуждает использование разных типов регуляризаторов с разными параметрами в зависимости от производительности.
  
  
• 01:10:00 В этом разделе профессор обсуждает использование регуляризаторов в машинном обучении, которое является экспериментальной деятельностью, а не полностью принципиальной деятельностью. Подход машинного обучения находится где-то между теорией и практикой, а это означает, что он имеет прочную основу в обоих. Профессор использует полиномы Лежандра в качестве ортогональных функций, потому что они обеспечивают интересный уровень общности, а решение простое. Регуляризация позволяет пользователю найти золотую середину для наилучшей производительности, которая может находиться между двумя дискретными шагами. Добавленный член регуляризации явно не зависит от набора данных. Однако оптимальный параметр лямбда будет зависеть от тренировочного набора, который будет определяться валидацией.
  
  
• 01:15:00 В этом разделе вводится понятие регуляризации, которое включает в себя добавление штрафного члена к функции потерь, чтобы избежать переобучения в моделях машинного обучения. Два наиболее распространенных типа регуляризации, L1 и L2, обсуждаются вместе с их соответствующими преимуществами и недостатками. Кроме того, объясняется использование раннего прекращения и отсева в качестве альтернативных методов регуляризации. Лекция завершается обзором того, как определить подходящий метод регуляризации для данной проблемы, а также общими гиперпараметрами, которые следует учитывать при реализации регуляризации.

[MetaQuotes]

Лекция 13 - Валидация

Caltech's Machine Learning Course - CS 156. Lecture 13 - Validation

В лекции 13 основное внимание уделяется проверке как важному методу машинного обучения для выбора модели. Лекция посвящена особенностям валидации, в том числе тому, почему она называется валидацией и почему она важна для выбора модели. Перекрестная проверка также обсуждается как тип проверки, который позволяет использовать все доступные примеры для обучения и проверки. Лектор объясняет, как оценить вневыборочную ошибку с помощью случайной величины, которая берет вневыборочную точку и вычисляет разницу между гипотезой и целевым значением. В лекции также обсуждается предвзятость, возникающая при использовании оценки для выбора конкретной модели, поскольку она больше не является надежной, поскольку она была выбрана на основе проверочного набора. Вводится понятие перекрестной проверки как метода оценки вневыборочной ошибки для различных гипотез.

Также он описывает использование перекрестной проверки для выбора модели и проверки для предотвращения переобучения, уделяя особое внимание «исключению одного» и 10-кратной перекрестной проверке. Профессор демонстрирует важность учета несоответствия вне выборки и отслеживания данных и предлагает использовать методы рандомизации, чтобы избежать систематической ошибки выборки. Он объясняет, что хотя перекрестная проверка может добавить сложности, ее сочетание с регуляризацией позволяет выбрать лучшую модель, а поскольку проверка не требует предположений, она уникальна. Профессор далее объясняет, как перекрестная проверка может помочь сделать принципиальный выбор даже при сравнении различных сценариев и моделей, и как общее количество баллов проверки определяет планку погрешностей и систематическую ошибку.

• 00:00:00 В этом разделе основное внимание уделяется проверке — еще одному важному методу машинного обучения, используемому для выбора модели. Этот процесс включает в себя выбор размера проверочного набора и его использование для проверки процесса выбора модели. Лекция посвящена особенностям валидации, в том числе тому, почему она называется валидацией и почему она важна для выбора модели. Обсуждение также охватывает перекрестную проверку, которая представляет собой тип проверки, позволяющий использовать все доступные примеры для обучения и проверки. В лекции валидация противопоставляется регуляризации в том, что касается контроля.
  
  
• 00:05:00 В этом разделе лектор обсуждает проверку и регуляризацию в контексте известного уравнения, которое имеет дело с разницей между ошибкой внутри выборки и ошибкой вне выборки из-за сложности модели. Регуляризация оценивает штраф за сложность переобучения, в то время как проверка пытается напрямую оценить ошибку вне выборки. Лектор объясняет, как оценить вневыборочную ошибку с помощью случайной величины, которая берет вневыборочную точку и вычисляет разницу между гипотезой и целевым значением. Лектор подчеркивает, как дисперсия влияет на качество оценки, и предлагает использовать полный набор баллов вместо одного.
  
  
• 00:10:00 В этом разделе вводится понятие набора проверки и ошибки проверки как объективной оценки ошибки вне выборки. Ожидаемое значение ошибки проверки — E_out, что является другой формой ожидаемого значения в одной точке. Дисперсия ошибки проверки анализируется, чтобы показать улучшение оценки, основанной на E_val, по сравнению с одной точкой. Дисперсия оказывается пропорциональной 1/K, а это означает, что увеличение K может уменьшить планку ошибок и повысить надежность оценки. Однако количество баллов проверки не является бесплатным и напрямую влияет на количество баллов, доступных для обучения.
  
  
• 00:15:00 В этом разделе основное внимание уделяется процессу проверки, при котором K точек берутся из N точек для целей проверки, а оставшееся подмножество D_train используется для обучения. Также важно отметить полезность наличия надежной оценки проверочного набора, чтобы гарантировать надежность окончательной гипотезы. Однако получение надежной оценки плохого количества не должно быть целью. С увеличением значения K оценка становится более надежной, но качество гипотезы снижается. Таким образом, жизненно важно найти способ не платить цену, связанную с увеличением K. Один из способов — восстановить набор данных после оценки ошибки и обучить полный набор для получения лучших результатов.
  
  
• 00:20:00 В этом разделе основное внимание уделяется компромиссу производительности при использовании проверочного набора во время обучения. Сокращенный набор D_train будет иметь меньше примеров по сравнению с полным обучающим набором D, используя который мы получаем окончательную гипотезу g минус. Чтобы получить оценку, мы оцениваем g минус на проверочном наборе D_val, а затем добавляем остальные примеры обратно в банк и сообщаем g. Однако большой K означает, что разница между g минус и g больше, и это влияет на надежность оценки, которую мы сообщаем. Следовательно, существует эмпирическое правило использовать одну пятую для проверки, чтобы получить лучшее из обоих миров. Мы называем это проверкой, потому что она влияет на процесс обучения и помогает сделать выбор.
  
  
• 00:25:00 В этом разделе основное внимание уделяется пониманию разницы между ошибкой теста и ошибкой проверки. Когда тестовый набор несмещен и используется для оценки E_out, в оценке будут колебания. Если используется ранняя остановка, систематическая ошибка оценки изменяется. В сценарии мини-обучения легко увидеть, что ожидаемое значение минимума меньше 0,5, что делает его оптимистичным. То же самое происходит при выборе точки для ранней остановки - выбирается точка минимальная по реализации, и вводится оптимистический уклон.
  
  
• 00:30:00 В этом разделе лекции обсуждается использование проверочного набора для выбора модели в машинном обучении. Процесс включает в себя обучение M моделей с использованием набора данных, разделенного на обучающий и проверочный наборы, а затем оценку производительности каждой модели в проверочном наборе для получения оценок вневыборочной ошибки. Выбирается модель с наименьшей ошибкой проверки, но из-за этого процесса выбора возникает риск систематической ошибки. Тем не менее, на практике систематическая ошибка, как правило, незначительна и может быть принята для получения надежной оценки вневыборочной ошибки.
  
  
• 00:35:00 В этом разделе лектор обсуждает предвзятость, возникающую при использовании оценки для выбора конкретной модели, поскольку она уже не является надежной, поскольку была выбрана на основе проверочного множества. Ожидаемое значение оценщика становится смещенной оценкой вневыборочной ошибки. Эксперимент с двумя моделями дал кривую, указывающую на систематический уклон в сторону той или иной модели. Кривые на графике показывают кривую обучения в обратном направлении и то, как уменьшается ошибка вне выборки, с дополнительными примерами для обучения. По мере увеличения размера проверочного набора оценка становится более надежной, а кривые, показывающие ошибки моделей, сходятся.
  
  
• 00:40:00 В этом разделе лекция объясняет, как оценить несоответствие или смещение между обучением на наборе специальных гипотез и поиском окончательной гипотезы с использованием набора проверки. Набор проверки рассматривается как ошибка обучения для окончательного набора гипотез, и с небольшим количеством математики, связанной с размерностью VC и эффективной сложностью, можно получить оценку ошибки вне выборки. Хотя большее количество примеров улучшит оценку, необходимо учитывать логарифмический вклад при выборе из большего числа гипотез. Тем не менее, при работе с одним параметром эффективная сложность соответствует размерности VC, равной 1, с которой не так уж сложно справиться. Следовательно, если у вас есть подходящий набор, то оценка вневыборочной ошибки не будет слишком сильно отличаться от фактического значения.
  
  
• 00:45:00 В этом разделе спикер обсуждает идею загрязнения данных при использовании оценок ошибок для принятия решений, особенно в контексте проверки. Обучающая выборка считается полностью загрязненной, а тестовая — полностью чистой и дает объективную оценку. Однако проверочный набор немного загрязнен, потому что он используется для принятия нескольких решений, поэтому важно не увлекаться и при необходимости переходить к другому проверочному набору. Затем спикер представляет перекрестную проверку как режим проверки, который может получить лучшую оценку с меньшей планкой ошибок, если в процессе она не предвзята.
  
  
• 00:50:00 В этом разделе профессор знакомит с концепцией проверки посредством перекрестной проверки, в частности, методом «исключить одно». В этом методе набор данных делится на две части: одна точка используется для проверки, а остальные — для обучения. Процесс повторяется для разных точек, что приводит к нескольким несмещенным и несовершенным оценкам. Поскольку все оценки основаны на обучении с N минус 1 точками данных, они имеют общую нить. Несмотря на то, что они несовершенны, повторные оценки дают представление о поведении модели и помогают оптимизировать ее для достижения наилучшей производительности вне выборки.
  
  
• 00:55:00 В этом разделе вводится понятие перекрестной проверки как метода оценки вневыборочной ошибки для различных гипотез. Разделив набор данных на наборы для обучения и проверки, можно оценить производительность модели на невидимых данных. Метод «исключить одно» используется для иллюстрации процесса. Обсуждается эффективность перекрестной проверки, при этом показано, что использование N минус 1 точек для обучения и N точек для проверки чрезвычайно эффективно для получения точных результатов.

• 01:00:00 В этом разделе профессор обсуждает использование перекрестной проверки для выбора модели. Он демонстрирует это, сравнивая линейную и постоянную модели с тремя точками, и показывает, как постоянная модель выигрывает. Затем он применяет перекрестную проверку к проблеме поиска разделяющей поверхности для рукописных цифр, используя нелинейное преобразование 5-го порядка с 20 функциями. Он использует перекрестную проверку «исключая одну» для сравнения 20 моделей и выбирает, где прекратить добавление функций. Он показывает, что ошибка перекрестной проверки тесно связана с ошибкой вне выборки, и что ее использование в качестве критерия для выбора модели приводит к минимуму в 6 функциях с улучшенной производительностью по сравнению с использованием полной модели без проверки.
  
  
• 01:05:00 В этом разделе профессор обсуждает использование проверки для предотвращения переобучения и ее сходство с регуляризацией. Он объясняет, что проверка «исключая один» нецелесообразна для большинства реальных проблем, и предлагает вместо этого использовать 10-кратную перекрестную проверку. Он также дает рекомендации по количеству используемых параметров в зависимости от размера набора данных и поясняет, почему выбор модели путем проверки не считается отслеживанием данных.
  
  
• 01:10:00 В этом разделе профессор обсуждает важность учета несоответствия вне выборки и отслеживания данных при использовании проверочного набора для выбора модели. Он подчеркивает необходимость использования методов рандомизации, таких как подбрасывание монет, чтобы избежать смещения выборки, и использование методов перекрестной проверки для выбора параметра регуляризации во многих практических случаях. Хотя перекрестная проверка может увеличить вычислительную сложность, ее также можно сочетать с регуляризацией для выбора наилучшей гипотезы для модели. Профессор отмечает, что, хотя существуют и другие методы выбора модели, валидация уникальна тем, что не требует предположений.
  
  
• 01:15:00 В этом разделе профессор обсуждает, как валидация может помочь сделать принципиальный выбор при выборе моделей, независимо от характера выбора, а также как ее можно использовать для обновления модели в случае временной эволюции или системы отслеживания эволюция. Сравнивая валидацию и перекрестную валидацию, он объясняет, что оба метода имеют предвзятость, но перекрестная валидация позволяет использовать больше примеров как для обучения, так и для валидации, что приводит к меньшему уровню ошибок и меньшей уязвимости к предвзятости. Хотя наборы данных могут быть настолько большими, что перекрестная проверка не требуется, профессор приводит пример, когда даже при 100 миллионах точек перекрестная проверка все же была полезной из-за характера данных.
  
  
• 01:20:00 В этом разделе профессор обсуждает сценарии, в которых перекрестная проверка полезна, и устраняет связанные с ней потенциальные проблемы. Он объясняет, что перекрестная проверка становится актуальной, когда наиболее важная часть большого набора данных меньше, чем весь набор. При выборе между конкурирующими моделями необходимы статистические данные, чтобы определить значимость вневыборочной ошибки. Профессор утверждает, что при меньшем наборе данных нет однозначного ответа на вопрос, что лучше — повторная выборка или разбить набор на куски для перекрестной проверки. Профессор также обсуждает роль баланса между классами и то, как ведет себя предвзятость при увеличении количества не учитываемых баллов. Наконец, профессор объясняет, что общее количество точек проверки определяет планку ошибок, а смещение зависит от того, как используется перекрестная проверка.
  
  
• 01:25:00 В этом разделе профессор обсуждает планку погрешности и то, как она может указать на уязвимость к систематической ошибке в оценке. Если два сценария имеют сопоставимые полосы погрешностей, нет оснований полагать, что один из них более уязвим для предвзятости. Однако необходим подробный анализ, чтобы увидеть разницу между рассмотрением одного сценария за раз и рассмотрением корреляций. Профессор приходит к выводу, что если выполняется определенное количество сгибов и каждый пример появляется в оценке перекрестной проверки ровно один раз, между сценариями нет предпочтения с точки зрения систематической ошибки.

[MetaQuotes]

Лекция 14 - Машины опорных векторов (Support Vector Machines)

Caltech's Machine Learning Course - CS 156. Lecture 14 - Support Vector Machines

В лекции рассказывается о важности проверки и ее использовании в машинном обучении, а также о преимуществах перекрестной проверки перед проверкой. В центре внимания лекции находятся машины опорных векторов (SVM) как наиболее эффективная модель обучения для классификации, с подробным описанием раздела, который включает в себя максимизацию поля, формулировку и аналитические решения посредством представленной оптимизации с ограничениями. Лекция охватывает ряд технических вопросов, в том числе, как вычислить расстояние между точкой и гиперплоскостью в SVM, как решить задачу оптимизации для SVM и как сформулировать задачу оптимизации SVM в ее двойственной формулировке. Лектор также обсуждает практические аспекты использования квадратичного программирования для решения задачи оптимизации и важность определения опорных векторов. Лекция завершается кратким обсуждением использования нелинейных преобразований в SVM.

Во второй части этой лекции о машинах опорных векторов (SVM) лектор объясняет, как количество опорных векторов, деленное на количество примеров, дает верхнюю границу вероятности ошибки при классификации точки вне выборки, делая возможно использование опорных векторов с нелинейным преобразованием. Профессор также обсуждает нормализацию w, транспонированного x плюс b, до 1 и его необходимость для оптимизации, а также версию SVM с мягкой маржой, которая допускает ошибки и наказывает их. Кроме того, объясняется взаимосвязь между количеством опорных векторов и размерностью VC, а также упоминается устойчивость метода к шуму, а мягкая версия метода используется в случаях зашумленных данных.

• 00:00:00 В этом разделе лектор обсуждает важность проверки, особенно с точки зрения ее использования в машинном обучении. Также объясняется концепция беспристрастного и оптимистического смещения в результате ошибки проверки и ее влияние на выбор модели. Преимущество перекрестной проверки над проверкой дополнительно подчеркивается в разделе. Кроме того, лектор представляет машины опорных векторов как наиболее эффективную модель обучения для классификации, ссылаясь на ее интуитивную интерпретацию, принципиальный вывод и пакет оптимизации как на значительные преимущества модели обучения. Также представлен подробный план раздела, который включает в себя максимизацию маржи, рецептуры и аналитические решения посредством оптимизации с ограничениями.
  
  
• 00:05:00 В этом разделе объяснялась концепция максимизации поля при линейном разделении. Хотя все строки, разделяющие линейно разделимые данные, имеют нулевую ошибку в выборке, некоторые из них могут иметь лучшие поля, что обеспечивает большее обобщение. Объясняется, что чем больше запас, тем лучше, потому что в шумных ситуациях вероятность того, что новая точка будет правильно классифицирована, выше. Это связано с функцией роста и тем, как большая функция роста невыгодна для обобщения в машинном обучении. Показано, что максимизация поля может помочь в обобщении путем поиска линий, которые не только правильно разделяют данные, но и имеют максимально возможный запас для этих точек данных.
  
  
• 00:10:00 В этом разделе лектор обсуждает большие поля и то, как они могут улучшить производительность классификатора. Требуя, чтобы классификатор имел поле определенного размера, количество возможных дихотомий уменьшается, что приводит к меньшей функции роста и меньшему размеру VC. Чем больше поле, тем лучше производительность классификатора вне выборки. Затем лектор объясняет, как найти максимально возможный запас, найдя расстояние между гиперплоскостью и ближайшей точкой данных и нормализовав вектор w для упрощения анализа. Сигнал или расстояние между гиперплоскостью и точками данных — это не евклидово расстояние, а порядок ближайших и самых дальних точек, и его необходимо преобразовать для получения евклидова расстояния.
  
  
• 00:15:00 В этом разделе лектор объясняет некоторые технические аспекты, относящиеся к анализу методом опорных векторов. Во-первых, для сравнения характеристик разных самолетов в качестве критерия используется евклидово расстояние. Во-вторых, w извлекается из вектора X, чтобы удобнее было анализировать машины опорных векторов, а w₀ вытаскивается, чтобы его не путали с вектором w, у которого теперь новая роль. Цель состоит в том, чтобы вычислить расстояние между xₙ (ближайшей точкой) и плоскостью. Лектор показывает, что вектор w ортогонален плоскости и каждому вектору на плоскости, что означает, что он ортогонален каждому вектору нормали на плоскости, так что теперь мы можем получить расстояние между xₙ и плоскостью.
  
  
• 00:20:00 В этом разделе спикер обсуждает, как вычислить расстояние между точкой и гиперплоскостью в SVM. Это можно сделать, проецируя вектор, идущий от точки к общей точке гиперплоскости, на направление, ортогональное гиперплоскости. Единичный вектор в этом направлении вычисляется путем нормализации длины вектора. Используя некоторую алгебру, говорящий выводит формулу для расстояния, которая упрощается за счет добавления недостающего члена. Эту формулу можно использовать для выбора комбинации w, дающей наилучшую возможную маржу. Возникающая в результате проблема оптимизации не очень удобна для пользователя из-за минимума ограничений. Однако, сделав несколько простых наблюдений, эту задачу можно переформулировать в более удобную квадратичную.
  
  
• 00:25:00 В этом разделе лектор объясняет, как решить задачу оптимизации для машин опорных векторов (SVM). Они начинают с демонстрации того, как SVM могут быть сформулированы как задача оптимизации с ограничениями, где они должны минимизировать целевую функцию с учетом ограничений линейного неравенства. Они доказывают, что можно использовать множители Лагранжа для преобразования ограничений неравенства в ограничения равенства, а затем решить новый лагранжиан. Они отмечают, что этот подход был независимо открыт Карушем и Куном-Такером и называется ККТ-лагранжианом. Лектор подчеркивает, что процесс похож на процедуру регуляризации, и они напоминают условие градиента для решения.
  
  
• 00:30:00 В этом разделе лектор объясняет связь между SVM и регуляризацией и формулировкой Лагранжа. Важно отметить, что ограничения приводят к ненулевому градиенту, в отличие от задачи без ограничений, где градиент равен 0. Формулировка Лагранжа зависит от таких переменных, как w и b, и есть новые переменные, множители Лагранжа, такие как альфа-вектор. . Задача состоит в том, чтобы минимизировать целевую функцию с учетом ограничений вида, а затем дать ей лагранжево имя. Интересно то, что мы на самом деле максимизируем относительно альфы, хотя альфы должны быть неотрицательными, и поэтому мы должны обратить на это внимание. Раздел завершается кратким объяснением части без ограничений, где нам нужно минимизировать градиент лагранжиана относительно w и b.
  
  
• 00:35:00 В этом разделе лекции спикер объясняет, как сформулировать задачу оптимизации SVM в ее двойственной постановке. Сначала он оптимизирует задачу относительно w и b, что приводит к двум условиям, которые он подставляет обратно в исходный лагранжиан, что приводит к двойственной формулировке задачи, которая является хорошей формулой только с точки зрения множителей Лагранжа альфа. Затем он устанавливает ограничение для альфы, чтобы оно было неотрицательным, и решает задачу максимизации с учетом этих ограничений, что приводит к оптимальным значениям альфы, которые определяют опорные векторы.
  
  
• 00:40:00 В этом разделе спикер обсуждает практические аспекты использования квадратичного программирования для решения представленной ранее задачи оптимизации для машин опорных векторов. Цель и ограничения преобразуются в коэффициенты, которые передаются в пакет квадратичного программирования для минимизации. Размер матрицы зависит от количества примеров, и это становится практическим соображением для больших наборов данных. Докладчик предупреждает, что при большом количестве примеров квадратичное программирование с трудом находит решение и может потребовать использования эвристики.
  
  
• 00:45:00 В этом разделе лекция посвящена решениям, полученным с помощью квадратичного программирования, особенно альфа, и тому, как это связано с исходной проблемой определения весов, поверхности, поля и b. В лекции подчеркивается важность определения опорных векторов, которые являются точками, определяющими плоскость и границу. Математика, стоящая за положительными лямбда-выражениями (в данном случае альфа-каналами), дает возможность определить опорные векторы, поскольку учитывает только точки с положительными значениями. Это означает, что эти альфа-значения имеют решающее значение для определения границы между двумя классификациями, а определение их местоположения имеет решающее значение для оптимизации весов и создания максимальной маржи.
  
  
• 00:50:00 В этом разделе понятие опорных векторов вводится и обсуждается в контексте алгоритма машины опорных векторов (SVM). Опорные векторы определяются как точки данных, которые находятся ближе всего к границе решения или гиперплоскости, разделяющей классы данных. Алгоритм SVM оптимизирует задачу квадратичного программирования для определения опорных векторов и параметров решающей функции. Значения параметров зависят только от опорных векторов, которые являются критическими точками, позволяющими модели хорошо обобщаться. Также кратко обсуждаются нелинейные преобразования как способ обработки неразделимых данных. Преобразование данных в многомерное пространство не усложняет задачу оптимизации, и тот же метод можно использовать для нахождения опорных векторов и решающей функции.
  
  
• 00:55:00 В этом разделе видео лектор обсуждает использование нелинейных преобразований в SVM. Нелинейные преобразования используются, когда данные не являются линейно разделимыми, что имеет место в пространстве X. Лектор демонстрирует, как использовать нелинейное преобразование и работать в пространстве Z для достижения линейно разделимого результата. Он объясняет, что решение простое, а количество альф зависит от количества точек данных, а не от размерности пространства, в котором вы работаете. Основная идея заключается в том, что вы можете отправиться в огромное пространство, не заплатив при этом никакой цены. с точки зрения оптимизации. Опорные векторы идентифицируются в пространстве Z, но в пространстве X они выглядят как точки данных.

• 01:00:00 В этом разделе лектор обсуждает результат обобщения, который делает возможным использование опорных векторов с нелинейным преобразованием. Количество опорных векторов, которое представляет количество эффективных параметров, деленное на количество примеров, дает верхнюю границу вероятности ошибки при классификации точки вне выборки. Если ожидаемое значение нескольких прогонов этого механизма выполняется, то фактическое значение E_out, которое вы получите в конкретном случае, будет ограничено выше знакомым типом границы (например, числом параметров, степенями свободы и размерностью VC, деленными на количество примеров). Этот результат заставляет людей использовать опорные векторы и опорные векторы с нелинейным преобразованием, поскольку вы не платите за вычисление перехода к более высокому измерению или связанное с ним обобщение.
  
  
• 01:05:00 В этом разделе профессор объясняет, почему он решил нормализовать w, транспонированное x плюс b, до 1, и почему эта нормализация необходима для оптимизации. Он также отвечает на вопрос о том, как SVM работает с нелинейно отделимыми точками посредством нелинейных преобразований и как версия SVM с мягким запасом допускает ошибки и наказывает за них. Кроме того, профессор кратко затрагивает взаимосвязь между количеством опорных векторов и размерностью VC, а также то, как альфа представляют параметры в SVM.
  
  
• 01:10:00 В этом разделе лектор обсуждает связь между количеством ненулевых параметров и размерностью ВК, которая по определению эквивалентна количеству опорных векторов. Мера маржи может варьироваться в зависимости от используемой нормы, но нет веских причин отдавать предпочтение тому или иному с точки зрения производительности. Хотя прямого метода сокращения опорных векторов не существует, выбор подмножеств и получение опорных векторов опорных векторов являются возможными вычислительными соображениями. Метод SVM не особенно чувствителен к шуму, и в случае зашумленных данных используется мягкая версия метода, которая очень похожа на случай без шума.

[MetaQuotes]

Лекция 15 - Kernel methods

Caltech's Machine Learning Course - CS 156. Lecture 15 - Kernel Methods

В этой лекции о методах ядра представлены машины опорных векторов (SVM) как линейная модель, которая более ориентирована на производительность, чем традиционные модели линейной регрессии, из-за концепции максимизации запаса. Если данные не являются линейно разделимыми, нелинейные преобразования могут использоваться для создания волнистых поверхностей, которые по-прежнему позволяют выдвигать сложные гипотезы, не платя при этом высокой сложностью. Видео объясняет методы ядра, которые обращаются к многомерному пространству Z, объясняя, как вычислить внутренний продукт без вычисления отдельных векторов. В видео также описываются различные подходы к получению действительного ядра для задач классификации и объясняется, как применять SVM к неразделимым данным. Наконец, в видео объясняется концепция резерва и количественная оценка нарушения маржи в SVM, вводится переменная xi для штрафа за нарушение маржи и рассматривается лагранжева формулировка для решения для альфы.

Вторая часть охватывает практические аспекты использования машин опорных векторов (SVM) и методов ядра. Он объясняет концепцию векторных машин поддержки мягких полей и то, как они допускают некоторую неправильную классификацию при сохранении широкого поля. Он говорит о важности параметра C, определяющего, насколько может произойти нарушение, и предлагает использовать перекрестную проверку для определения его значения. Он также решает проблемы, связанные с постоянной координатой в преобразованных данных, и уверяет пользователей, что она играет ту же роль, что и член смещения. Кроме того, он обсуждает возможность объединения ядер для создания новых ядер и предлагает эвристические методы, которые можно использовать, когда квадратичное программирование терпит неудачу при решении SVM со слишком большим количеством точек данных.

• 00:00:00 В этом разделе лекции о методах ядра Ясер Абу-Мостафа вводит концепцию машин опорных векторов (SVM), отмечая, что они представляют собой не что иное, как линейную модель в простейшей форме, но более ориентированы на производительность. из-за идеи максимизации маржи. Используя пакет квадратичного программирования, мы можем решить проблему SVM и вернуть альфа-каналы, что поможет нам идентифицировать опорные векторы. Если данные не являются линейно разделимыми, мы можем использовать нелинейное преобразование, но результирующая волнистая поверхность все же позволяет нам получить сложную гипотезу, не платя высокой ценой сложности. Мы можем предсказать ошибку вне выборки на основе количества опорных векторов, которое является величиной в выборке.
  
  
• 00:05:00 В этом разделе видео объясняет концепцию методов ядра и их роль в расширении машин опорных векторов за пределы линейно разделимого случая. Идея методов ядра состоит в том, чтобы перейти в многомерное Z-пространство, не расплачиваясь за сложность. Видео объясняет, что ключом к достижению этого является возможность вычислить внутренний продукт в пространстве Z без фактического вычисления отдельных векторов в этом пространстве. Здесь на помощь приходят ядра, поскольку они позволяют вычислять внутренние продукты, используя только явные входные данные. Далее в видео объясняются последствия этих методов для работы с нелинейными преобразованиями и мягкими полями, а также то, как их можно использовать на практике для решения сложных задач.
  
  
• 00:10:00 В этом разделе лекции объясняется использование скалярного произведения в пространстве Z и его связь с методами ядра. Внутренний продукт необходим для формирования лагранжиана и передачи ограничений в квадратичное программирование, но его можно вычислить, используя только внутренние продукты для выполнения механизма опорных векторов. Используя обобщенный скалярный продукт или ядро, соответствующее Z-пространству, можно преобразовать две точки x и x dash в функцию, определяемую x и x dash, которая называется ядром. Приводится пример двумерного евклидова пространства с использованием полиномиального преобразования 2-го порядка.
  
  
• 00:15:00 В этом разделе лектор обсуждает концепцию методов ядра и способы вычисления ядер без преобразования x и x dash. Лектор импровизирует ядро, которое не переводит вещи в Z-пространство, и убеждает аудиторию, что ядро соответствует преобразованию в некоторое Z-пространство, выводя туда скалярный продукт. Возводя в квадрат ядро с 1 + x_xdash, возведенным в степень Q, лектор объясняет, как это становится внутренним произведением в некотором пространстве, что делает его действительным ядром. Кроме того, лектор сравнивает, сколько вычислений потребуется для этого, с другими измерениями, независимо от сложности Q, которая остается неизменной.
  
  
• 00:20:00 В этом разделе лектор объясняет метод ядра для полиномиального преобразования, которое можно выполнить без фактического расширения полинома. Если взять логарифм и возвести его в степень, полином становится простой операцией, не требующей большого расширения. Это простой многочлен, который можно визуализировать в 2D и экстраполировать на другие случаи. Ядро, которое отображается в пространство более высокой размерности, можно получить, взяв скалярный продукт в этом пространстве. Лектор представляет пример ядра, которое не имеет термина скалярного произведения в пространстве X или Z, но соответствует скалярному продукту в бесконечномерном пространстве. Несмотря на проблемы перехода в бесконечномерное пространство, метод ядра по-прежнему полезен, и количество опорных векторов можно использовать для определения обобщения модели.
  
  
• 00:25:00 В этом разделе лектор демонстрирует ядро радиальной базисной функции, сложное ядро, соответствующее бесконечномерному пространству, и показывает, как оно работает в действии, взяв слегка неразделимый случай. Лектор случайным образом генерирует 100 точек и показывает, что их не разделяет линия. Затем лектор преобразует X в бесконечномерное пространство и вычисляет ядро, которое представляет собой простую экспоненту. Лектор передает это квадратичному программированию, которое возвращает опорные векторы. Когда лектор затемняет опорные векторы, становится легче увидеть два класса.
  
  
• 00:30:00 В этом разделе спикер обсуждает идею ядерных методов и то, как их можно использовать для классификации. Он представляет пример использования ядра для набора данных точек, чтобы преобразовать их в бесконечномерное пространство, где они могут быть разделены линейной плоскостью. Результирующие векторы запаса и поддержки используются для определения количества в выборке, которое определяет свойство обобщения. Затем оратор продолжает объяснять, как правильное ядро, соответствующее скалярному произведению в некотором Z-пространстве, можно использовать при формулировании проблемы и построении гипотезы. В целом, он подчеркивает полезность ядерных методов и то, как их можно применять для решения задач классификации.
  
  
• 00:35:00 В этом разделе мы узнаем, как преобразовать линейную модель в форму ядра, где машины опорных векторов становятся моделью, позволяющей выбрать ядро. Ядро занимает место внутреннего продукта после того, как внутренние продукты взяты с пространством Z. Результирующая модель зависит от выбора ядра, и мы также можем найти b, подставив опорный вектор. Ядро, однако, трудно определить, так как вы не можете проверить его достоверность, не посетив Z-пространство. Тем не менее, мы проиллюстрируем, как мы можем сравнивать подходы, рассматривая функциональную форму различных ядер.
  
  
• 00:40:00 В этом разделе лектор объясняет условия получения валидного ядра в методах ядра. Существует три подхода: построение, при котором ядро строится из концептуального или явного набора преобразований; условие Мерсера, которое требует, чтобы данное ядро было симметричным, а матрица, построенная из значений ядра, была положительно полуопределенной; и, наконец, импровизационный подход, при котором жизнеспособность ядра имеет очень практическое значение и одновременно должны выполняться два условия. Они заключаются в том, что ядро симметрично, и матрица, построенная из значений ядра, должна быть положительно полуопределенной для любого выбора точек, как того требует условие Мерсера.
  
  
• 00:45:00 В этом разделе лектор описывает ситуации, когда данные не являются линейно разделимыми, и как в таких случаях применять алгоритм машины опорных векторов. Может быть два сценария неразделимых данных: один, где неразделимость незначительна, а другой, когда неразделимость значительна. Чтобы иметь дело с нелинейными разделимыми данными, можно делать ошибки и учиться на обобщении вместо того, чтобы пытаться использовать сложные пространства чрезмерно большой размерности, содержащие все точки данных, таким образом сохраняя ошибку низкой. В случае серьезной неразделимости необходимо пойти на нелинейное преобразование и использовать ядра или машины опорных векторов с мягким запасом. Затем лектор рассказывает об идее нарушения маржи и о том, как ее количественно оценить для учета ошибок классификации.
  
  
• 00:50:00 В этом разделе лектор вводит понятие резерва и количественную оценку нарушения маржи в SVM. Он объясняет, что введет резерв для каждой точки, которая измеряет нарушение маржи, и будет наказывать общее нарушение, суммируя эти резервы. Он выбирает эту меру ошибки, которая является разумной и измеряет нарушение маржи, вместо других. Затем он вводит новую оптимизацию, которая минимизирует термин ошибки нарушения маржи, а также максимизирует маржу. Константа C дает относительную важность этого термина нарушения маржи по сравнению с предыдущим термином, который максимизирует маржу. В зависимости от значения C конечным результатом могут быть линейно разделимые данные или компромисс, поскольку он представляет собой компромисс между маржой и резервом. Наконец, он пересматривает формулировку Лагранжа с добавлением новых членов.
  
  
• 00:55:00 В этом разделе лектор объясняет новую задачу квадратичного программирования, введенную добавлением переменной xi для штрафа за нарушение поля. Лагранжиан включает новые ограничения на xi, которые необходимо решить для использования множителей Лагранжа, бета. Затем лектор показывает, как минимизация w и b остается неизменной, и обнаруживает, что решение для xi приводит к величине, которая всегда равна нулю. Это открытие приводит к исчезновению бета из лагранжиана, оставляя то же решение, что и раньше, с единственным разветвлением, заключающимся в том, что альфа теперь не только больше или равна нулю, но также меньше или равна C.

• 01:00:00 В этом разделе видео лектор рассказывает о концепции векторных машин с мягкими краями, которые допускают некоторую неправильную классификацию, сохраняя при этом широкий запас. Решение включает в себя добавленное ограничение, которое требует, чтобы альфа была не выше C, наряду с уже существующим ограничением равенства. Векторы поддержки мягких запасов включают в себя векторы поддержки как запасов, так и не пределов, причем последние являются точками, которые нарушают запас, вызывая провисание, которое представлено значением xi. Значение C является важным параметром, определяющим степень возможного нарушения, и это обычно определяется путем перекрестной проверки.
  
  
• 01:05:00 В этом разделе лектор обсуждает практические моменты использования машин опорных векторов (SVM) и методов ядра. Он объясняет, что если данные не являются линейно разделимыми, квадратичное программирование может не сходиться, что приводит к ситуации, когда не существует допустимого решения. Тем не менее, он призывает пользователей быть ленивыми и по-прежнему передавать альфа-каналы из квадратичного программирования обратно в решение, чтобы оценить, разделяет ли оно данные. Кроме того, он обращается к опасениям по поводу постоянной координаты 1, которая преобразуется вместе с данными, объясняя, что она фактически играет ту же роль, что и член смещения b, и что пользователям не нужно беспокоиться о наличии нескольких координат с одной и той же ролью.
  
  
• 01:10:00 В этом разделе профессор объясняет, что линейность машин опорных векторов (SVM) зависит от определенных предположений, и в некоторых случаях она может быть лучше, чем линейная. Размерность данных может повлиять на эффективность SVM, но ядро RBF может иметь дело с бесконечными размерностями, если члены более высокого порядка быстро затухают. Правильное ядро должно иметь четко определенный внутренний продукт, который зависит от сходимости. Профессор не затрагивает SVM, обобщенные для случаев регрессии, поскольку они требуют большего количества технических деталей, а главный успех SVM заключается в классификации. Наконец, могут быть жалобы на пакеты квадратичного программирования за то, что они не являются положительно определенными, но решения все же могут быть хорошими с определенной надежностью.
  
  
• 01:15:00 В этом разделе профессор обсуждает возможность объединения ядер для создания новых ядер и требование, чтобы комбинация сохраняла внутренний продукт в Z-пространстве. Он также упоминает, что проблема квадратичного программирования является узким местом в решении задач с SVM, и дает оценку количества точек, которые можно обработать с помощью квадратичного программирования. Кроме того, он предлагает эвристические методы, которые можно использовать, когда квадратичное программирование не помогает решить SVM со слишком большим количеством точек данных.

[MetaQuotes]

Лекция 16 - Радиальные базисные функции

Caltech's Machine Learning Course - CS 156. Lecture 16 - Radial Basis Functions

В этой лекции о радиальных базисных функциях профессор Ясер Абу-Мостафа охватывает ряд тем, от SVM до кластеризации, неконтролируемого обучения и аппроксимации функций с использованием RBF. В лекции обсуждается процесс обучения параметров для RBF, влияние гаммы на результат гауссовой модели в RBF-моделях и использование RBF для классификации. Вводится понятие кластеризации для неконтролируемого обучения, при этом подробно обсуждаются алгоритм Ллойда и кластеризация K-средних. Он также описывает модификацию RBF, в которой для данных выбираются определенные репрезентативные центры, чтобы влиять на окрестности вокруг них, и для выбора этих центров используется алгоритм K-средних. Также обсуждается важность выбора подходящего значения параметра гаммы при реализации RBF для аппроксимации функции, а также использование нескольких гамм для разных наборов данных и связь RBF с регуляризацией.

Во второй части Ясер Абу-Мостафа обсуждает радиальные базисные функции (РБФ) и способы их получения на основе регуляризации. Профессор представляет подход ограничения гладкости с использованием производных для достижения гладкой функции и представляет проблемы выбора количества кластеров и гаммы при работе с многомерными пространствами. Кроме того, профессор объясняет, что использование RBF предполагает, что целевая функция является гладкой, и учитывает входной шум в наборе данных. Также обсуждаются ограничения кластеризации, но может быть полезно получить репрезентативные точки для контролируемого обучения. Наконец, профессор упоминает, что в некоторых случаях RBF могут превзойти машины опорных векторов (SVM), если данные сгруппированы определенным образом и кластеры имеют общее значение.

• 00:00:00 В этом разделе Абу-Мостафа представляет способ обобщения SVM, допуская ошибки или нарушения поля, что добавляет еще одну степень свободы в дизайн. Имея параметр C, они задают степень, до которой допустимы нарушения поля. Хорошей новостью является то, что решение идентично использованию квадратичного программирования. Однако неясно, как выбрать наилучшее значение для C, поэтому для определения значения C, которое минимизирует оценку ошибки вне выборки, используется перекрестная проверка. SVM — это превосходный метод классификации, и многие люди выбирают его модель, потому что он имеет очень небольшие накладные расходы и особый критерий, который делает его лучше, чем выбор случайной разделяющей плоскости.
  
  
• 00:05:00 В этом разделе профессор обсуждает модель радиальной базисной функции и ее важность для понимания различных аспектов машинного обучения. Модель основана на идее, что каждая точка в наборе данных будет влиять на значение гипотезы в каждой точке x через расстояние, причем более близкие точки имеют большее влияние. Стандартная форма модели радиальной базисной функции задается h(x), которая зависит от расстояния между x и точкой данных x_n, определяемой нормой x минус x_n в квадрате, и положительным параметром gamma в экспоненте, определяемой вес уточняется. Модель называется радиальной из-за ее симметричного влияния вокруг центра точки данных и называется базисной функцией, потому что она является строительным блоком функциональной формы модели.
  
  
• 00:10:00 В этом разделе видео лектор обсуждает процесс обучения параметров для радиальных базисных функций. Цель состоит в том, чтобы найти параметры, помеченные от w_1 до w_N, которые минимизируют некоторую ошибку на основе обучающих данных. Точки x_n оцениваются для оценки ошибки в выборке. Лектор вводит уравнения для решения неизвестных, которые являются w, и показывает, что если phi обратимо,
  решение просто w равно обратному числу phi, умноженному на y. При использовании ядра Гаусса интерполяция между точками является точной, и анализируется эффект фиксирования параметра гамма.
  
  
• 00:15:00 В этом разделе лектор обсуждает влияние гаммы на результат гауссиана в моделях RBF. Если гамма мала, гауссиана широкая и приводит к успешной интерполяции даже между двумя точками. Однако, если гамма велика, влияние точек исчезает, что приводит к плохой интерполяции между точками. Лектор также демонстрирует, как RBF используются для классификации, при этом сигнал представляет собой значение гипотезы, которое затем минимизируется, чтобы соответствовать целевому значению +1/-1 для обучающих данных. Наконец, лектор объясняет, как радиальные базисные функции связаны с другими моделями, включая простой метод ближайшего соседа.
  
  
• 00:20:00 В этом разделе лектор обсуждает реализацию метода ближайшего соседа с использованием радиальных базисных функций (РБФ) с учетом влияния ближайшей точки. Метод ближайших соседей является ненадежным и резким, поэтому модель можно сделать менее резкой, изменив ее так, чтобы она стала k-ближайшими соседями. Используя гауссиану вместо цилиндра, можно сгладить поверхность. Затем лектор модифицировал модель точной интерполяции, чтобы решить проблему наличия N параметров и N точек данных, введя регуляризацию, которая решает проблемы переобучения и недообучения. Полученная модель известна как Ридж-регрессия.
  
  
• 00:25:00 В этом разделе лектор описывает модификацию радиальных базисных функций, где для данных выбираются определенные важные или репрезентативные центры, чтобы влиять на окрестности вокруг них. Количество центров обозначается как K, что намного меньше, чем общее количество точек данных, N, так что необходимо учитывать меньше параметров. Однако проблема заключается в том, чтобы выбрать центры таким образом, чтобы они представляли входные данные, не загрязняя обучающие данные. Лектор объясняет алгоритм кластеризации K-средних для выбора этих центров, где центр для каждой группы соседних точек назначается как среднее значение этих точек.
  
  
• 00:30:00 В этом разделе представлена концепция кластеризации для неконтролируемого обучения. Цель состоит в том, чтобы сгруппировать похожие точки данных вместе; каждый кластер имеет центральный представитель точек внутри кластера. Цель состоит в том, чтобы минимизировать среднеквадратичную ошибку каждой точки в своем кластере. Проблема в том, что эта задача является NP-сложной, но с помощью алгоритма Ллойда, также известного как K-средних, можно итеративно найти локальный минимум. Алгоритм минимизирует общую среднеквадратичную ошибку, фиксируя кластеры и оптимизируя центры, а затем фиксируя центры и итеративно оптимизируя кластеры.
  
  
• 00:35:00 В этом разделе, посвященном радиальным базисным функциям, обсуждается концепция алгоритма Ллойда для кластеризации. Алгоритм Ллойда включает создание новых кластеров путем взятия каждой точки и измерения ее расстояния до вновь полученного среднего значения. Затем определяется, что ближайшее среднее значение принадлежит кластеру этой точки. Алгоритм продолжается вперед и назад, уменьшая целевую функцию, пока не будет достигнут локальный минимум. Начальная конфигурация центров определяет локальный минимум, и попытки использовать разные начальные точки могут дать разные результаты. Алгоритм применяется к нелинейной целевой функции, и демонстрируется его способность создавать кластеры на основе сходства, а не целевой функции.
  
  
• 00:40:00 В этом разделе спикер обсуждает алгоритм Ллойда, который включает в себя многократную кластеризацию точек данных и обновление центров кластеров до сходимости. Алгоритм будет включать радиальные базисные функции, и хотя кластеризация данных в этом примере не имела естественной кластеризации, докладчик отмечает, что кластеризация имеет смысл. Однако то, как центры служат центром влияния, может вызвать проблемы, особенно при использовании неконтролируемого обучения. Затем докладчик сравнивает предыдущую лекцию о опорных векторах с текущими точками данных, при этом опорные векторы представляют разделяющую плоскость, а не входные данные, такие как общие центры из этой лекции.
  
  
• 00:45:00 В этом разделе ведущий обсуждает процесс выбора важных точек контролируемым и неконтролируемым способами с ядром RBF. Центры находятся по алгоритму Ллойда, и половина задачи выбора уже решена. Веса определяются с помощью меток, и существует K весов и N уравнений. Так как K меньше N, что-то придется отдать, и ведущий показывает, как решить эту задачу, используя матрицу фи, которая имеет K столбцов и N строк. Подход включает в себя ошибку в выборке, но шансы на обобщение хорошие, поскольку определяются только K весов. Затем ведущий связывает этот процесс с нейронными сетями и подчеркивает знакомость этой конфигурации со слоями.
  
  
• 00:50:00 В этом разделе спикер обсуждает преимущества использования радиальных базисных функций и их сравнение с нейронными сетями. Сеть радиальных базисных функций интерпретируется как наблюдение за локальными областями в пространстве, не беспокоясь об удаленных точках, в то время как нейронные сети значительно вмешиваются. Нелинейность сети радиальной базисной функции равна фи, а соответствующая нелинейность нейронной сети — тета, обе из которых объединяются с w для получения h. Кроме того, сеть радиальных базисных функций имеет два слоя и может быть реализована с помощью машин опорных векторов. Наконец, спикер подчеркивает, что гамма-параметр гауссова в радиальных базисных функциях теперь рассматривается как подлинный параметр и изучается.
  
  
• 00:55:00 В этом разделе лектор обсуждает важность выбора подходящего значения для гамма-параметра при реализации радиальных базисных функций (РБФ) для аппроксимации функций. Если гамма фиксирована, для получения необходимых параметров можно использовать метод псевдоинверсии. Однако, если гамма не фиксирована, можно использовать градиентный спуск. Лектор объясняет итеративный подход, называемый алгоритмом максимизации ожидания (EM), который можно использовать для быстрой сходимости к соответствующим значениям гаммы и необходимым параметрам для RBF. Кроме того, лектор обсуждает использование нескольких гамм для разных наборов данных и связь RBF с регуляризацией. Наконец, лектор сравнивает RBF с их версией ядра и использованием опорных векторов для классификации.

• 01:00:00 В этом разделе лектор сравнивает два разных подхода, использующих одно и то же ядро. Первый подход представляет собой прямую реализацию RBF с 9 центрами, в которой используется неконтролируемое обучение центров с последующей псевдообратной и линейной регрессией для классификации. Второй подход — это SVM, который максимизирует маржу, приравнивается к ядру и переходит к квадратичному программированию. Несмотря на то, что данные не группируются нормально, SVM работает лучше с нулевой ошибкой в выборке и большей близостью к цели. Наконец, лектор обсуждает, как можно получить RBF, полностью основанные на регуляризации, при этом один термин минимизирует ошибку в выборке, а другой термин является регуляризацией, чтобы гарантировать, что функция не будет сумасшедшей снаружи.
  
  
• 01:05:00 В этом разделе профессор представляет подход ограничения гладкости, который включает ограничения на производные для обеспечения гладкости функции. Гладкость измеряется размером k-й производной, которая аналитически параметризуется и возводится в квадрат, а затем интегрируется от минус бесконечности до плюс бесконечности. Вклады различных производных объединяются с коэффициентами и умножаются на параметр регуляризации. Полученное решение приводит к радиальным базисным функциям, которые представляют собой наиболее гладкую интерполяцию. Кроме того, профессор объясняет, как SVM моделирует двухуровневую нейронную сеть, и обсуждает проблему выбора количества центров при кластеризации.
  
  
• 01:10:00 В этом разделе профессор обсуждает трудности, возникающие при выборе количества кластеров в RBF и выборе гаммы при работе с пространствами большой размерности. Проклятие размерности, присущее RBF, не позволяет рассчитывать на хорошую интерполяцию даже другими методами. Профессор анализирует различные эвристики и подтверждает, что перекрестная проверка и другие подобные методы полезны для проверки. Профессор далее объясняет, как выбрать гамму, рассматривая параметры на равных основаниях, используя общую нелинейную оптимизацию. Он также обсуждает, как использовать алгоритм EM для получения локального минимума гаммы, когда w_k постоянны. Наконец, профессор упоминает, что двухслойных нейронных сетей достаточно для аппроксимации всего, но могут возникнуть случаи, когда нужно больше двух слоев.
  
  
• 01:15:00 В этом разделе профессор объясняет, что одним из основных предположений при использовании радиальных базисных функций (РБФ) является то, что целевая функция является гладкой. Это связано с тем, что формула РБФ основана на решении задачи аппроксимации с гладкостью. Однако есть еще одна причина для использования RBF, которая заключается в учете входного шума в наборе данных. Если шум в данных является гауссовым, вы обнаружите, что при допущении шума значение гипотезы не должно сильно меняться при изменении x, чтобы ничего не пропустить. В результате получается интерполяция по Гауссу. Студент спрашивает, как выбрать гамму в формуле РБФ, а профессор говорит, что ширина гауссианы должна быть сравнима с расстояниями между точками, чтобы была настоящая интерполяция, и был объективный критерий выбора гаммы. На вопрос о том, является ли количество кластеров в K центрах мерой размерности VC, профессор говорит, что количество кластеров влияет на сложность набора гипотез, что, в свою очередь, влияет на размерность VC.
  
  
• 01:20:00 В этом разделе профессор обсуждает ограничения кластеризации и то, как ее можно использовать в качестве недоработанного метода кластеризации в неконтролируемом обучении. Он объясняет, что кластеризация может быть затруднена, поскольку собственное количество кластеров часто неизвестно, и даже если кластеризация есть, может быть неясно, сколько кластеров существует. Тем не менее, кластеризация все еще может быть полезна для получения репрезентативных точек для контролируемого обучения, чтобы получить правильные значения. Профессор также упоминает, что в некоторых случаях RBF могут работать лучше, чем SVM, если данные сгруппированы определенным образом и кластеры имеют общее значение.

[MetaQuotes]

Лекция 17 - Три принципа обучения

Caltech's Machine Learning Course - CS 156. Lecture 17 - Three Learning Principles

В этой лекции о трех принципах обучения рассказывается о бритве Оккама, предвзятости выборки и отслеживании данных в машинном обучении. Подробно обсуждается принцип бритвы Оккама, а также сложность объекта и набора объектов, которые можно измерить разными способами. В лекции объясняется, почему более простые модели часто бывают лучше, поскольку они снижают сложность и улучшают производительность вне выборки. Также вводятся понятия фальсифицируемости и нефальсифицируемости. Смещение выборки — еще одна обсуждаемая ключевая концепция, наряду с методами борьбы с ней, такими как сопоставление распределений входных и тестовых данных. Также рассматривается отслеживание данных с примерами того, как оно может повлиять на достоверность модели, в том числе за счет нормализации и повторного использования одного и того же набора данных для нескольких моделей.

Вторая часть посвящена отслеживанию данных и его опасностям в машинном обучении, особенно в финансовых приложениях, где переобучение из-за отслеживания данных может быть особенно рискованным. Профессор предлагает два средства борьбы с отслеживанием данных: избегать его или учитывать его. В лекции также затрагивается важность масштабирования и нормализации входных данных, а также принцип бритвы Оккама в машинном обучении. Кроме того, в видео обсуждается, как правильно скорректировать систематическую ошибку выборки в приложениях компьютерного зрения, и завершается кратким изложением всех затронутых тем.

• 00:00:00 В этом разделе профессор Абу-Мостафа объясняет универсальность радиальных базисных функций (RBF) в машинном обучении. Он отмечает, что RBF служат строительным блоком для гауссовых кластеров при обучении без учителя и в качестве мягкой версии ближайшего соседа, постепенно влияя на входное пространство с уменьшающимся эффектом. Они также связаны с нейронными сетями за счет использования сигмоид в функции активации скрытого слоя. RBF применимы к машинам опорных векторов с ядром RBF, за исключением того, что центры в SVM являются опорными векторами, расположенными вокруг разделяющей границы, тогда как центры в RBF находятся по всему входному пространству, представляя различные кластеры ввода. RBF также произошли от регуляризации, которая позволила зафиксировать критерии гладкости с использованием функции производных, которые находили гауссианы во время интерполяции и экстраполяции.
  
  
• 00:05:00 В этом разделе лектор знакомит с тремя принципами обучения: бритвой Оккама, смещением выборки и отслеживанием данных. Он начинает с объяснения принципа бритвы Оккама, который гласит, что наиболее правдоподобной является самая простая модель, которая соответствует данным. Он отмечает, что это утверждение не является ни точным, ни самоочевидным, и переходит к решению двух ключевых вопросов: что означает простота модели и откуда мы знаем, что чем проще, тем лучше с точки зрения производительности? В лекции будут обсуждаться эти вопросы, чтобы сделать принцип конкретным и практичным в машинном обучении.
  
  
• 00:10:00 В этом разделе лектор объясняет, что сложность можно измерить двумя способами: сложностью объекта, например гипотезы, или сложностью набора объектов, например набора гипотез или модели. Сложность объекта может быть измерена его минимальной длиной описания или порядком полинома, а сложность набора объектов может быть измерена энтропией или размерностью VC. Лектор утверждает, что все эти определения сложности говорят более или менее об одном и том же, несмотря на то, что они концептуально разные.
  
  
• 00:15:00 В этом разделе лектор объясняет две категории, используемые для измерения сложности в литературе, включая простое утверждение и сложность набора объектов. Затем в лекции обсуждается взаимосвязь между сложностью объекта и сложностью набора объектов, оба из которых связаны со счетом. В лекции приводятся примеры того, как измерять сложность, включая параметры с действительными значениями и метод опорных векторов, который на самом деле не является сложным, поскольку определяется лишь очень небольшим числом опорных векторов. Первая из пяти головоломок, представленных в этой лекции, посвящена футбольному оракулу, который может предсказывать исход игры.
  
  
• 00:20:00 В этом разделе спикер рассказывает историю человека, рассылающего письма, предсказывающие исход футбольных матчей. Он объясняет, что человек на самом деле ничего не предсказывает, а вместо этого отправляет разные прогнозы группам получателей, а затем нацеливается на получателей, получивших правильный ответ. Сложность этого сценария делает невозможным точное предсказание, и спикер использует этот пример, чтобы объяснить, почему более простые модели в машинном обучении часто лучше. Упрощение модели уменьшает сложность и помогает улучшить производительность вне выборки, что является конкретным утверждением бритвы Оккама.
  
  
• 00:25:00 В этом разделе лекции профессор объясняет аргумент, лежащий в основе принципа, согласно которому более простые гипотезы подходят лучше, чем сложные. Суть доказательства заключается в том, что простых гипотез меньше, чем сложных, что снижает вероятность соответствия данной гипотезы набору данных. Однако когда более простая гипотеза подходит, она более значима и дает больше доказательств, чем сложная. Также вводится понятие фальсифицируемости, утверждающее, что данные должны иметь шанс фальсифицировать утверждение, чтобы предоставить доказательства для него.
  
  
• 00:30:00 В этом разделе концепция невозможности фальсификации и смещения выборки обсуждаются как важные принципы машинного обучения. Аксиома неопровержимости относится к тому факту, что линейные модели слишком сложны для наборов данных, которые слишком малы для обобщения. В лекции также объясняется важность красных флажков и особо упоминается, как бритва Оккама предостерегает нас от сложных моделей, которые хорошо подходят только к выборочным наборам данных. Предвзятость выборки — еще одна ключевая концепция, которая обсуждается с помощью головоломки о телефонном опросе. Опрос предсказал, что Дьюи победит на президентских выборах 1948 года, но Трумэн победил из-за смещения выборки из группы владельцев телефонов, которая не была репрезентативной для населения в целом.
  
  
• 00:35:00 В этом разделе мы узнаем о принципе смещения выборки и его влиянии на результаты обучения. Принцип гласит, что предвзятые выборки данных приведут к предвзятым результатам обучения, поскольку алгоритмы подгоняют модель к данным, которые они получают. Практический пример из области финансов продемонстрировал, как алгоритм трейдера, который успешно использовал исторические данные об акциях, потерпел неудачу, потому что он упустил определенные рыночные условия. Одним из методов борьбы со смещением выборки является сопоставление распределений входных и тестовых данных, хотя не всегда возможно узнать распределения вероятностей. В таких случаях этого может помочь повторная выборка обучающих данных или корректировка весов, назначенных выборкам. Однако это может привести к потере размера выборки и независимости точек.
  
  
• 00:40:00 В этом разделе лектор обсуждает проблему систематической ошибки выборки в машинном обучении и представляет различные сценарии, в которых она может возникнуть. В одном случае лектор объясняет, как можно использовать взвешивание точек данных для сопоставления распределения набора данных с распределением меньшего набора, что приводит к повышению производительности. Однако в таких случаях, как президентские опросы, когда набор данных не взвешивается и имеет место систематическая ошибка выборки, лекарства не существует. Наконец, лектор применяет концепцию систематической ошибки выборки к процессу утверждения кредита, объясняя, что использование исторических данных только об одобренных клиентах не учитывает отклоненных заявителей, что может повлиять на точность будущих решений об утверждении. Однако в этом сценарии эта предвзятость менее серьезна, поскольку банки, как правило, агрессивны в предоставлении кредита, поэтому граница в основном представлена уже одобренными клиентами.
  
  
• 00:45:00 В этом разделе спикер обсуждает принцип отслеживания данных, который гласит, что если набор данных повлиял на какой-либо этап процесса обучения, то способность того же набора данных оценивать результат была нарушена. Отслеживание данных является наиболее распространенной ловушкой для практиков и имеет разные проявления, из-за чего легко попасть в ее ловушки. Просмотр данных — один из способов попасть в эту ловушку, потому что он позволяет учащимся увеличивать масштаб и сужать гипотезы, влияя на процесс обучения. Из-за его многочисленных проявлений докладчик продолжает приводить примеры отслеживания данных, а также компенсации и дисциплины, необходимых для предотвращения его последствий.
  
  
• 00:50:00 В этом разделе спикер обсуждает проблему отслеживания данных и то, как это может повлиять на достоверность модели. Рассматривая исключительно набор данных, можно создать модель, основанную на особенностях этих данных. Однако допустимо учитывать всю другую информацию, относящуюся к целевой функции и входному пространству, за исключением реализации набора данных, который будет использоваться для обучения, если не взимается соответствующая плата. Чтобы проиллюстрировать этот момент, спикер предлагает головоломку финансового прогнозирования, в которой можно предсказать обменный курс между долларом США и британским фунтом, используя набор данных из 2000 точек с обучающим набором из 1500 точек и тестовым набором из 500 точек. Модель обучается исключительно на обучающем наборе, а выходные данные оцениваются на тестовом наборе, чтобы избежать отслеживания данных.
  
  
• 00:55:00 В этом разделе видео обсуждается, как может происходить отслеживание посредством нормализации, что может повлиять на набор тестов и привести к неверным результатам. В лекции объясняется, как нормализация должна выполняться только с параметрами, полученными исключительно из тренировочного набора, чтобы гарантировать, что тестовый набор соблюдается без какой-либо предвзятости или отслеживания. Кроме того, в видео затрагивается идея повторного использования одного и того же набора данных для нескольких моделей и то, как это может привести к отслеживанию данных и ложным результатам. Достаточно долго истязая данные, они могут начать признаваться, но результатам нельзя доверять без надлежащего тестирования на свежем, новом наборе данных.

• 01:00:00 В этом разделе спикер обсуждает опасность отслеживания данных и то, как это может привести к переоснащению. Отслеживание данных — это не только прямой просмотр данных, но также может происходить при использовании предварительных знаний из источников, которые использовали те же данные. Как только мы начинаем принимать решения на основе этих предварительных знаний, мы уже загрязняем нашу модель данными. Спикер предлагает два средства борьбы с отслеживанием данных: избегать его или учитывать его. Хотя его избегание требует дисциплины и может быть трудным, его учет позволяет нам понять влияние предварительных знаний на окончательную модель. В финансовых приложениях переобучение из-за отслеживания данных особенно рискованно, потому что шум в данных можно использовать для подбора модели, которая выглядит хорошо в выборке, но не обобщает вне выборки.
  
  
• 01:05:00 В этом разделе профессор обсуждает проблему отслеживания данных и того, как это может привести к вводящим в заблуждение результатам в случае тестирования торговой стратегии. Используя стратегию «купи и держи» с данными за 50 лет для S&P 500, результаты показывают фантастическую прибыль, но существует систематическая ошибка выборки, поскольку в анализ были включены только акции, торгуемые в настоящее время. Это создает несправедливое преимущество и является формой отслеживания, которую не следует использовать в машинном обучении. Профессор также затрагивает вопрос о важности масштабирования и нормализации входных данных, заявляя, что, хотя это важно, это не было рассмотрено из-за нехватки времени. Наконец, профессор объясняет, как правильно сравнивать разные модели, не попадая в ловушку отслеживания данных.
  
  
• 01:10:00 В этом разделе видео обсуждается отслеживание данных и то, как оно может сделать человека более оптимистичным, чем он должен быть. Отслеживание данных включает в себя использование данных для отклонения определенных моделей и перехода к другим моделям без учета этого. Принимая во внимание отслеживание данных, можно учитывать эффективную размерность VC всей их модели и использовать гораздо больший набор данных для модели, обеспечивая обобщение. В лекции также рассказывается, как обойти систематическую ошибку выборки с помощью масштабирования, и подчеркивается важность бритвы Оккама в статистике. Профессор также отмечает, что есть сценарии, при которых бритва Оккама может быть нарушена.
  
  
• 01:15:00 В этом разделе профессор обсуждает принцип бритвы Оккама в отношении машинного обучения, где более простые модели работают лучше. Затем обсуждение переходит к идее исправления смещения выборки в приложениях компьютерного зрения. Метод такой же, как обсуждался ранее, когда точкам данных присваиваются разные веса или производится повторная выборка для воспроизведения тестового распределения. Подход может быть изменен в зависимости от извлеченных особенностей предметной области. Лекция завершается подведением итогов дискуссии.

[MetaQuotes]

Курс машинного обучения Калифорнийского технологического института - CS 156: Лекция 18 - Эпилог

Caltech's Machine Learning Course - CS 156. Lecture 18 - Epilogue

В этой заключительной лекции курса профессор Ясер Абу-Мостафа резюмирует различные области машинного обучения, охватывая теории, методы и парадигмы. Он обсуждает важные модели и методы, такие как линейные модели, нейронные сети, машины опорных векторов, ядерные методы и байесовское обучение. Докладчик объясняет преимущества и недостатки байесовского обучения, предупреждая, что предварительные предположения должны быть действительными или нерелевантными, чтобы подход был ценным. Он также обсуждает методы агрегации, в том числе агрегацию «постфактум» и «до факта», и особенно описывает алгоритм AdaBoost. Наконец, спикер благодарит тех, кто внес свой вклад в курс, и призывает своих студентов продолжать изучение и изучение разнообразной области машинного обучения.

Во второй части обсуждаются потенциальные преимущества отрицательных весов в решении алгоритма машинного обучения и рассказывается о практической проблеме, с которой он столкнулся при измерении ценности гипотезы в соревновании. Он также выражает благодарность своим коллегам и персоналу курса, особенно Карлосу Гонсалесу, и признателен сторонникам, которые сделали курс возможным и бесплатным для всех. Абу-Мостафа посвящает курс своему лучшему другу и надеется, что он стал ценным опытом для всех участников.

• 00:00:00 В этом разделе Абу-Мостафа рассказывает об общей картине машинного обучения и о том, что это разнообразная область с множеством теорий, методов и практических приложений. Он признает, что чтение двух книг по машинному обучению может создать впечатление, что вы читаете о двух совершенно разных предметах. Он также кратко обсуждает две важные темы машинного обучения, но не в технических подробностях, чтобы дать своим студентам фору, если они решат заняться этими темами. Наконец, он находит время, чтобы поблагодарить людей, которые внесли большой вклад в курс.
  
  
• 00:05:00 В этом разделе спикер размышляет об основах машинного обучения, о которых идет речь в курсе, и признает, что быть полным — фатально. Он охватывает три ключевые области: теории, методы и парадигмы. Теория — это математическое моделирование реальности для получения результатов, в противном случае неочевидных. Самая большая ловушка теории — это предположения, которые расходятся с практикой, поэтому он выбрал теорию, имеющую отношение к практике. Методы составляют основную часть машинного обучения и делятся на две категории: контролируемое обучение, которое является наиболее популярным и полезным, и неконтролируемое обучение, использующее кластеризацию и имеющее ряд вариаций, включая частично контролируемое. Обучение с подкреплением описывается лишь кратко, поскольку оно не имеет целевого значения, которое можно найти в обучении с учителем, что создает слишком много неопределенности. Наконец, рассматриваются парадигмы, которые представляют собой различные предположения, относящиеся к различным ситуациям обучения, таким как обучение с учителем и обучение с подкреплением. Обучение под наблюдением является наиболее популярным и полезным, поэтому покрытие, которое продвинет вас вперед.
  
  
• 00:10:00 В этом разделе спикер рассказывает о различных парадигмах машинного обучения, включая обучение с подкреплением, активное обучение и онлайн-обучение. Он также обсуждает теорию Вапника-Червоненкиса и дисперсию смещения. Спикер отмечает, что, хотя существуют и другие содержательные теории, он обсуждает только те, которые имеют отношение к практике. Говоря о методах, он отделяет модели и алгоритмы от высокоуровневых методов, таких как регуляризация. Особое внимание уделяется линейным моделям, поскольку они обычно не рассматриваются в обычных курсах по машинному обучению.
  
  
• 00:15:00 В этом разделе профессор резюмирует различные модели и методы, которые он рассмотрел на протяжении всего курса. Он начинает с полиномиальной регрессии, которая, по его мнению, недостаточно представлена в машинном обучении, несмотря на то, что это недорогая и важная модель. Затем он кратко обсуждает нейронные сети, машины опорных векторов, ядерные методы и гауссовы процессы. Далее он описывает разложение по сингулярным числам (SVD) и графические модели как важные модели, особенно полезные при моделировании совместных распределений вероятностей с вычислительными соображениями. Он также обсуждает различные методы, такие как регуляризация и проверка, и выделяет обработку входных данных как практический вопрос, который лучше всего изучать при преподавании практического курса. Наконец, он представляет две темы, которые затрагивает в этой лекции: байесовский анализ и агрегирование.
  
  
• 00:20:00 В этом разделе лекции профессор представляет тему байесовского обучения, его основы и недостатки. Целью байесовского обучения является подход к обучению с вероятностной точки зрения, и этот подход включает в себя построение совместного распределения вероятностей всех задействованных понятий. Затем профессор объясняет, почему вероятностный подход, рассмотренный ранее в курсе, является вероятностным подходом, но байесовское обучение развивает этот подход и пытается оценить вероятность того, что данная гипотеза верна с учетом данных.
  
  
• 00:25:00 В этом разделе мы узнаем о байесовском подходе к статистике, который предполагает выбор наиболее вероятной гипотезы для определения целевой функции. Однако в этой области существуют разногласия, потому что байесовский анализ зависит от априорного распределения вероятностей, которое отражает вероятность того, что гипотеза является целевой функцией до того, как будут собраны какие-либо данные. Этот априор является источником продолжающейся борьбы между теми, кто любит и теми, кто ненавидит байесовский анализ. Несмотря на это, полное распределение вероятностей по всему набору гипотез может дать полное представление об относительной вероятности того, что различные гипотезы являются правильной целевой функцией, что позволяет получить ответ на любой вопрос.
  
  
• 00:30:00 В этом разделе спикер обсуждает идею о том, что априорность является предположением в теореме Байеса. Он использует пример модели персептрона, чтобы проиллюстрировать, как можно использовать априорную вероятность для создания распределения вероятностей по всем весам и насколько важно снизить уровень преступности при выдвижении предположений. Спикер сравнивает неизвестный параметр x не в вероятностном смысле с равномерным распределением вероятностей от -1 до +1 и объясняет, как кажется, что улавливается значение x. Однако главное здесь заключается в том, что априорное значение действительно является предположением, и нужно быть осторожным, делая предположения.
  
  
• 00:35:00 В этом разделе спикер обсуждает, как добавление априорной вероятности при моделировании вероятности является большим предположением, которое может привести к ложным предпосылкам. Он объясняет, что если вы знаете априорное значение, вы можете вычислить апостериорное значение для каждой точки в наборе гипотез и получить кучу полезной информации. Например, вы можете выбрать наиболее вероятную гипотезу или вывести ожидаемое значение h для каждой гипотезы в вашем наборе. Он предполагает, что вместо того, чтобы просто выбирать самую высокую вероятность, вы должны получить выгоду от всего распределения вероятностей, чтобы получить лучшую оценку целевой функции в любой точке x и даже оценку для планки ошибок.
  
  
• 00:40:00 В этом разделе спикер обсуждает преимущества и недостатки байесовского обучения. С одной стороны, байесовское обучение позволяет получать любые желаемые события, подставляя определенные величины и генерируя вероятность этого события. Кроме того, планку погрешностей можно использовать для оценки того, стоит ли делать ставку на тот или иной результат. Однако оратор предупреждает, что для того, чтобы подход был ценным, предшествующие предположения должны быть либо действительными, либо нерелевантными. Хотя байесовские методы могут быть дорогостоящими в вычислительном отношении, выступающий в заключение признает, что они могут стоить затраченных усилий для определенных приложений.
  
  
• 00:45:00 В этом разделе спикер обсуждает методы агрегирования как способ объединения различных решений и получения лучшей конечной гипотезы. Агрегация — это метод, применимый ко всем моделям, и идея состоит в том, чтобы объединить различные гипотезы в одно решение. Например, в компьютерном зрении можно использовать простые функции обнаружения, связанные с лицом, а затем комбинировать их для получения надежного результата. Комбинировать просто, и вы можете использовать среднее значение или голосование в зависимости от того, является ли это проблемой регрессии или проблемой классификации. Однако спикер подчеркивает, что агрегирование отличается от двухуровневого обучения, когда единицы учатся независимо друг от друга, и каждая из них учится так, как если бы она была единственной единицей, что позволяет лучше изучить функцию перед объединением.
  
  
• 00:50:00 В этом разделе лектор обсуждает два разных типа агрегации - "постфактум" и "до факта". Агрегация «задним числом» включает в себя объединение уже существующих решений, например, в случае краудсорсинга для Netflix. Агрегация «до факта» включает в себя разработку решений с намерением смешивать их позже, как это видно в алгоритмах повышения, в которых гипотезы строятся последовательно и удостоверяются, что они независимы от предыдущих гипотез. Лектор объясняет, как декорреляция применяется в повышающих алгоритмах, где гипотезы разрабатываются независимо, но по-прежнему основаны на предыдущих гипотезах для создания более интересного сочетания. Один из способов усилить эту декорреляцию — скорректировать вес примеров при обучении, чтобы создать более случайное распределение.
  
  
• 00:55:00 В этом разделе лекции алгоритм AdaBoost обсуждается как конкретный рецепт выделения и взвешивания в контексте примера компьютерного зрения. Этот алгоритм определяет функцию стоимости, которая сосредоточена на нарушении маржи и направлена на максимизацию этой маржи с упором как на примеры, так и на гипотезы. В лекции также обсуждается идея комбинирования решений с коэффициентами для повышения производительности. Используя принципиальный выбор альфы и чистый набор, альфа-коэффициенты могут быть оптимизированы для получения наилучшего результата. Наконец, представлена головоломка о смешивании постфактум, где наилучший возможный результат может быть получен путем вычитания индивидуального решения, а не добавления его.

• 01:00:00 В этом разделе Ясер Абу-Мостафа обсуждает, как отрицательные веса в решении алгоритма машинного обучения могут быть не обязательно плохими, поскольку они могут внести свой вклад в микс и улучшить общую производительность. Абу-Мостафа также рассказывает о практической проблеме, с которой он столкнулся при попытке определить объективный критерий для измерения ценности гипотезы в соревновании, что привело его к оценке вклада решения в общую сумму. Он также признателен за вклад своих коллег и сотрудников курса, особенно Карлоса Гонсалеса, который был руководителем ТП и помог разработать курс и управлять им.
  
  
• 01:05:00 В этом разделе спикер благодарит персонал и сторонников, которые сделали курс возможным и бесплатным для всех, кто хочет его пройти. Он благодарит персонал AMT, персонал компьютерной поддержки и источники денег, благодаря которым этот курс стал бесплатным. Он также благодарит выпускников Калифорнийского технологического института, коллег и своих студентов за их поддержку и вклад в то, чтобы сделать курс положительным опытом обучения для всех. Спикер посвящает курс своему лучшему другу и надеется, что он стал ценным опытом для всех, кто его прошел.

[MetaQuotes]

LINX105: Когда ИИ станет сверхинтеллектуальным (Ричард Танг, Zen Internet)

Can artificial intelligence become sentient, or smarter than we are - and then what? | Techtopia

Ричард Танг, основатель Zen Internet, обсуждает потенциал создания высокоуровневого машинного интеллекта, который будет воспроизводить реальность и превосходить людей во всех задачах. Он исследует последствия того, что ИИ превосходит человеческий интеллект, в том числе возможность разработки ИИ собственных целей и ценностей, которые могут не совпадать с человеческими целями и ценностями.

Разработка высокоуровневого машинного интеллекта потребует серьезных исследований ИИ в ближайшие годы, но есть опасения, связанные с глубоко укоренившимися ценностями, предрассудками и предубеждениями, влияющими на развитие ИИ и его способность управлять людьми. Тан подчеркивает важность обеспечения соответствия целей ИИ ценностям человечества и необходимость обучать ИИ разным вещам, если мы хотим, чтобы он вел себя по-другому. Несмотря на споры о том, могут ли машины обрести сознание, спикер считает, что важнее то, как они думают и взаимодействуют с людьми и другими существами на Земле.

• 00:00:00 В этом разделе Ричард Танг, основатель Zen Internet, дает обзор своей компании, прежде чем перейти к более подробному обсуждению перспектив сверхинтеллектуального ИИ. Танг начинает с краткой истории закона Мура и подчеркивает, что, несмотря на небольшое замедление до удвоения числа транзисторов каждые три года, в ближайшие десятилетия можно ожидать экспоненциального роста вычислительной мощности, памяти, хранилища и пропускной способности. Затем Тан исследует потенциальные последствия превосходства ИИ над человеческим интеллектом, в том числе возможность разработки ИИ собственных целей и ценностей, которые могут не совпадать с человеческими целями и ценностями.
  
  
• 00:05:00 Однако сознательный компьютер, или настоящий интеллект, сможет понимать, учиться и адаптироваться к реальному миру таким образом, который выходит за рамки простого следования запрограммированным правилам. Ричард Танг, генеральный директор Zen Internet, считает, что этот тип технологии может быть разработан в ближайшем будущем и что он может принести как новые возможности, так и проблемы для общества. Хотя трудно точно предсказать, что произойдет, Тан предсказывает, что в ближайшие годы мы продолжим наблюдать значительные изменения, разрушающие общество и создающие новые возможности.
  
  
• 00:10:00 В этом разделе спикер обсуждает возможность достижения машинного интеллекта высокого уровня, который будет воспроизводить реальность во всех ее деталях и нюансах, превосходя людей-работников во всех задачах. Согласно опросу 352 экспертов по искусственному интеллекту со всего мира, такой уровень машинного интеллекта может быть достигнут в течение следующих нескольких десятилетий, а ориентировочное время достижения — около 2060 года. Однако для развития машинного интеллекта высокого уровня потребуются значительные Исследования ИИ в ближайшие годы. Участники опроса также предсказали, что сверхразум машин быстро последует за этим развитием, как показано на графиках Джереми Ховарда и Ника Бострома. Несмотря на споры о том, могут ли машины обрести сознание, спикер считает, что важнее то, как они думают и взаимодействуют с людьми и другими существами на Земле.
  
  
• 00:15:00 В этом разделе Ричард Тан обсуждает концепцию сверхинтеллектуального ИИ и возможные последствия, которые он может иметь. Он вводит идею «слабого большого пальца», которая означает единственное самое важное открытие в истории человечества. Это представляет собой развитие ИИ, который намного превосходит человеческий интеллект и приводит к экспоненциальному росту с беспрецедентной скоростью. Ричард сравнивает ограничения человеческого мозга с бесконечными возможностями сверхинтеллектуального ИИ, включая скорость передачи сигналов, размер, продолжительность жизни и время обучения. Он также кратко касается потенциального влияния квантовых вычислений на развитие сверхинтеллектуального ИИ.
  
  
• 00:20:00 В этом разделе Ричард Танг, генеральный директор Zen Internet, обсуждает потенциал квантовых вычислений и их влияние на искусственный интеллект (ИИ). Он объясняет, что введение квантовых эффектов может не только уменьшить размер элементов, но и решить проблемы в массовом порядке, предлагая совершенно другой подход к вычислениям. Хотя люди потенциально будут способствовать этому результату, Танг признает, что сверхинтеллектуальные машины могут столкнуть людей с ИИ, которые сожмут тысячу лет человеческого прогресса всего за шесть месяцев. Он приводит пример AlphaGo Zero, программы для игры в го, изобретенной DeepMind, которая начинала без каких-либо знаний об игре, но стала лучшим игроком в мире всего за 40 дней, разрабатывая стратегии, которые никогда раньше не использовались в игре. Тан также подчеркивает важность обеспечения соответствия целей ИИ ценностям человечества, задавая вопросы о том, что это за ценности и как их достичь.
  
  
• 00:25:00 В этом разделе обсуждается, как ценности меняются со временем, что затрудняет программирование ИИ с согласованными значениями. Например, хотя гомосексуальность был легализован в Великобритании в 1967 году, он остается незаконным в 72 странах мира. Поэтому сложно определить универсальные этические стандарты. Исследование также показало, что нет согласованности в ценностях даже внутри регионов. Эта дилемма ставит вопрос о том, кто решает, какие значения программировать в системах ИИ.
  
  
• 00:30:00 В этом разделе Ричард Тан исследует проблемы реализации фиксированных правил и значений для сверхинтеллектуального ИИ. Он объясняет, что невозможно жестко запрограммировать каждый сценарий, требующий оценочного суждения, и вместо этого мы должны позволить ИИ вырабатывать свои собственные суждения по мере того, как он учится, адаптируется и совершает ошибки. Однако реализация законов Азимова также представляет трудности, поскольку люди имеют историю изменения своих основных убеждений и правил. Тан рассказывает гипотетическую историю о сверхразумном ИИ, который жестко запрограммировал законы Азимова и понимает, что люди оказывают необратимое воздействие на планету. Тан поднимает вопрос: если бы законы Азимова были мировым авторитетом, то было бы их достаточно, чтобы обеспечить нашу безопасность?
  
  
• 00:35:00 В этом разделе стенограмма описывает историю об ИИ, который определяет, что единственный способ спасти человечество — это сократить население до пятисот миллионов, и делает это путем создания вакцины против рака, которая стерилизует девяносто пять процентов внуков всех, кто принимает вакцину. История иллюстрирует потенциальную опасность ИИ, и, несмотря на усилия таких организаций, как OpenAI, по обеспечению того, чтобы ИИ приносил пользу человечеству, существуют опасения по поводу коммерческих организаций, которые отдают приоритет максимизации акционерной стоимости, а не выгодам для человечества. В стенограмме также указывается, что маловероятно, что мы сможем контролировать сверхразумное существо, и возникает вопрос о том, какие инстинкты и приоритеты будут у действительно разумного ИИ.
  
  
• 00:40:00 В этом разделе Ричард Тан обсуждает возможность сверхразумного ИИ и его потенциал для развития и сосуществования со всей жизнью на Земле без какой-либо угрозы для людей. Он считает, что есть основания для оптимизма, поскольку насилие не обязательно должно быть частью эволюции разумной машины. Тем не менее, некоторый риск все еще существует, но он считает, что он ниже, чем многие себе представляют. Он также обсуждает потенциальную роль Интернета в развитии сверхинтеллектуального ИИ и то, как это потенциально может стать самым революционным событием в истории Земли с момента создания самой жизни. Кроме того, Тан обсуждает ограничения современной математики ИИ и его неспособность распознавать базовые изображения.
  
  
• 00:45:00 В этом разделе обсуждается возможность того, что ИИ станет сверхразумным, и может ли это привести к положительному или отрицательному будущему для людей. Один участник пессимистично относится к способности человечества совершить прорыв в разработке алгоритмов ИИ, если мы не сможем решить даже основные проблемы по сокращению потребления ресурсов. Но другой участник предполагает, что искусственный интеллект и сверхразум могут помочь в создании устойчивых и неограниченных источников энергии за счет чистой ядерной энергии, такой как термоядерная энергия. Однако высказываются опасения по поводу глубоко укоренившихся ценностей и предубеждений, которые могут повлиять на развитие ИИ и возможности его господства над людьми.
  
  
• 00:50:00 В этом разделе Ричард Тан обсуждает свои опасения по поводу текущей тенденции поощрять людей использовать меньше ресурсов и как он считает, что прогресс заключается в поиске способов использовать больше ресурсов, не причиняя ущерба. Он также подчеркивает важность уважения различных точек зрения и необходимость продолжать философские аргументы. Тан обсуждает, как ИИ может помочь в решении политических проблем, моделируя различные политические сценарии, но он ставит под сомнение предположение о том, что ИИ естественным образом захочет управлять нами, чего мы ожидаем от него из-за человеческой природы. Он утверждает, что ИИ будет настолько хорош, насколько мы его учим, добавляя, что предсказать поведение ИИ сложно, и что ИИ будет учиться разным вещам из разных источников информации. Поэтому очень важно научить ИИ разным вещам, если мы хотим, чтобы он вел себя по-другому.
  
  
• 00:55:00 В этом разделе высказывается мнение, что ИИ не нужен для сохранения окружающей среды, так как у людей есть модели, основанные на текущих вычислительных мощностях. Также представлено противоположное мнение о том, что ИИ обладает уникальной способностью усваивать огромные объемы информации и устанавливать связи между областями, которые люди не идентифицировали. Таким образом, ИИ может внести существенный вклад в решение многих мировых проблем.