Машинное обучение и нейронные сети - страница 18

[MetaQuotes]

Лекция 4. Поиск: поиск в глубину, восхождение на холм, луч

4. Поиск: поиск в глубину, восхождение на холм, луч

В этом видео на YouTube Патрик Уинстон обсуждает различные алгоритмы поиска, в том числе поиск в глубину, восхождение на холм, луч и поиск по лучшему. На примере карты он демонстрирует преимущества и ограничения каждого алгоритма и то, как понимание различных методов поиска может улучшить навыки решения проблем. Уинстон также обсуждает применение алгоритмов поиска в интеллектуальных системах, используя систему Genesis для ответа на вопросы об истории Макбета. Он также представляет концепцию пирровой победы и то, как поисковые программы могут обнаруживать такие ситуации, просматривая графики и сообщая о своих выводах на английском языке. В целом, видео представляет собой исчерпывающий обзор алгоритмов поиска и их практического использования в реальных сценариях.

• 00:00:00 В этом разделе Патрик Уинстон обсуждает различные методы поиска и то, как они соотносятся с нашими собственными способностями решать проблемы. Он демонстрирует важность хорошего алгоритма поиска на примере поиска оптимального пути из одной точки в другую на карте. Он также вводит концепцию поиска в Британском музее, в которой исследуются все возможные пути, но отмечает, что этот метод неэффективен. Далее он обсуждает поиск в глубину, восхождение на холм и поиск по лучу, а также то, как их можно использовать в различных сценариях. Он подчеркивает, что понимание различных алгоритмов поиска может помочь развить интуицию в отношении решения проблем, а также может дать представление о том, как наш мозг решает проблемы.
  
  
• 00:05:00 В этом разделе на примере карты представлены концепции поиска в глубину, восхождения на холм и луча. Алгоритм Британского музея используется для иллюстрации того, как можно найти все возможные пути, не кусая себя за хвост на карте. Хотя Поиск представлен через карты, ясно, что он не ограничивается ими и на самом деле касается выбора, который делается при попытке принять решение. Поиск в глубину — это один из показанных поисков, который состоит из целеустремленного движения вперед, выбора пути и возврата назад, когда он сталкивается с тупиком. Процесс поиска с возвратом также введен как способ сделать алгоритм более эффективным.
  
  
• 00:10:00 В этом разделе видео обсуждаются два основных алгоритма поиска: поиск в глубину и поиск в ширину. Поиск в глубину лучше всего использовать в сочетании с дополнительным методом поиска с возвратом, поскольку он может предотвратить пропуск пути, ведущего к цели. Поиск в ширину строит дерево уровень за уровнем и завершает путь, ведущий к цели. Затем видео тестирует оба алгоритма поиска на образце задачи, перемещая начальную позицию и соответствующим образом корректируя поиск. Представлена блок-схема для демонстрации алгоритма поиска с использованием очереди для представления рассматриваемых путей.
  
  
• 00:15:00 В этом разделе спикер объясняет, как работает алгоритм поиска в глубину. Алгоритм начинается с инициализации очереди и расширения первого пути в очереди. После расширения s говорящий получает два пути: s идет к a, а s идет к b. Для поиска в глубину новые расширенные пути помещаются в начало очереди, чтобы алгоритм мог продолжать опускаться в дерево поиска. Докладчик также объясняет, что поиск в ширину использует тот же алгоритм, что и поиск в глубину, с одной измененной строкой, которая заключается в том, чтобы поместить новые пути в конец очереди, а не в начало.
  
  
• 00:20:00 В этом разделе мы узнаем об ограничениях поиска в ширину и о том, как его улучшить. Алгоритм считается неэффективным и не может сказать, приближается он или удаляется от цели. Кроме того, он часто расширяет пути, ведущие к одному и тому же узлу более одного раза, а этого следует избегать. Изменив алгоритм таким образом, чтобы он не расширял путь, если последний узел не был расширен ранее, мы можем избежать траты времени на дублирование путей. Используя этот метод, мы видим значительное улучшение эффективности поиска и качества пути.
  
  
• 00:25:00 В этом разделе видео исследует поиск Hill Climbing как более информированный подход к поиску целевого узла с учетом расстояния до узла. Подобно поиску в глубину, Hill Climbing перечисляет варианты лексически и разрывает связи в зависимости от близости к целевому узлу. Это приводит к более прямому пути без возврата, хотя это не всегда может быть оптимальным путем. Видео демонстрирует, что Hill Climbing создает меньше очередей и более прямой путь по сравнению с поиском в глубину. В видео рекомендуется использовать эвристики в алгоритмах поиска, если они доступны.
  
  
• 00:30:00 В этом разделе инструктор обсуждает технику поиска по лучу, дополнения или дополнения к поиску в ширину, который позволяет проводить информированный поиск с использованием эвристики. Лучевой поиск устанавливает ограничение на количество путей для рассмотрения на каждом уровне и сохраняет только два верхних пути, которые могут приблизиться к цели, используя дополнительную информацию или эвристическое измерение расстояния до цели. Инструктор упоминает, что Hill Climbing также является информированным поиском, который добавляет новые пути в начало очереди с учетом расстояния до цели, которые сортируются, чтобы все было прямо.
  
  
• 00:35:00 В этом разделе спикер обсуждает Лучевой поиск и Поиск наилучшего первого, два дополнительных алгоритма поиска, которые можно использовать в непрерывных пространствах, таких как горы. Лучевой поиск включает в себя выбор и сохранение w лучших путей в качестве решения, в то время как поиск по первому наилучшему включает в себя всегда работу с конечным узлом, который находится ближе всего к цели, и может пропускать в дереве поиска. Hill Climbing может столкнуться с проблемами в непрерывных пространствах, такими как застревание в локальном максимуме или невозможность двигаться по ровной местности. Наконец, спикер иллюстрирует дополнительную проблему с восхождением на холм в многомерных пространствах, где может присутствовать острый мост.
  
  
• 00:40:00 В этом разделе видео обсуждается моделирование интеллекта и необходимость алгоритмов поиска при построении интеллектуальных систем. Спикер использует пример топографической карты, чтобы проиллюстрировать, как мы можем обмануться, думая, что находимся на вершине, хотя на самом деле это не так. Это приводит к концепции поиска, необходимой для составления планов и оценки выбора. Затем спикер демонстрирует использование системы Genesis для ответа на вопросы об истории Макбета с помощью алгоритма поиска. Система поглощает информацию, строит график проработки и ищет закономерности в истории, связанные с местью и другими концепциями более высокого уровня.
  
  
• 00:45:00 В этом разделе Патрик Уинстон обсуждает концепцию пирровой победы, то есть ситуации, когда сначала кажется, что все идет хорошо, но в конечном итоге приводит к негативным последствиям. Он демонстрирует, как поисковые программы могут обнаруживать такую информацию, просматривая графики, и могут отвечать на вопросы на основе этой информации. Программы используют комбинацию явных операторов и правил if/then для построения этих графиков и предоставления информации на английском языке. Уинстон также упоминает, что эти программы могут генерировать ответы, основанные на здравом смысле, и мысли более высокого уровня, сообщая о результатах поиска, в результате которых была получена информация. Наконец, он демонстрирует способность системы отвечать на вопросы о характере и мотивах Макбета, используя языковой вывод, сгенерированный системой синтаксического анализатора.

[MetaQuotes]

Лекция 5. Поиск: оптимальный, метод ветвей и границ, A*

5. Поиск: оптимальный, метод ветвей и границ, A*

В видео обсуждаются несколько поисковых алгоритмов для нахождения кратчайшего пути между двумя местами на примере Route 66 между Чикаго и Лос-Анджелесом. Видео знакомит с концепцией эвристического расстояния и предоставляет примеры различных алгоритмов поиска, таких как восхождение на холм, поиск по лучу и метод ветвей и границ. Докладчик подчеркивает важность использования допустимых и непротиворечивых эвристик в алгоритме A* для оптимизации поиска. Кроме того, в видео отмечается эффективность использования расширенного списка и расстояний авиакомпаний для определения нижних границ кратчайшего пути. В конце концов, видео заканчивается обещанием обсудить дальнейшие усовершенствования алгоритма A* на следующей лекции.

• 00:00:00 В этом разделе профессор обсуждает, как найти кратчайший путь между двумя местами, сосредоточив внимание на примере трассы 66 между Чикаго и Лос-Анджелесом. Он упоминает создание системы автомагистралей между штатами президентом Эйзенхауэром, который хотел воспроизвести способность немецкой армии быстро перемещать войска по стране. Затем профессор вводит понятие эвристического расстояния и то, как оно может помочь найти наилучший путь, хотя это не всегда верно. Он также приводит примеры различных алгоритмов поиска, таких как восхождение на холм и поиск по лучу, цель которых — найти наилучший путь, находясь рядом с пунктом назначения.
  
  
• 00:05:00 В этом разделе профессор обсуждает концепцию эвристической дистанции и принцип решения проблем, задавая вопрос тому, кто знает ответ. Используя пример поиска кратчайшего пути на карте, профессор предлагает следовать пути, предложенному Хуаной, но проверяет его, проверяя, что все другие возможные пути в конечном итоге длиннее, чем предложенный маршрут. Профессор подробно описывает процесс расчета длины пути и выбора кратчайшего пути для продолжения, пока длина пути не совпадет с той, которую предложила Хуана.
  
  
• 00:10:00 В этом разделе спикер обсуждает, как найти кратчайший путь без оракула. Подход предполагает продление кратчайшего пути до достижения цели. Докладчик приводит пример, иллюстрирующий процесс поиска кратчайшего пути путем рассмотрения путей с неотрицательными длинами. Подход проверяет, не потрачена ли проделанная до сих пор работа впустую, и если нет, то длина пути является кратчайшей. Докладчик объясняет, что этот подход может найти кратчайший путь, но могут быть и другие пути, если существуют длины нулевой длины.
  
  
• 00:15:00 В этом разделе видео спикер демонстрирует использование функции ветвления и границы для нахождения кратчайшего пути на более сложной карте. Они упоминают об украшении блок-схемы и объясняют процесс инициализации очереди, проверки первого пути в очереди и расширения путей, которые не являются выигрышными. Докладчик отмечает, что подход с ветвями и границами помещает множество путей в очередь и расширяет многие пути, которые не являются оптимальными, но это можно улучшить, только расширяя пути, которые не были расширены ранее. Докладчик подчеркивает важность использования только метода расширенных путей для поиска оптимальных путей.
  
  
• 00:20:00 В этом разделе концепция расширенного списка представлена как улучшение настройки алгоритма ветвей и границ. Расширенный список не позволяет алгоритму расширять пути, которые уже были расширены и имеют более длинные пути, чем те, которые уже достигли той же точки. Сохраняя расширенный список, можно сократить обширные области дерева, уменьшив количество расширений, необходимых для достижения решения. По сравнению с предыдущим примером новый алгоритм требует только 38 расширений вместо 835, что приводит к существенной экономии времени вычислений.
  
  
• 00:25:00 В этом разделе представлена концепция использования расстояний авиакомпаний для определения нижней границы кратчайшего возможного пути. Накопленное расстояние и расстояние по воздуху добавляются, чтобы обеспечить нижнюю границу пути. Затем демонстрируется моделирование с выбором пути с кратчайшим потенциальным расстоянием от S до G. В случае равенства баллов выбирается путь с лексически наименьшим значением.
  
  
• 00:30:00 В этом разделе спикер обсуждает использование эвристики для ускорения алгоритмов поиска по графу. Использование допустимой эвристики - это когда оценка гарантированно меньше фактического расстояния. Расширенный список более полезен, чем использование одной из этих эвристик нижней границы. Однако эффективность эвристики зависит от проблемы, и, изменив положение начальной позиции, можно изменить результаты поиска. В конечном счете, важно отметить, что использование эвристики может не повторять движения через один и тот же узел, но это не обязательно делает что-то существенное для эффективного поиска.
  
  
• 00:35:00 В этом разделе видео обсуждается A*, алгоритм поиска, который сочетает в себе как допустимую эвристику, так и алгоритм ветвей и границ. Используя оба метода, A* может значительно улучшить свои индивидуальные показатели. Допустимая эвристика использует строгую цель, в то время как алгоритм ветвей и границ понимает задействованное исследование пространства. В видеоролике показано, как A* может более эффективно решать проблемы при совместном использовании обоих методов. Однако в видео также отмечается, что определенные обстоятельства могут сделать допустимость невозможной, если поиск выходит за рамки традиционных карт. В результате допустимая иерархия и алгоритм А* могут стать менее эффективными при поиске оптимальных решений.
  
  
• 00:40:00 В этом разделе профессор объясняет концепцию допустимых эвристик в алгоритме A*. Он показывает пример карты с нечетными расстояниями и объясняет, как использование допустимой эвристики не всегда может привести к нахождению кратчайшего пути. Профессор подчеркивает, что допустимая эвристика работает только для карт и что для того, чтобы заставить алгоритм работать в ситуациях, которые не являются картами, нужно что-то более сильное, чем допустимость в эвристике. Видео заканчивается обещанием обсудить эту доработку на следующей лекции.
  
  
• 00:45:00 В этом разделе лектор обсуждает требования к эвристической функции для работы в рамках алгоритма A*. Он вводит понятия допустимости и непротиворечивости, объясняя, что эвристическая функция должна быть одновременно допустимой и непротиворечивой, чтобы работать в ситуациях, когда она не является картой. Он показывает, что использование допустимой, но непоследовательной эвристики может привести к сбою алгоритма даже в тех сценариях, где сработала бы последовательная эвристика. Наконец, лектор подчеркивает важность использования всех доступных преимуществ для оптимизации алгоритма A*, включая использование расширенного списка и соответствующей эвристической функции.

[MetaQuotes]

Лекция 6. Поиск: игры, минимакс и альфа-бета

6. Поиск: Игры, Минимакс и Альфа-Бета

В видео обсуждается история игр с искусственным интеллектом, начиная со знаменитой цитаты Дрейфуса о том, что компьютеры не могут играть в шахматы. Выступающие объясняют, что правила «если-то» неэффективны в игровых программах, и требуется более глубокий анализ и стратегия. Они вводят минимаксный алгоритм и концепцию сокращения альфа-бета для оптимизации эффективности поиска игр. В видео также рассматриваются такие методы, как минимизация стоимости страховых полисов и постепенное углубление. Спикер заключает, что, хотя интеллект бульдозера важен, это не обязательно тот же тип интеллекта, который есть у людей в голове.

• 00:00:00 В этом разделе спикеры обсуждают раннюю историю игр в ИИ, выделяя известную цитату Хьюберта Дрейфуса о том, что компьютеры не могут играть в шахматы. Однако спикеры утверждают, что игры могут моделировать некоторые элементы интеллекта, поэтому они продолжают объяснять, как компьютер может играть в шахматы. Они рассматривают использование правил «если-то» для подхода к игре, метод, который не очень эффективен, но был успешно реализован в некоторых программах для игры в шашки. В конечном итоге докладчики приходят к выводу, что в игровых программах требуются более глубокий анализ и стратегия, а также тактика и скорость, которые они будут исследовать далее в этом разделе.
  
  
• 00:05:00 В этом разделе спикер обсуждает третий способ создания сильной шахматной программы, который включает в себя заглядывание вперед и оценку всех возможных последствий ходов для определения наилучшей возможной ситуации на доске. Для этого требуется функция, которая сочетает в себе функции шахматной доски для получения статического значения, используемого для определения наилучшей ситуации на доске. Докладчик объясняет, что наиболее популярным способом формирования статического значения является использование линейного оценочного полинома. Однако используемый метод не должен ранжировать ситуации на доске или давать им номера; он просто должен определить лучший. Докладчик также рассказывает о коэффициенте ветвления деревьев перемещений и о том, как вычислить количество конечных или конечных узлов.
  
  
• 00:10:00 В этом разделе спикер объясняет ограничения алгоритма Британского музея в шахматах из-за большого количества листовых узлов в дереве решений игры. По словам Клода Шеннона, в шахматах существует от 10 до 120 листовых узлов, что делает практически невозможным использование обработки Британского музея для оценки лучшего хода. Чтобы представить это число в перспективе, спикер подсчитал, что даже если бы все атомы во Вселенной выполняли статические вычисления с наносекундной скоростью с начала Большого взрыва, нам все равно не хватило бы 14 порядков. Таким образом, спикер делает вывод, что нам нужно смотреть вперед как можно дальше, если мы хотим оценить лучший ход в шахматах.
  
  
• 00:15:00 В этом разделе спикер объясняет минимаксный алгоритм, который включает в себя присвоение значений листовым узлам игрового дерева и их «резервное копирование» уровень за уровнем, чтобы определить наилучший возможный ход для каждого игрока. Максимизирующий игрок хочет вести игру к наибольшему значению, в то время как минимизирующий игрок хочет подтолкнуть ее к наименьшему значению. Вычисляя эти значения и решая наилучший план действий, алгоритм можно использовать для игры в состязательные игры, такие как шахматы. Докладчик иллюстрирует алгоритм простым деревом игр, а также показывает пример алгоритма в действии с большим деревом игр.
  
  
• 00:20:00 В этом разделе видео основное внимание уделяется поиску способов как можно глубже погрузиться в дерево поиска, чтобы прояснить грубые показатели качества доски, которые могут дать довольно хорошее представление о следующем шаге. . Решение об отсечении больших частей дерева поиска лежит в алгоритме альфа-бета, который представляет собой слой поверх минимаксного. Альфа-бета использует два параметра, альфа и бета, чтобы отрезать участки дерева поиска, обеспечивая более эффективный поиск. Этот алгоритм не является альтернативой минимаксу, а скорее способом сделать его более эффективным. Приведен пример, демонстрирующий, как работает алгоритм альфа-бета на практике.
  
  
• 00:25:00 В этом разделе спикер обсуждает процесс поиска игр и то, как его можно оптимизировать за счет использования таких алгоритмов, как минимакс и альфа-бета. В качестве примера используется дерево глубины четыре или более, где говорящий обводит числа, которые необходимо вычислить, показывая, что определенные ветви не нужно оценивать из-за ситуаций отключения. Это экономит время вычислений и позволяет более эффективно искать игры. Докладчик также вводит понятие глубокого отсечения, при котором числа сравниваются на отдельных уровнях дерева, а определенные ветви считаются несущественными. Хотя в это может показаться трудным поверить, этот процесс эффективен и может значительно повысить эффективность поиска игр.
  
  
• 00:30:00 В этом разделе видео обсуждается концепция сокращения альфа-бета и то, как она может сэкономить время вычислений в игровых алгоритмах. Оценивая состояния доски, минимизатор и максимизатор могут выбрать наилучший возможный ход. Минимизатор получает 8 в определенном направлении, а максимизатор может получить 9 в другом направлении, создавая ситуацию отсечения. Сокращение альфа-бета позволяет алгоритму проходить через деревья, при этом альфа и бета сокращаются вокруг ситуации, что экономит вычисления. Хотя этот метод работает только в оптимальной ситуации, когда коэффициент ветвления постоянен, он все же экономит много времени и вычислений, что делает его необходимым инструментом для игровых программ.
  
  
• 00:35:00 В этом разделе мы узнаем, как минимизировать стоимость страховых полисов для расчетов дерева игр. Вычисляя статические значения на один уровень выше основания, а не полностью вниз, он дает страховой полис, гарантирующий хороший ход без необходимости вычислять b для d конечных узлов. Стоимость страхового полиса рассчитывается путем сложения количества листьев на каждом уровне дерева. Однако для минимизации затрат существует ограничение на количество уровней, которые должна охватывать политика, начиная с первого уровня. С помощью алгебры было обнаружено, что вычисление, необходимое для политики высшего уровня, равно b к d минус 1 сверх b минус 1, что является управляемым вычислением.
  
  
• 00:40:00 В этом разделе представлена концепция постепенного углубления как способ оптимизации результата страховых полисов в игровом дереве. Всегда имея доступный ход на каждом уровне в качестве страхового полиса от невозможности перехода на следующий уровень, прогрессивное углубление иллюстрирует, как алгоритмы в любое время всегда имеют готовый ответ, как только он потребуется. Кроме того, Кристофер предлагает использовать временные значения для повышения производительности альфа-бета, идея, которая, как позже показано, является новым изобретением важной концепции. Программа Deep Blue мало чем отличается от других игровых программ, за исключением использования в ней параллельных вычислений и специальных методов для конечной игры.
  
  
• 00:45:00 В этом разделе спикер обсуждает развитие неровного дерева во время игры и то, что дереву не обязательно опускаться до фиксированного уровня. Он говорит о том, что Deep Blue победила Каспарова в 1997 году из-за того, что Deep Blue добавили дополнительные штрихи. Однако он упоминает, что этот тип вычислений, при котором вычисления выполняются так же, как бульдозер перерабатывает гравий, отличается от человеческого интеллекта. Мастера шахмат играют по-другому, распознавая закономерности, а не занимаясь долгими вычислениями. Спикер приходит к выводу, что интеллект бульдозера важно понимать, но это не обязательно тот же тип интеллекта, который есть у людей в голове.

[MetaQuotes]

Лекция 7. Ограничения: интерпретация линейных рисунков

7. Ограничения: интерпретация линейных рисунков

В видео обсуждается разработка проблемы удовлетворения ограничений для интерпретации линейных рисунков, которая началась с попытки создать компьютер, который мог бы видеть простые объекты. Была проанализирована работа экспериментатора Гусмана, что привело к подходу Дэвида Хаффмана к работе в простом математическом мире с ограничениями, которые позволили ему разработать лучшую теорию, чем программа Гусмана. В видео исследуется словарь, используемый для каталогизации и классификации линий и соединений на чертежах, возможность заполнения пяти октантов материалом и использование ограничений для проверки объектов на конструируемость. В видео также обсуждается проблема использования меток для интерпретации линейных рисунков, алгоритм Вальца и процесс работы с разветвленными вершинами при анализе рисунков. Ограничения, разработанные в этом проекте, находят применение при решении задач с большим количеством ограничений, таких как раскраска карты и составление расписания.

• 00:00:00 Он будет интерпретировать линейные рисунки и определять количество объектов в них. Эту идею доработали Дэйв Хаффман, Дэйв Вальц и Джейн Фройдтер. Работа над этим проектом изначально была мотивирована попыткой создать компьютер, который мог бы видеть, начиная с простых предметов, таких как детские кубики. В этом разделе стенограммы Патрик Уинстон рассказывает историю борьбы за разработку одного из самых мощных методов в предмете, который включает проблемы удовлетворения ограничений, и о том, как все началось с попытки создать компьютер, способный видеть.
  
  
• 00:05:00 В этом разделе спикер обсуждает работу Гусмана, который исследовал линейные рисунки и способы их интерпретации. Гусман обнаружил, что на этих рисунках, как правило, много стреловидных и вилкообразных соединений, и использовал их в качестве доказательства, чтобы определить, какие грани принадлежат одному и тому же объекту. Гусман выдвинул теорию использования «связей» в качестве квантов доказательства для решения этой проблемы. Он отверг теорию одного звена и обнаружил, что теория двух звеньев слишком консервативна, что привело его к повторению третьей теории двух длин. Однако было много ситуаций, когда этот метод не работал, и поднимался вопрос, почему он работал и когда не работал. Было обнаружено, что это сработало, потому что мир полон трехгранных соединений или вершин.
  
  
• 00:10:00 В этом разделе видео обсуждается подход Дэвида Хаффмана к разработке теории интерпретации штриховых рисунков после анализа программы экспериментатора Гусмана. Хаффман решил работать в простом математическом мире с несколькими характеристиками, такими как мир общего положения, содержащий только трехгранные вершины, образованные пересечением трех плоскостей, и различать четыре типа линий: вогнутые, выпуклые и граничные, помеченные символом плюс, минус и стрелки соответственно. Эти ограничения позволили ему решить проблему вручную, разрабатывая другую и лучшую теорию, чем программа Гусмана.
  
  
• 00:15:00 В этом разделе профессор Патрик Уинстон обсуждает словарь, используемый для каталогизации и классификации линий и соединений на чертежах, включая вершины, ребра, соединения и линии. Далее он объясняет, что есть только 18 способов разместить метки вокруг перекрестка, а все остальное исключено. Он также приводит примеры шести L, пяти развилок, четырех T и трех стрелок, которые допустимы для обозначения соединений. Различные способы маркировки соединений зависят от октантов, при этом количество заполненных октантов определяет тип соединения.
  
  
• 00:20:00 В этом разделе спикер обсуждает возможности заполнения пяти октантов веществом и объясняет, как смотреть на объект с трех разных точек зрения, чтобы анализировать наблюдаемое. Глядя на объект с точки зрения пурпурного мела, можно увидеть соединение стрелки с двумя вогнутыми и выпуклыми; от синего мела идет вогнутая линия и граница, а другая сторона —
  симметричная противоположность синей перспективе. Докладчик далее исследует вершины, которые могут создавать развилки и L-образные соединения, а также затемняющие объекты, которые могут создавать Т-образные формы с оставшейся линией в качестве границы. Наконец, спикер упоминает, что вершины с шестью гранями также могут быть созданы, когда объекты собираются вместе в точке.
  
  
• 00:25:00 В этом разделе спикер обсуждает ограничения и то, как их можно использовать, чтобы определить, можно ли построить конкретный объект или нет. Изучая расположение линий и стрелок вокруг перекрестка, создается каталог всех возможных расположений. Используя этот каталог, спикер демонстрирует, как обозначать линии и стрелки вокруг объекта, напоминающего домашнюю тарелку. Однако при столкновении с развязкой, не вписывающейся в каталог, объект определяется как невозможный для строительства. Этот метод обеспечивает способ проверки объектов на конструируемость, хотя прохождения теста недостаточно, чтобы гарантировать конструктивность.
  
  
• 00:30:00 В этом разделе видео исследуется проблема интерпретации линейных рисунков в компьютерном зрении. Первоначальный подход заключался в маркировке соединений четырьмя гранями, но некоторые чертежи нельзя было маркировать из-за отсутствия граней. Аспирант Дэвид Вальц решил решить эту проблему и добавил дополнительные соображения, такие как трещины, тени и нетрехгранные вершины. Это привело к увеличению количества этикеток с четырех до 50 с лишним, что затруднило работу вручную. Работа Вальца показала важность наличия проблемы, работающего метода и обобщаемого принципа.
  
  
• 00:35:00 В этом разделе спикер обсуждает проблему использования меток для интерпретации штриховых рисунков. Он приводит пример линейного рисунка и объясняет, как для его интерпретации можно использовать алгоритм Вальца, который включает поиск в глубину для изучения всех возможных меток и их комбинаций. Алгоритм, однако, оказался дорогостоящим в вычислительном отношении, и через полтора года Вальцу пришлось придумать новый метод, который мог бы обрабатывать экспоненциальное пространство поиска. Докладчик отмечает, что эффективность алгоритма была обусловлена комбинацией набора меток Вальца и его нового метода.
  
  
• 00:40:00 В этом разделе спикер обсуждает алгоритм Вальца и то, как он проверяет соседние перекрестки, чтобы убедиться, что линии, которые только что были размещены на втором перекрестке, совместимы с линиями на соседних перекрестках. Из шести первоначальных возможностей половина исключается из-за запрещенных граничных линий между первым и вторым перекрестками. Остальные возможности проверяются по третьему соединению, а оттуда проверяются любые дальнейшие ограничения на соединения, в результате чего получается только одна интерпретация для всех соединений и линий между ними.
  
  
• 00:45:00 В этом разделе спикер обсуждает процесс работы с разветвленными вершинами при анализе рисунка. Разместив их, говорящий заключает, что у него есть уникальная интерпретация для всех соединений, и определяет, какие линии выпуклые, а какие вогнутые. Затем спикер демонстрирует процесс рисования с большей двусмысленностью и отмечает, что деятельность по распространению ограничений похожа на то, как люди интерпретируют линейные рисунки, показывая, что у нас может быть аппарат распространения ограничений, который мы используем в видении. Наконец, спикер обсуждает, как этот тип механизма можно использовать для решения задач, связанных с большим количеством ограничений, в частности, в раскраске карты, которая имеет приложения в планировании.

[MetaQuotes]

Лекция 8. Ограничения: Поиск, Редукция домена

8. Ограничения: поиск, сокращение домена

В этом видео обсуждается концепция ограничений при решении проблем, особенно в контексте поиска и сокращения доменов. Докладчик использует пример присвоения цветов штатам на карте, чтобы проиллюстрировать, как можно использовать ограничения для сужения возможностей еще до начала поиска. Докладчик также исследует различные подходы к работе с ограничениями, такие как проверка только заданий или учет всего, и представляет концепцию планирования ресурсов как еще одно применение решения проблем на основе ограничений. В целом, видео дает исчерпывающий обзор того, как можно использовать ограничения для эффективного решения сложных задач.

• 00:00:00 В этом разделе видео спикер обсуждает сложность задачи раскраски карты на примере карты с 26 штатами. Он отмечает, что поиск в глубину с вращающимся выбором цвета займет очень много времени, чтобы найти подходящую раскраску, и демонстрирует проблему с помощью диаграммы. Однако он вводит концепцию распространения ограничений, которая может сузить возможности для цвета каждого состояния еще до начала поиска. Затем спикер решает задачу Техаса, показывая, как распространение ограничений может помочь избежать застревания в невозможном поиске.
  
  
• 00:05:00 В этом разделе спикер демонстрирует, как использовать ограничения для решения задачи присвоения цветов штатам на карте. Используя принцип боевых искусств и рассматривая локальные ограничения, говорящий следит за тем, чтобы никакие соседние состояния не имели одного и того же цвета. Выступающий также вводит некоторые важные слова, включая переменные, значения и домены. Понятие домена — это набор значений, которые может принимать переменная, и говорящий использует этот словарь, чтобы показать, как можно делать выбор, который не вызовет проблем в дальнейшем.
  
  
• 00:10:00 В этом разделе спикер объясняет, как работают ограничения в контексте поиска и сокращения доменов. Ограничения — это ограничения на пары значений переменных, которые часто используются в задачах раскраски карты. Каждое состояние — это переменная, цвета — это значения, а остальные цветовые возможности — это домены. Ограничение в этом случае состоит в том, что ни одно из состояний, имеющих общую границу, не может иметь одинаковый цвет. Затем спикер формализует свой подход к поиску в глубину и редукции, записав его в псевдокоде. Псевдокод включает в себя рассмотрение переменной для каждого назначения, рассмотрение всех оставшихся вариантов и обеспечение того, чтобы все, что осталось в домене, было приемлемо для некоторого выбора в других состояниях.
  
  
• 00:15:00 В этом разделе спикер обсуждает, как обрабатывать ограничения алгоритма поиска. Они объясняют, что для каждого значения в поиске алгоритм должен проверять, удовлетворяет ли оно установленным ограничениям. Если смежное значение, удовлетворяющее ограничению, отсутствует, алгоритм удаляет это значение из домена. Если домен становится пустым, алгоритм должен вернуться. Спикер исследует различные способы подхода к проблеме, в том числе ничего не учитывать, учитывать все и только проверять задания, в конечном итоге обнаруживая, что только проверка заданий выполняется быстро, но может привести к ошибкам, в то время как рассмотрение всего проверяет все соседние значения, но может быть излишним.
  
  
• 00:20:00 В этом разделе спикер обсуждает алгоритм уменьшения домена в контексте решения задачи цветового отображения. Они объясняют, что проверка соседей назначения, что означает проверку того, какие параметры цвета доступны для соседних состояний, важна для решения проблемы. Спикер также предлагает распространять через переменные с уменьшенными доменами, чтобы сделать процесс более эффективным. Кроме того, путем проверки соседей соседей процесс решения проблем может быть дополнительно упрощен. Докладчик отмечает, что алгоритмы сокращения домена могут помочь решить сложные проблемы, но также признает ограничения и потенциальные тупиковые ситуации.
  
  
• 00:25:00 В этом разделе спикер обсуждает сокращение домена и то, как решить, через какие переменные распространяться. Вместо того, чтобы распространяться по всем переменным с уменьшенными доменами, алгоритм распространяется только по тем с наибольшим сокращением, вплоть до одного значения. Делая это, он уменьшает количество проверяемых ограничений, что приводит к ускорению времени решения. Спикер также раскрывает некоторые «маленькие грязные секреты», например, как расположить задачу в определенном порядке, чтобы ее было труднее решить. Выбор между началом с наиболее ограниченной или наименее ограниченной переменной остается на усмотрение пользователя.
  
  
• 00:30:00 В этом разделе видео спикер сначала обсуждает работу с наименьшими ограничениями и то, как они переупорядочивали вещи, чтобы сначала иметь состояние с наименьшими ограничениями. Они проверили только 1732 ограничения и обнаружили 59 тупиков, поэтому они попытались по-другому, проверив только самые ограниченные первые задания. Однако они упоминают, что если бы состояния были расположены от наибольшего ограничения к наименее ограниченному, обычный поиск в глубину работал бы нормально. Затем спикер представляет проблему планирования ресурсов с новой авиакомпанией Jet Green и обсуждает, чем она аналогична проблеме раскраски карты. Джет Грин хочет летать в основном между Бостоном и Нью-Йорком и иногда хочет летать в Лос-Анджелес, пытаясь обойтись наименьшим количеством самолетов.
  
  
• 00:35:00 В этом разделе спикер представляет пример планирования рейсов между городами, который можно решить, применяя концепции задачи раскраски карты. Задача состоит в том, чтобы организовать четыре самолета для эффективной работы на желаемых маршрутах. Спикер подчеркивает ограничения проблемы: два самолета не могут летать одновременно, каждый самолет должен использоваться одинаково, и существуют ограничения по времени полета. Кроме того, докладчик демонстрирует, что выбор стратегии поиска, сокращение домена, проверка соседей и наиболее ограниченный первый тип могут повлиять на эффективность решения.
  
  
• 00:40:00 В этом разделе инструктор знакомит с концепцией использования минимальных и максимальных ограничений для определения подходящего количества ресурсов, необходимых для задачи. Установив минимальное и максимальное количество ресурсов, алгоритм может быстро сойтись в узком диапазоне, где поиск занимает много времени, что позволяет быть уверенным, что он находится в этом диапазоне. Преподаватель также рекомендует сначала использовать большинство ограничений и распространять их по доменам, сведенным к единому алгоритму, для достижения хорошего распределения ресурсов. Делая несколько дел одновременно, можно быстро определить ресурсы, необходимые для задачи.

[MetaQuotes]

Лекция 9. Ограничения: визуальное распознавание объектов

9. Ограничения: визуальное распознавание объектов

В этом видео Патрик Уинстон обсуждает проблемы распознавания визуальных объектов, в том числе идеи Дэвида Марра о формировании описания объектов на основе границ, нормалей поверхности и обобщенных цилиндров. Докладчик также подробно рассматривает различные методы визуального распознавания объектов, в том числе теорию выравнивания и использование алгоритмов корреляции для расчета местоположения объектов среднего размера. Уинстон подчеркивает проблемы распознавания природных объектов, которые не имеют одинаковых размеров, и важность контекста и повествования для визуального распознавания, используя пример пьющей кошки. На протяжении всего видео он предоставляет демонстрации и примеры для объяснения различных концепций. В целом докладчик подчеркивает трудности визуального распознавания и призывает студентов продолжать исследования в этой области.

• 00:00:00 В этом разделе Патрик Уинстон обсуждает проблемы распознавания визуальных объектов, таких как лица. Он представляет программу, которая может изменять внешний вид изображения политика, показывая, как оно интерполируется среди сохраненных изображений. Затем Уинстон углубляется в историю распознавания объектов, начиная с идей Дэвида Марра, который предполагал, что первым шагом в визуальном распознавании является формирование описания объекта на основе границ, известного как первичный набросок. Затем Марр предложил украсить первичный набросок нормалями поверхности, чтобы показать ориентацию объекта, назвав его наброском два с половиной D. Затем последовало преобразование наброска в два с половиной D в обобщенные цилиндры, что приблизило нас на шаг к распознаванию визуальных объектов.
  
  
• 00:05:00 В этом разделе спикер рассказывает о различных подходах к визуальному распознаванию объектов, начиная с представления о правильном цилиндре как круглой области, движущейся вдоль оси, и переходит к обсуждению концепции теории выравнивания. Теория распознавания выравнивания основана на идее, что наличие трех изображений объекта позволяет восстановить любой вид этого объекта в орфографической проекции, которую можно использовать для распознавания объекта в библиотеке. Говорящий утверждает, что можно выбрать соответствующие места на разных объектах, а совмещение изображений и неизвестного объекта можно использовать, чтобы определить, совпадает ли неизвестный объект с исходным объектом.
  
  
• 00:10:00 В этом разделе Патрик Уинстон объясняет, как составить уравнение для различных объектов, используя в качестве констант альфа, бета, гамма и тау. Он демонстрирует, как это уравнение работает для четырех точек разного цвета, и, выбирая одинаковые значения альфа, бета, гаммы и тау для всех точек, он может успешно использовать линейные операции для связывания точек в разных объектах. Затем он объясняет, что координаты представляют собой 2D-проекции объекта на чертеж, и отвечает на вопросы о том, как можно идентифицировать криволинейные поверхности при визуальном распознавании объектов.
  
  
• 00:15:00 В этом разделе Патрик Уинстон обсуждает, как ограничения могут помочь предсказать местоположение объекта, чтобы облегчить распознавание. Он объясняет, что с помощью переменных альфа, бета, гамма и тау, которые могут быть получены из четырех линейных уравнений и четырех неизвестных, можно правильно определить соответствующие точки, чтобы получить ценную информацию о положении неизвестного объекта. Уинстон демонстрирует этот метод, объясняя, что если соответствующие точки определены правильно, это дает четкое указание на то, что объект является правильным, например, обелиск или орган.
  
  
• 00:20:00 В этом разделе спикер демонстрирует, как рассчитать перемещение координаты x на изображении 3D-объекта при его вращении вокруг оси z. Они начинают с определения стандартного положения и определения координат x и y в этом положении, затем поворачивают объект для создания трех разных положений (a, b и c) и определяют угол поворота для каждого. Затем динамик использует поворот вектора, чтобы вычислить, как изменяется координата x при вращении объекта вокруг оси z. Процесс включает в себя использование функций косинуса и синуса и рассмотрение проекций координат x и y вектора при его вращении.
  
  
• 00:25:00 В этом разделе спикер упрощает уравнение, описывающее визуальное распознавание объектов через орфографическую проекцию, то есть проекцию по оси x без какой-либо перспективы. Он утверждает, что неизвестные факторы, такие как косинус и синус углов тета, являются константами и могут быть представлены как альфа- и бета-множители для x sub a и x sub b. Говоря о сценарии, допускающем перемещение и вращение, докладчик отмечает, что дополнительную константу тау необходимо определить путем вычитания двух уравнений.
  
  
• 00:30:00 В этом разделе Патрик Уинстон обсуждает различные методы распознавания объектов. Он рассказывает о проблеме распознавания природных объектов, которые не имеют одинаковых размеров, в отличие от искусственных объектов, где можно сфотографировать и записать координаты некоторых точек для распознавания. Затем он представляет теорию Шимона Ульмана, основанную на корреляции, согласно которой можно взять два изображения, применить одно в качестве корреляционной маски к другому изображению и определить местонахождение основного объекта. Однако у этой идеи есть ограничения, поскольку она не может найти необычные функции, а только общие. Уинстон исследует эту идею дальше, рисуя примеры двух тыквенных лиц и обсуждая проблемы, связанные с идеей распознавания объектов на основе определения конкретных признаков, таких как глаза и нос.
  
  
• 00:35:00 В этом разделе спикер обсуждает, как работает визуальное распознавание объектов и как оно зависит от размера распознаваемых признаков. В то время как изображения, которые слишком малы или слишком велики, не дают полезной информации, могут быть полезны элементы среднего размера, такие как комбинации двух глаз и носа. Задача состоит в том, чтобы найти эти промежуточные признаки в море изображений. Спикер предлагает использовать алгоритмы корреляции, чтобы определить смещение на изображении, где встречается функция. Путем максимизации параметра x можно вычислить интеграл лица и изображения, чтобы определить местоположение функции.
  
  
• 00:40:00 В этом разделе видео ведущий объясняет, как работает корреляция при распознавании визуальных объектов, на примере изображений с шумом. Корреляция включает умножение и интегрирование по протяженности лица со смещением. Когда смещение равно, программа умножает изображение само на себя и интегрирует по лицу. Максимизируя параметры перевода x и y, можно выделить определенные особенности изображения, такие как лицо человека, несмотря на добавленный шум. Демонстрация показала, что даже с добавленным шумом программа все же смогла выделить нужные функции.
  
  
• 00:45:00 В этом разделе Патрик Уинстон обсуждает проблемы визуального распознавания, в частности способность узнавать людей под разными углами. Он отмечает, что, хотя неясно, как мы можем распознавать лица под разными углами, переворачивание лиц вверх ногами или их растяжение потенциально могут нарушить теорию корреляции. Однако он предполагает, что более сложные вопросы заключаются в том, как мы можем определить, что происходит визуально. Он предлагает учащимся определить, какое действие он выполняет в эксперименте, подчеркивая текущие проблемы компьютерного зрения.
  
  
• 00:50:00 В этом разделе спикер использует пример пьющей кошки, чтобы продемонстрировать, как наша способность рассказывать истории влияет на наше визуальное распознавание. Несмотря на значительные визуальные различия, люди могут легко определить, что кошка пьет, поняв повествование, представленное на изображении. Нижняя часть нашей зрительной системы предоставляет достаточно информации для нашего аппарата рассказа, чтобы распознать питье кошки, доказывая важность контекста и повествования в распознавании визуальных объектов.

[MetaQuotes]

Лекция 10. Введение в обучение, ближайшие соседи

10. Введение в обучение, ближайшие соседи

В этом видео на YouTube профессор Уинстон представляет тему обучения и обсуждает два типа обучения: обучение на основе регулярности и обучение на основе обратной связи. Он фокусируется на методах обучения, основанных на регулярности, таких как обучение ближайших соседей, нейронные сети и бустинг. Изучение ближайших соседей включает в себя детектор признаков, генерирующий вектор значений, который затем сравнивается с векторами из библиотеки возможностей, чтобы найти ближайшее совпадение и определить, что представляет собой объект. Докладчик приводит различные примеры того, как можно применять этот метод. Далее он обсуждает, как можно использовать границы решений для определения категории объекта. Вводится принцип подобия между разными случаями и подчеркивается важность управления сном, так как он сильно влияет на обучение. Наконец, он касается проблемы неравномерности, проблемы «что важно» и важности нормализации данных с использованием статистических методов.

• 00:00:00 В этом разделе профессор Уинстон представляет тему обучения и два типа обучения: обучение на основе закономерностей и обучение на основе обратной связи. Он фокусируется на первом и обсуждает методы обучения, основанные на регулярности, такие как обучение ближайших соседей, нейронные сети и бустинг. Изучение ближайшего соседа — это хорошо зарекомендовавшая себя техника в области распознавания образов, и это первое, что нужно попробовать при решении задачи обучения. Профессор также предлагает рассмотреть две загадки: как создать компьютерную программу, которая может пить кофе, и для чего, по мнению собаки, нужна диетическая кола. Наконец, он упоминает о важности обращения к теме сна и правильного управления ею, поскольку это сильно влияет на обучение.
  
  
• 00:05:00 В этом разделе спикер представляет концепцию изучения ближайшего соседа, которая является типом распознавания образов. Это включает в себя детектор признаков, который генерирует вектор значений, который затем сравнивается с векторами из библиотеки возможностей, чтобы найти наиболее близкое совпадение и определить, что представляет собой объект. Докладчик приводит пример использования этого метода для сортировки электрических крышек на сборочной линии путем измерения их площади и площади отверстий. Это форма обучения, основанного на регулярности, которая похожа на обработку информации бульдозером. Докладчик отмечает, что это не обязательно лучшая модель обучения человека, которая включает идеи, основанные на ограничениях, и позволяет однократное обучение и обучение на основе объяснений.
  
  
• 00:10:00 В этом разделе инструктор использует пример сборки крышек с различными площадями отверстий, чтобы объяснить концепцию границ решений. Он демонстрирует, как разделить пространство с помощью серединных перпендикуляров, что может помочь определить категорию объекта на основе его ближайшего идеализированного описания. Кроме того, границы решений также можно использовать для определения категории нового объекта путем измерения одного из его атрибутов и сравнения его с категориями, созданными границами решений.
  
  
• 00:15:00 В этом разделе спикер вводит принцип сходства между разными случаями, утверждая, что если что-то похоже в определенных аспектах, оно, вероятно, будет похоже и в других отношениях. Этот принцип лежит в основе большей части обучения, будь то сказки, юридические или деловые дела или даже медицинские дела. Идея состоит в том, чтобы распознать сходство с текущей ситуацией, чтобы применить некоторый прецедент или знание. Принцип может применяться в различных областях. Например, его можно использовать для идентификации клеток, когда клетки можно поместить в многомерное пространство и оценить их сходство на основе различных свойств. Точно так же этот принцип можно использовать при поиске информации, когда статьи из журналов можно сравнивать на основе количества слов для решения конкретных вопросов.
  
  
• 00:20:00 В этом разделе исследуется концепция использования ближайших соседей при попытке определить, какая статья ближе всего к неизвестной. Проблема возникает, когда все статьи Town и Country определяются как наиболее близкие. Вместо этого класс обсуждает использование другой метрики, такой как угол между векторами, для решения проблемы. Косинус угла между двумя векторами можно вычислить с помощью простого вычисления, которое может быть полезно во многих ситуациях, включая управление роботом-манипулятором. Цель состоит в том, чтобы переместить руку, чтобы контролировать траекторию мяча с определенной скоростью и ускорением, что включает в себя определение двух углов, тета 1 и тета 2.
  
  
• 00:25:00 В этом разделе спикер обсуждает проблемы, возникающие при переводе искомых (x,y) координат шара в пространство θ1 и θ2 с желаемыми положениями, скоростями и ускорениями. Они вводят понятие сил Кориолиса, которые являются результатом сложной геометрии, связанной с уравнениями движения. Чтобы решить эту проблему, спикер предлагает построить большую таблицу комбинаций движений руки, затем разбить нужную траекторию на маленькие части и найти из таблицы наиболее близкое соответствие, включая соответствующие моменты. Этот метод ранее был отвергнут из-за недостаточной мощности компьютера, но в последнее время он был пересмотрен и хорошо работает для подобных движений.
  
  
• 00:30:00 В этом разделе спикер объясняет, как работает процесс обучения, поскольку робот проходит через свое «детство» и постепенно становится лучше в решении задачи. Улучшение достигается за счет использования таблицы, которая записывает лучшие версии требуемых движений, чтобы робот мог вернуться к ней позже. Затем спикер показывает график, демонстрирующий, насколько быстро происходит обучение робота. Также кратко обсуждается тема использования того же метода записи в память для записи бейсбольных полей.
  
  
• 00:35:00 В этом разделе профессор Патрик Уинстон обсуждает количество нейронов и синапсов в мозге, особенно в мозжечке, связанных с контролем движений, и как он может функционировать как гигантская таблица для обучения двигательным навыкам. Затем он исследует проблему нормализованных данных в машинном обучении и то, как это может повлиять на распространение данных в разных измерениях. Решение состоит в том, чтобы вычислить дисперсию и нормализовать данные, используя методы статистики.
  
  
• 00:40:00 В этом разделе спикер обсуждает потенциальные проблемы, которые могут возникнуть при использовании ближайших соседей в обучении. Одной из таких проблем является проблема неравномерности, когда данные не зависят от новой переменной. Вторая проблема — это проблема «что важно», когда алгоритм может измерять расстояние, которое сбивает с толку ответ. Наконец, третья проблема заключается в том, что доступные данные не зависят от вопроса, подобно попытке испечь пирог без муки. Затем спикер касается важности сна и того, насколько важны хорошие привычки сна, особенно для таких людей, как армейские рейнджеры. Кроме того, он объясняет, как лишение сна может привести к ошибкам в различении целей, что наблюдалось в ходе послевоенного анализа.
  
  
• 00:45:00 В этом разделе спикер обсуждает влияние потери сна на человеческий разум и тело. Он объясняет, что через 72 часа способности и производительность человека падают на 30% по сравнению с началом. Потеря сна накапливается, и после 20 дней лишения сна в течение одного часа ваши способности падают до 25%. Спикер также исследует эффективность кофеина и дневного сна, подчеркивая, что кофеин действительно помогает. Он предостерегает от ошибочной корреляции с причиной и того, как животные, такие как собаки и кошки, могут ошибаться, считая, что диетические напитки вызывают увеличение веса из-за корреляции, которую они видят.

[MetaQuotes]

Лекция 11. Обучение: деревья идентификации, беспорядок

11. Обучение: деревья идентификации, беспорядок

Профессор Массачусетского технологического института Патрик Уинстон объясняет концепцию создания механизма распознавания для идентификации вампиров с использованием данных и важность создания небольшого и экономичного идентификационного дерева, удовлетворяющего требованиям бритвы Оккама. Он предлагает использовать эвристические механизмы для построения дерева, поскольку вычисление всех возможных деревьев является NP-задачей. Уинстон предлагает использовать теневой тест, чесночный тест, тест на цвет лица и тест на акцент, чтобы определить, какие люди являются вампирами, и объясняет, как измерять беспорядок в наборах, чтобы определить общее качество теста на основе измерения беспорядка. В видео также обсуждается, как деревья идентификации можно использовать с числовыми данными, и дерево можно преобразовать в набор правил для создания простого механизма, основанного на поведении, основанном на правилах.

• 00:00:00 В этом разделе профессор Массачусетского технологического института Патрик Уинстон представляет концепцию использования данных для создания механизма распознавания вампиров. Он указывает на различия между этим набором данных и набором данных электрического покрытия, с которым они работали в предыдущем классе, отмечая, что этот набор данных является не числовым, а символическим, что делает методы ближайших соседей непригодными для использования. Он также обращает внимание на другие проблемы, связанные с идентификацией вампиров, такие как стоимость определенных тестов и неуверенность в том, какие характеристики действительно имеют значение.
  
  
• 00:05:00 В этом разделе Патрик Уинстон объясняет концепцию деревьев идентификации или деревьев решений и подчеркивает важность построения небольшого дерева, которое является рентабельным и создает единообразные подмножества данных. Цель состоит в том, чтобы найти наилучшее возможное расположение тестов для получения простого, небольшого объяснения, которое удовлетворяет Бритве Оккама, которая утверждает, что самое простое объяснение часто является лучшим объяснением. Он также предлагает использовать эвристический механизм для построения дерева, поскольку вычисление всех возможных деревьев является задачей NP. Наконец, Уинстон предупреждает, что небольшой набор образцов, используемый в классе, не подходит для реальных приложений.
  
  
• 00:10:00 В этом разделе тест тени, тест чеснока, тест цвета лица и тест акцента используются для определения того, какие люди являются вампирами. Тесты применяются к небольшой выборке, и, глядя на то, как тесты делят данные, можно определить, какой тест дает наиболее однородные группы. Конечная цель — найти тест, который сможет точно идентифицировать всех вампиров в выборке. Тест тени делит население на тех, кто отбрасывает тень, и тех, кто не отбрасывает тень, и только один человек не отбрасывает тень, что указывает на то, что он вампир. Чесночный тест определил, что все вампиры в выборке отрицательно реагировали на употребление чеснока. Тест на цвет лица и тест на акцент также помогают определить, какие люди с наибольшей вероятностью являются вампирами.
  
  
• 00:15:00 В этом разделе в видео объясняется пример создания дерева идентификации путем разделения группы лиц на однородные наборы путем выбора характеристик, уникальных для каждой группы. Пример включает в себя вампиров и не-вампиров, а также тесты, используемые для идентификации каждой группы. В видео также рассматриваются вопросы о том, как применить эту концепцию к большим наборам данных, и подчеркиваются ограничения примера в классе.
  
  
• 00:20:00 В этом разделе вводится понятие измерения беспорядка в множествах. Чтобы найти способ измерить беспорядок множеств, которые находятся в нижней части ветвей дерева, специалисты по теории информации обращаются за руководством. Беспорядок в наборе, согласно теоретикам информации, рассчитывается путем учета общего количества положительных и отрицательных результатов и умножения количества положительных результатов на логарифм положительных результатов, деленный на общее число, по основанию 2. , Этот метод может помочь в определении общего качества теста на основе измерения беспорядка.
  
  
• 00:25:00 В этом разделе спикер объясняет формулу для измерения беспорядка в наборе данных с использованием соотношения положительных и отрицательных результатов. После расчета значений для полностью перепутанных и полностью положительных наборов данных докладчик подтверждает важность внимания к этим кривым для быстрой работы с вопросами викторины. Наконец, используя правило Лопиталя, говорящий вычисляет третье значение, когда отношение отрицательных значений к общему количеству приближается к 0, что позволяет построить график кривой с тремя точками.
  
  
• 00:30:00 В этом разделе спикер обсуждает, как измерить качество теста в целом и как измерить беспорядок в каждом наборе, созданном тестом. Спикер предлагает суммировать беспорядок каждого набора, полученного в результате теста, но отмечает, что этот метод может быть не самым лучшим, поскольку он дает одинаковый вес ветви, по которой почти ничего не идет, как ветви, по которой идет почти все. Чтобы решить эту проблему, спикер предлагает взвесить сумму на основе доли выборок, которые заканчиваются в этой ветви. Докладчик иллюстрирует этот метод на примере задачи и делает вывод, что беспорядок однородного множества равен нулю.
  
  
• 00:35:00 В этом разделе основное внимание уделяется качеству тестов, которые идентифицируют и разбивают заданные данные на подмножества. Беспорядок или беспорядок в наборе равен нулю, когда все образцы одинаковы, и равен единице, когда образцы представляют собой равномерную смесь двух типов. Умножая вероятность подмножеств на соответствующий беспорядок наборов, можно рассчитать качество каждого теста. Затем эта метрика качества используется для определения того, какой тест лучше всего подходит для разделения данных на однородные подмножества, что необходимо для построения максимально простого дерева. Однако упор делается на интуицию, стоящую за анализом данных, а не на теорию информации или энтропию.
  
  
• 00:40:00 В этом разделе видео обсуждается, как можно использовать деревья идентификации с числовыми данными, установив пороговые значения для данных. Это позволяет создавать бинарные тесты, аналогичные тестам, используемым с категориальными данными. Компьютер может попробовать различные пороговые значения и определить, какой порог лучше всего подходит для разделения данных на однородные группы. В отличие от других методов, таких как ближайшие соседи, границы решений параллельны той или иной оси, а не повторяют форму самих данных.
  
  
• 00:45:00 В этом разделе мы узнаем о деревьях идентификации, их достоинствах и о том, как их можно преобразовать в набор правил, чтобы упростить их для тех, кто ориентируется на правила. Дерево можно преобразовать в набор правил, перейдя по каждой ветви к листу, и если правило проверяет и тень, и чеснок, мы можем избавиться от некоторых предложений, чтобы создать простой механизм, основанный на правилах. поведение.

[MetaQuotes]

Лекция 12а: Нейронные сети

12а: Нейронные сети

Это видео охватывает ряд тем, связанных с нейронными сетями. Докладчик начинает с обсуждения истории нейронных сетей, подчеркивая ключевую работу, проделанную Джеффом Хинтоном, которая изменила эту область. Затем обсуждается анатомия нейрона, а также способ сбора и обработки входных данных. Затем в видео рассказывается, как нейронные сети функционируют как аппроксиматоры функций и как можно повысить производительность с помощью восхождения на холм и градиентного спуска. Цепное правило вводится для облегчения вычисления частных производных, и спикер демонстрирует, как с помощью этого подхода можно обучить самую простую в мире нейронную сеть. Также обсуждается оптимальная константа скорости для нейронной сети, и докладчик представляет более сложную нейронную сеть с двумя входами и выходами. Наконец, вводится принцип повторного использования для решения проблемы потенциального экспоненциального увеличения путей в больших сетях. В целом, в видео подчеркивается, что отличные идеи в области нейронных сетей часто просты и их легко упустить из виду, даже если они могут оказать значительное влияние на область.

• 00:00:00 В этом разделе профессор описывает историю нейронных сетей и упоминает, что изначально многие считали, что нейронные модели того времени не были точными моделями человеческого мозга и что никому не удавалось создать нейронную модель, которая стоило чего угодно. Продолжая, профессор упоминает, что два года спустя Джефф Хинтон из Университета Торонто ошеломил мир своей нейронной работой по распознаванию и классификации изображений и опубликовал статью с некоторыми примерами. Видео показывает несколько примеров изображений, которые нейронная сеть Торонто смогла распознать, и другие, где у нее возникли трудности.
  
  
• 00:05:00 В этом разделе спикер обсуждает нейронные сети и то, как они значительно улучшились за последние три года благодаря возросшим усилиям и интересу. Он объясняет, как нас вдохновляют наши собственные нейронные системы, и описывает структуру нейрона, включая его аксон, дендритное дерево и синаптические связи между ними. Затем спикер обсуждает, как синаптические связи моделируются в нейронных сетях с использованием двоичных входных данных и весов, отражающих силу связи.
  
  
• 00:10:00 В этом разделе спикер объясняет, как смоделировать способ сбора входных данных в нейроне с помощью простой модели, в которой используются синаптические веса, сумматор и пороговое поле, которое определяет, сработает нейрон или нет. Хотя эта модель вдохновлена работой человеческого мозга, все еще остается много неизвестных и сложностей, которые еще не полностью поняты нейробиологами. Эта модель — лишь один из способов понять общую суть того, как работают нейроны и как они функционируют коллективно как сеть.
  
  
• 00:15:00 В этом разделе спикер объясняет, как нейронная сеть функционирует как аппроксиматор функций, где входы проходят через сеть и становятся выходами. Выходной вектор является функцией входного вектора, весового вектора и порогового вектора. Функция производительности строится путем сравнения желаемого выходного вектора с фактическим выходным вектором, и цель всегда состоит в том, чтобы минимизировать функцию производительности. В лекции объясняется процесс оптимизации весов и порогов в простой нейронной сети с использованием восхождения на холм, но признается, что этот метод неприменим для нейронных сетей с огромным количеством параметров, таких как нейронная сеть Хинтона с 60 миллионами параметров.
  
  
• 00:20:00 В этом разделе рассказчик объясняет, как можно использовать градиентный спуск для небольших улучшений функции производительности, взяв частные производные функции по определенным весам. Однако этот метод эффективен только для непрерывных поверхностей, а не для прерывистых поверхностей, как в случае с нейронными сетями. Решение было предложено Полом Вербосом в 1974 году и включает в себя добавление еще одного входа к нейрону с весом W0, связанного с входом, который всегда равен -1. Этот вход эффективно перемещает порог к нулю и обеспечивает более плавную функцию перехода для нейронной сети.
  
  
• 00:25:00 В этом разделе видео объясняет сигмовидную функцию и то, как она используется в нейронных сетях. Сигмовидная функция используется в качестве функции активации для нейронов и обеспечивает правильный вид и форму, которые требуются в математике. Затем вычисляются частные производные, теперь, когда проблемный порог удален, чтобы попытаться обучить нейронную сеть. Простейшая в мире нейронная сеть описывается как состоящая из двух нейронов и нескольких параметров, которые задают функцию производительности. Затем видео представляет цепное правило для перезаписи частных производных в вычисление промежуточных переменных, чтобы определить, насколько они колеблются по отношению к другим, и, в конечном итоге, для обучения нейронной сети.
  
  
• 00:30:00 В этом разделе спикер стирает и переписывает частные производные, используя цепное правило, предоставляя выражения, которые позволяют решить простую нейронную сеть. Производные для удобства преобразуются в формат произведения, и оратор продолжает находить частную производную от p2 по w2, которая равна Y. Частная производная от Z по p2 все еще неизвестна, поскольку она включает в себя пороговая функция. Чтобы это выяснить, спикер уничтожает нейрон и работает с функцией бета, которая равна 1 на 1 плюс е минус альфа.
  
  
• 00:35:00 В этом разделе спикер переходит к производной по отношению к альфа-бета, а затем переходит к демонстрации самой маленькой в мире нейронной сети в действии, обучая ее ничего не делать. Вывод сигмовидной функции упрощается, поскольку производная может быть записана исключительно в терминах вывода. Нейронная сеть обучена делать вывод таким же, как и ввод, но в результате ничего не происходит.
  
  
• 00:40:00 В этом разделе видео спикер обсуждает процесс определения оптимальной константы скорости для нейросети. Начиная с нейронной сети со случайными весами, спикер тестирует различные константы скорости и наблюдает их влияние на производительность сети. Если константа скорости слишком мала, для достижения оптимальной производительности требуется много времени, но если она слишком велика, сеть может прыгнуть слишком далеко и стать нестабильной. Докладчик отмечает, что константа скорости должна меняться по мере продвижения к оптимальной производительности. Докладчик также представляет более сложную нейронную сеть с двумя входами и выходами и обсуждает взаимодействия между потоками и весами.
  
  
• 00:45:00 В этом разделе мы узнаем о потенциальном экспоненциальном взрыве путей через сеть с большим количеством нейронов. Однако мы можем повторно использовать вычисления и не иметь экспоненциального взрыва, поскольку влияние изменений P на производительность может происходить только через фиксированный столбец нейронов, а это означает, что мы повторно используем уже выполненные вычисления. Объем вычислений, необходимых для столбца с фиксированной шириной, является линейным и глубинным, но пропорциональным квадрату ширины столбца. Спикер также отмечает, что на протяжении 25 лет этот принцип игнорируется.
  
  
• 00:50:00 В этом разделе спикер обсуждает, как великие идеи в нейронных сетях часто бывают простыми, но мы, люди, часто придумываем только один трюк или наблюдение вместо того, чтобы каскадировать несколько вместе, чтобы создать что-то чудесное. В этом случае работает принцип повторного использования, поскольку чудо было следствием двух уловок и наблюдения. В целом идея состоит в том, что великие идеи просты, и их легко не заметить, и их не замечали уже четверть века.

[MetaQuotes]

Лекция 12b: Глубокие нейронные сети

12b: Глубокие нейронные сети

В этом видео рассматриваются несколько тем, связанных с глубокими нейронными сетями, в том числе задействованный процесс вычислений, сверточные нейронные сети, алгоритмы автокодирования, настройка параметров в выходном слое, softmax и обратное распространение с помощью сверточных сетей. В видео также рассматриваются такие концепции, как локальные максимумы, расширяющиеся сети и обучение нейронных сетей, а также демонстрируется, как глубокие нейронные сети работают при обработке изображений. В целом, видео предоставляет всесторонний обзор основных концепций, связанных с глубокими нейронными сетями, включая их сильные и слабые стороны.

• 00:00:00 В этом разделе спикер обсуждает процесс вычислений в небольшой нейронной сети и подчеркивает тот факт, что производительность этой сети зависит от конечного числа выходных переменных. Далее спикер приводит уравнения, демонстрирующие зависимость производительности от удельных весов, и указывает, что в процессе вычислений много избыточности. По мере того, как вы перемещаетесь дальше от выходных данных к входным, многие ранее выполненные вычисления используются повторно, что приводит к повторному использованию нескольких фрагментов вычислений, которые были выполнены при последующих изменениях веса.
  
  
• 00:05:00 В этом разделе спикер обсуждает вычисления, связанные с нейронными сетями, и указывает на фундаментальные вычисления, которые происходят в нашей голове, скалярное произведение, которое также используется в нейронных сетях. Он также объясняет концепцию сверточных нейронных сетей, которые используются для обработки изображений, и отмечает, что они состоят из определенного набора компонентов, которые имеют тенденцию вновь появляться в поле нейронной сети. Спикер также упоминает производительность глубокой нейронной сети в 2012 году, у которой частота ошибок составляла около 15 или 37 процентов в зависимости от определения «правильного ответа».
  
  
• 00:10:00 В этом разделе видео спикер объясняет, как работают свертки и пулы в нейросетях. Этот процесс включает в себя запуск нейрона по изображению, производя вывод, связанный с определенным местом на изображении. Это называется сверткой, и полученные точки используются для поиска максимального значения в локальных окрестностях, создавая отображение изображения с использованием этого максимального значения. Это называется максимальным пулом. Можно использовать несколько ядер для получения множества выходных данных, которые затем можно передать в нейронную сеть, чтобы указать вероятность присутствия объекта на изображении. Этот метод гораздо более продвинут, чем старый метод использования небольшой сетки пикселей в качестве входных данных для нейронов.
  
  
• 00:15:00 В этом разделе лектор объясняет идею автокодирования, когда нейронная сеть сравнивает входные данные с выходными до тех пор, пока желаемые значения не совпадут друг с другом. Лектор описывает алгоритм, в котором сеть может идентифицировать животных по высоте их тени на доске, на простом примере, показывающем, как работает алгоритм автокодирования. Сеть «учится» распознавать тени животных, сжимая входные значения в меньший скрытый слой, который затем расширяется для создания выходных значений. Алгоритм достигает удивительно эффективных результатов даже при работе с большими наборами входных данных, которые содержат значительное количество классов и примеров для каждого класса.
  
  
• 00:20:00 В этом разделе спикер демонстрирует запуск простой нейронной сети со случайными входными данными и простым обратным распространением. Уже после тысячи итераций частота ошибок значительно снижается, и сеть способна распознавать природу объектов, которые она видит в окружающей среде, исключительно по высоте их тени. Однако похоже, что нейроны скрытого слоя делают не обобщения, а некие закодированные обобщения, что затрудняет понимание исследователями того, как нейронная сеть способна распознавать конкретные объекты. Несмотря на эту загадку, автокодирование, которое включает в себя послойное обучение, предлагает многообещающую технику для обучения глубоких нейронных сетей.
  
  
• 00:25:00 В этом разделе видео спикер обсуждает финальный слой глубокой нейронной сети и важность настройки значений порога и веса для оптимизации классификации выборок. При изменении порогового значения сигмовидная функция сдвигается, а изменение значения веса изменяет крутизну кривой. Эти корректировки, в свою очередь, влияют на вероятность положительных и отрицательных примеров в наборе данных. Чтобы максимизировать вероятность правильной классификации данных, значения T и W должны быть оптимизированы с помощью частных производных.
  
  
• 00:30:00 В этом разделе инструктор объясняет концепцию настройки параметров в выходном слое, чтобы максимизировать вероятность выборочных данных, которые у нас есть. Это включает в себя просмотр выходного значения как нечто, связанное с вероятностью увидеть класс, и соответствующую настройку параметров. Инструктор демонстрирует процесс с помощью сигмовидной кривой и алгоритма градиентного спуска. Цель состоит в том, чтобы связать какую-то вероятность с каждым классом, чтобы мы могли найти наиболее вероятный. Фактическая вероятность класса рассчитывается путем деления выходных данных сигмовидной функции для этого класса на сумму по всем функциям. Это называется делением на нормализующий коэффициент и преобразует каждое выходное значение в вероятность.
  
  
• 00:35:00 В этом разделе спикер объясняет процесс использования softmax, чтобы дать ряд классификаций и связать вероятность с каждой классификацией изображений. Спикер также обсуждает объединение идеи softmax с идеей автокодирования путем замораживания входного слоя и обучения выходного слоя с помощью сигмовидной кривой. Кроме того, они упоминают идею отсева, чтобы предотвратить застревание нейронных сетей в локальном максимальном состоянии. В заключении раздела отмечается, что, несмотря на сложность выходных слоев и обучение с использованием автокодирования или машин Больцмана, обратное распространение с помощью сверточных сетей, по-видимому, работает так же хорошо, и докладчик демонстрирует глубокую сеть в классе с пятью слоями и обратным распространением для классификации изображений. животные.
  
  
• 00:40:00 В этом разделе видео демонстрирует, как нейронная сеть может застрять в локальном максимуме и как расширение сети может помочь ей проползти через огромное пространство, не застряв. Докладчик объясняет, что произошел прорыв в обучении нейронных сетей, поскольку теперь они могут превращать локальные максимумы в седловые точки, что позволяет обучаться более эффективно. Видео продолжает исследовать, могут ли нейронные сети «видеть», как люди, показывая примеры того, как даже небольшие изменения в пикселях могут заставить нейронную сеть различать объекты с высоким уровнем достоверности. Демонстрация показывает, что нейронную сеть можно обмануть, заставив думать, что изображение не то, чем оно является на самом деле.
  
  
• 00:45:00 В этом разделе спикер обсуждает, как работают глубокие нейронные сети при обработке изображений, на примерах из статьи Google о добавлении подписей к картинкам. Нейронные сети идентифицируют объект, например школьный автобус или бейсбольный мяч, обнаруживая локальные особенности и текстуру на изображении. Однако неспособность нейронных сетей понять контекст изображения, как демонстрируют другие примеры ошибочной идентификации, показана как ограничение технологии. Затем спикер обсуждает работу своей лаборатории по выбиванию прямоугольников из изображений при сохранении впечатления нейронной сети от изображения. Способность нейронной сети идентифицировать объект также демонстрируется на изображениях различных уровней увечий, при этом нейронные сети превосходно работают, даже если часть изображения удалена.