Машинное обучение и нейронные сети - страница 13

[MetaQuotes]

Лекция 9: Форма из затенения, общий случай - переход от нелинейного уравнения первого порядка в частных производных к пяти обыкновенным дифференциальным уравнениям

Лекция 9: Форма из затенения, общий случай - переход от нелинейного уравнения первого порядка в частных производных к пяти обыкновенным дифференциальным уравнениям

Эта лекция посвящена теме формы от затенения, методу интерпретации форм объектов с использованием изменений яркости изображения. Лектор объясняет процесс сканирующей электронной микроскопии, в котором коллектор вторичных электронов используется для измерения доли входящего электронного луча, который возвращается обратно, что позволяет оценить наклон поверхности. В лекции также обсуждается использование контурных интегралов, моментов и метода наименьших квадратов для оценки поверхностных производных и нахождения наименьшей поверхности с учетом шума измерения. Докладчик выводит пять обыкновенных дифференциальных уравнений для формы из задачи затенения, а также объясняет концепцию оператора Лапласа, который используется в операциях обработки изображений.

В этой лекции на тему «Форма из затенения» спикер обсуждает различные подходы к решению уравнений для решения методом наименьших квадратов формы из затенения. Лектор объясняет различные методы выполнения условия Лапласа, настройки значений пикселей и реконструкции поверхностей с использованием измерений изображений и вычислений наклона из разных точек. Лекция охватывает темы начальных значений, преобразования вращения и обратного преобразования через минус тета. Лектор завершает обсуждением обобщения этих уравнений для произвольных карт отражения и важности изучения изображений, полученных с помощью сканирующего электронного микроскопа, для предоставления конкретных примеров интерпретации затенения.

• 00:00:00 В этом разделе лекции профессор представляет форму из затенения, которая представляет собой метод восстановления формы объектов с использованием измерений яркости изображения. Он объясняет, чем этот метод отличается от фотометрического стерео, требующего многократных экспозиций. Профессор также обсуждает различные типы поверхностных материалов и их отражающие свойства, в том числе хапке, модель отражения от каменистых планет и третью модель для микроскопии. Он представляет сравнение методов электронной микроскопии и объясняет, почему сканирующие электронные микроскопы дают изображения, которые людям легко интерпретировать из-за их специфических изменений яркости, которые становятся ярче по мере приближения к краям.
  
  
• 00:05:00 В этом разделе лектор обсуждает важность затенения изображений, которое играет значительную роль в интерпретации формы объектов. Лектор представляет изображения головы мотылька и овальной формы, напоминающей футбольный мяч, яркость которых меняется в зависимости от ориентации их поверхности, что позволяет нам легко интерпретировать их формы. Интересно, что, несмотря на неламбертову поверхность объекта, похожего на футбольный мяч, люди все еще могут точно интерпретировать его форму. Затем лекция углубляется в работу сканирующих электронных микроскопов, которые используют пучок ускоренных электронов для создания изображений поверхности объекта.
  
  
• 00:10:00 В этом разделе описан процесс создания заштрихованных изображений с помощью сканирующей электронной микроскопии. Электроны с напряжением в несколько килоэлектронвольт сталкиваются с объектом, и некоторые из них отражаются обратно, но большинство проникает и создает вторичные электроны, теряя энергию и отталкивая электроны от ионизирующих объектов. Некоторые из вторичных электронов выходят из объекта и собираются электродом для сканирования объекта в растровом виде. Ток, измеренный здесь, затем используется для модуляции светового луча на дисплее, который можно увеличить за счет отклонения, чтобы получить увеличение от тысяч до десятков тысяч, что делает его более мощным, чем оптическая микроскопия.
  
  
• 00:15:00 В этом разделе лекции спикер объясняет процесс измерения ориентации поверхности с помощью коллектора вторичных электронов. Коллектор измеряет долю входящего луча, которая возвращается обратно, с сильно наклоненными поверхностями, что приводит к большему току из-за выхода большего количества вторичных электронов. Построив карту отражения, яркость в зависимости от ориентации, можно определить наклон поверхности, но не ее градиент, оставив два неизвестных и одно ограничение. Эта задача является примером задачи определения формы по затенению, цель которой состоит в том, чтобы оценить форму поверхности по модели яркости.
  
  
• 00:20:00 В этом разделе лекции спикер обсуждает использование карты отражения для определения уклона или градиента поверхности. Они объясняют, что этот метод можно использовать для различных поверхностей, а не только для определенных типов. Обсуждение также касается игольчатых диаграмм и того, как их можно использовать для определения ориентации и формы поверхности. Спикер объясняет, что, хотя это простая задача, она переопределена, поскольку ограничений больше, чем неизвестных. Это позволяет уменьшить шум и улучшить результат. Лекция заканчивается демонстрацией интегрирования p для определения изменения высоты от начала координат.
  
  
• 00:25:00 В этом разделе спикер обсуждает, как интегрировать известные данные для оценки высоты в любом месте по оси x или оси y, которые можно объединить, чтобы заполнить всю область. Однако используемые значения p и q подвержены шуму измерения, а это означает, что нет гарантии, что измерение p и q разными способами приведет к одному и тому же результату. Чтобы решить эту проблему, необходимо ввести ограничение на p и q; p и q должны удовлетворять этому ограничению для любого цикла, а большой цикл можно разбить на маленькие циклы, которые компенсируют друг друга, чтобы убедиться, что ограничение верно и для большого цикла.
  
  
• 00:30:00 В этом разделе лектор обсуждает связь между интегралом по контуру и интегралом по площади в контексте измерения производных поверхности с фотометрическим внешним видом или другими методами зрения. В лекции показано, как можно оценить наклон на основе центра участка, где уклон практически постоянен, и использовать разложение в ряд Тейлора для вывода уравнения, связывающего производные поверхности z от x y. Говорят, что найти точное значение z для xy, которое дает измеренные p и q, невозможно, но представлен более элегантный способ найти приближение методом наименьших квадратов.
  
  
• 00:35:00 В этом разделе лекции спикер обсуждает преимущества сокращения вычислений от всех пикселей до только границы области в машинном зрении. Докладчик использует пример вычисления площади и положения капли через контурные интегралы и моменты, которые можно эффективно вычислить, отслеживая контур вместо подсчета пикселей. Далее в лекции применяется теорема Грина для согласования контурного интеграла с вычислением моментов.
  
  
• 00:40:00 В этом разделе лектор обсуждает, как найти наименьшую возможную поверхность, учитывая наши измерения. В идеале мы должны найти поверхность, где ее производные по x и y совпадают с p и q, которые мы получили из изображения соответственно. Однако из-за шума измерения это будет невозможно, поэтому вместо этого мы попытаемся сделать его как можно меньше, решив задачу наименьших квадратов. Z — функция с бесконечными степенями свободы, поэтому мы не можем использовать обычное исчисление. Вместо этого мы можем дифференцировать по каждому из конечного числа неизвестных в сетке и приравнять результат к нулю, чтобы получить множество уравнений.
  
  
• 00:45:00 В этом разделе лекции спикер обсуждает процесс нахождения значения z для каждой точки сетки, чтобы минимизировать ошибку между наблюдаемыми значениями и оцененными производными в обоих направлениях x и y. Для этого спикер объясняет, что им нужно продифференцировать и приравнять результат к нулю для всех возможных значений i и j, что приводит к набору линейных уравнений, решаемых методом наименьших квадратов. Однако спикер предупреждает о потенциальной проблеме, если имена идентификаторов i и j не будут заменены другими именами, что может привести к получению неверного ответа. Несмотря на наличие большого количества уравнений, они разрежены, что облегчает их решение.
  
  
• 00:50:00 В этом разделе спикер описывает процесс использования нелинейных дифференциальных уравнений в частных производных первого порядка для вывода пяти обыкновенных дифференциальных уравнений для формы из задачи затенения. Они объясняют этапы дифференцирования терминов внутри квадрата, сопоставления терминов и рассмотрения различных значений k и l. Лектор упрощает окончательное уравнение и разделяет члены, чтобы определить производные по x и y от p и q соответственно. Цель состоит в том, чтобы в конечном итоге найти решение для всех точек на изображении.
  
  
• 00:55:00 В этом разделе спикер объясняет схему вычислительной молекулы, которая представляет собой графический способ оценки производных в машинном зрении. Он использует это, чтобы показать, как получить оператор Лапласа, который широко используется в операциях обработки изображений. Он объясняет, что лапласиан осесимметричен, и существуют производные операторы, очень полезные для обнаружения границ, которые также осесимметричны.

• 01:00:00 В этом разделе спикер обсуждает дискретный подход к решению уравнений для решения методом наименьших квадратов для формирования из затенения, а не с использованием вариационного исчисления. Полученные уравнения, хотя и имеют много переменных, являются разреженными, что делает возможным итеративное решение. Докладчик объясняет, как решить эти уравнения, используя итеративный подход, который включает вычисление локальных средних значений соседних пикселей и добавление коррекции на основе информации об изображении. Спикер отмечает, что, хотя итерационные решения легко предложить, показать, что они сходятся, сложно, но учебники предполагают, что они сходятся.
  
  
• 01:05:00 В этом разделе лектор обсуждает подход к удовлетворению условия Лапласа путем корректировки значений пикселей с помощью простого уравнения с разреженными членами. Этот подход связан с решением уравнения теплопроводности и может эффективно выполняться параллельно, что делает его стабильным даже при шуме измерения. Этот метод можно применять к фотометрическим стереоданным для реконструкции поверхности методом наименьших квадратов, обеспечивая разумное решение, соответствующее экспериментальным данным. Однако лектор признает, что этот подход бесполезен непосредственно за пределами фотометрического стерео и что есть более сложные проблемы, требующие решения, такие как реконструкция отдельных изображений.
  
  
• 01:10:00 В этом разделе лектор обсуждает простой случай карты отражения с параллельными прямыми линиями в качестве изофот. Параллельные линии позволяют повернуться к более удобной системе координат и максимизировать информацию в одном направлении, минимизируя ее в другом. В лекции представлена взаимосвязь между p, q, p prime и q prime, углом тета, заданным треугольником, и обратным преобразованием поворота на минус тета. В конечном итоге лекция анализирует общий случай с волнистыми линиями и обсуждает понятие формы от затенения.
  
  
• 01:15:00 В этом разделе лектор рассказывает о том, как реконструировать поверхность, используя измерения изображения и вычисления уклона из разных точек. В лекции также рассматривается идея о том, что подход добавления константы к высоте z и нахождения изменений никоим образом не корректировал лапласиан z, подразумевая, что различия в высоте не дают много информации, а дают только относительную глубину. Однако лектор отмечает, что для получения реконструкции требуется начальное значение z.
  
  
• 01:20:00 В этом разделе докладчик обсуждает проблему наличия потенциально разных начальных значений для каждой строки при вычислении решений для формы поверхности с помощью Shape from Shading. Хотя было бы легко справиться с общим изменением высоты, наличие разных начальных значений для каждой строки требует другой начальной кривой, которую можно сопоставить с исходным, невращающимся миром. Докладчик предлагает использовать начальную кривую, которая является некоторой функцией эта, для исследования поверхности, перемещаясь по этим кривым, вычисляя их независимо, а затем изменяя скорость, с которой исследуется решение.
  
  
• 01:25:00 В этом разделе спикер поясняет, что при умножении на константу уравнения упрощаются, и движение в направлении x и y пропорционально q s и p s соответственно, а в направлении z возникает простая формула. Лекция завершается обсуждением обобщения этих уравнений для произвольных карт отражения и важности изучения изображений, полученных с помощью сканирующего электронного микроскопа, для предоставления конкретных примеров интерпретации затенения.

[MetaQuotes]

Лекция 10: Расширение характеристической полосы, форма от затенения, итерационные решения

Лекция 10: Расширение характеристической полосы, форма от затенения, итерационные решения

В этой лекции инструктор раскрывает тему формы от затенения, используя измерения яркости в концепции формирования изображения. Это включает в себя понимание уравнения освещенности изображения, которое связывает яркость с ориентацией поверхности, освещением, материалом поверхности и геометрией. Они объясняют метод обновления переменных p и q, используя две отдельные системы уравнений, которые взаимодействуют друг с другом, и отслеживая всю полосу с использованием градиента яркости. В лекции также обсуждаются проблемы решения нелинейных уравнений в частных производных первого порядка и различные методы перехода от одного контура к другому при исследовании поверхности. Наконец, инструктор обсуждает реализацию расширения характеристической полосы и почему последовательный подход может быть не лучшим методом, рекомендуя распараллеливание и контроль размера шага.

В лекции 10 профессор обсуждает различные методы решения задач определения формы из затенения, в том числе использование стационарных точек на поверхности и построение небольшой формы вокруг нее для оценки локальной формы. Лектор также вводит понятие закрывающей границы, которая может обеспечить начальные условия для решений, и обсуждает недавний прогресс в вычислении решений для задачи трех тел с использованием сложных методов численного анализа. Кроме того, лекция затрагивает тему методов промышленного машинного зрения и связанных с ними закономерностей, которые будут обсуждаться в следующей лекции.

• 00:00:00 В этом разделе преподаватель объявляет о первом тесте и подаче предложений на семестровый проект. Срочный проект включает в себя реализацию решения проблемы машинного зрения, и учащиеся должны представить короткое предложение до 22 числа. Затем инструктор рассказывает об изменении темпов освещения промышленного машинного зрения, когда они будут рассматривать патенты, а не опубликованные статьи или учебники. В процессе студенты узнают о патентном языке, который важен для предпринимателей, занимающихся стартапами. Наконец, преподаватель приводит примеры студенческих проектов, таких как реализация субпиксельных методов для обнаружения границ или время контакта на телефоне Android.
  
  
• 00:05:00 В этом разделе лектор обсуждает различные аспекты формирования изображения, уделяя особое внимание концепции формы от затенения с использованием измерений яркости. Это требует понимания уравнения освещенности изображения, которое связывает яркость с ориентацией поверхности, освещением, материалом поверхности и геометрией. Карта отражательной способности используется для упрощения этого уравнения и служит способом обобщения подробных отражающих свойств, хотя она получена из двунаправленной функции распределения отражательной способности (BRDF). Далее в лекции объясняется, как эта концепция применялась к отражающим свойствам Луны и других каменистых планет, что привело к набору уравнений, позволяющих определять ориентацию поверхности в определенных направлениях.
  
  
• 00:10:00 В этом разделе спикер обсуждает правило, согласно которому небольшой шаг в изображении соответствует небольшому шагу по высоте с использованием орфографической проекции. Он объясняет, что это упрощает математику и связано с предположением о телецентрической линзе и удаленном источнике света, что делает возможными предположения Ламберта. Общий процесс включает численное решение трех обыкновенных дифференциальных уравнений с помощью прямого метода Эйлера и ввод яркости через поверхность типа Хапка. Докладчик показывает, как выразить это через p и q, а затем вывести уравнение для изображения сияния.
  
  
• 00:15:00 В этом разделе спикер обсуждает прямую зависимость между измеренной величиной поверхностной яркости и раствором, необходимым для конкретной поверхности. Он объясняет, что существует константа rs, которая зависит от исходной позиции и используется для упрощения решения. Этот метод включает в себя измерение яркости, возведение ее в квадрат, умножение на rs и вычитание единицы с производной по оси z. Докладчик также объясняет, как получить начальное условие для дифференциальных уравнений и как можно определить кривую с помощью параметров. Затем метод обобщается для решения общего случая, когда наклон не может быть определен локально.
  
  
• 00:20:00 В этом разделе лектор обсуждает построение решения с помощью разложения характеристической полосы. Для этого нужно рассчитать изменение высоты, чтобы узнать, как изменится z. Они предполагают, что мы начинаем с x, y и z вместе с ориентацией поверхности, p и q, и обновляем правила для x, y и z, а изменение высоты z задается уравнением. Обновление p и q по мере продвижения необходимо, что приводит к характерной полосе, несущей ориентацию поверхности, что дает больше информации, чем просто наличие кривой. Лектор объясняет, как обновить p и q, используя матрицу два на два и вторые частные производные высоты, которые соответствуют кривизне.
  
  
• 00:25:00 В этом разделе лектор обсуждает, как вычислить матрицу кривизны для трехмерной поверхности, которая сложнее, чем для кривой на плоскости. Матрица кривизны требует целой матрицы производных второго порядка, называемой матрицей Гессе. Однако использование производных более высокого порядка для продолжения решения привело бы к большему количеству неизвестных. Следовательно, необходимо уравнение освещенности изображения, особенно градиент яркости, поскольку изменения ориентации поверхности соответствуют кривизне, которая влияет на яркость изображения. Глядя на общую матрицу H как в уравнениях градиента кривизны, так и в уравнениях градиента яркости, вычисление H позволит обновить x, y, z, p и q, завершив метод.
  
  
• 00:30:00 В этом разделе лектор обсуждает концепцию решения для h с помощью двух линейных уравнений. H появляется в обоих этих уравнениях, но поскольку у нас есть два уравнения и три неизвестных, мы не можем найти h. Однако, используя определенную дельту x и дельту y, мы можем контролировать размер шага и выбирать конкретное направление для вычисления дельты p и дельты q. Лектор также объясняет, что направление может меняться по мере исследования поверхности. Подставив это в уравнение, мы можем найти, как изменить p и q, чтобы решить проблему.
  
  
• 00:35:00 В этом разделе лектор обсуждает пять обыкновенных дифференциальных уравнений, необходимых для решения переменной z в уравнении освещенности изображения, и представляет метод создания полосы с использованием градиента яркости для обновления переменных p и q. Лектор продолжает объяснять интересную часть решения, включающую две системы уравнений, которые взаимодействуют друг с другом, и то, как они определяют направление градиента и могут использоваться для трассировки всей полосы. В конечном счете уравнение в частных производных сводится к простым обыкновенным дифференциальным уравнениям с использованием p и q, чтобы уравнение выглядело менее пугающим.
  
  
• 00:40:00 В этом разделе спикер обсуждает проблемы нелинейных дифференциальных уравнений в частных производных первого порядка при определении яркости в контексте формы от затенения. Это отход от типично второго порядка и линейных УЧП, встречающихся в физике, что означает, что для решения этих типов УЧП требуется специальный метод. Общий случай для любого R из P и Q обсуждается, а затем применяется к двум конкретным поверхностным свойствам: гапке и сканирующему электронному микроскопу. Показано, что правила обновления для X и Y пропорциональны PS и QS соответственно.
  
  
• 00:45:00 В этом разделе лектор объясняет метод обновления осей x, y и высоты с использованием характерного расширения полосы и формы от затенения с помощью итерационных решений. Метод включает в себя дифференцирование по p и q для вычисления обновления для x и y и использование prp плюс qrq для обновления оси высоты. В лекции отмечается, что этот метод можно использовать при сканировании изображений, полученных с помощью электронного микроскопа, а также затрагивается концепция базовых характеристик, которая включает проецирование характеристических полос на плоскость изображения для изучения как можно большей части изображения.
  
  
• 00:50:00 В этом разделе спикер обсуждает реализацию расширения характеристической полосы и почему последовательный подход может быть не лучшим методом. Благодаря независимым решениям, найденным вдоль каждой кривой, процесс может выполняться вдоль каждой кривой, что делает вычисления распараллеливаемыми. Обсуждается скорость вычислений, которая должна иметь разумный размер шага, и исследуется простой случай, когда размер шага управляется константой z. При делении на PRP и QRQ в уравнении для z скорость изменения становится единицей, что приводит к постоянным решениям вдоль каждой кривой с контурами при возрастающих значениях z.
  
  
• 00:55:00 В этом разделе лекции спикер обсуждает разные способы перехода от одного контура к другому при исследовании поверхности. Они упоминают возможность шага с шагом постоянного размера в направлении z или иметь постоянный размер шага в изображении, что требует деления всех уравнений на постоянный коэффициент. Другой вариант — пошаговое приращение постоянного размера в 3D, где сумма квадратов приращений равна 1, и, наконец, возможность пошагового по изофодам в контурах в изображении контрастности или яркости. Однако некоторые из этих методов могут иметь проблемы, такие как разные кривые, работающие с разной скоростью, или деление на ноль, поэтому важно учитывать эти ограничения.

• 01:00:00 В этом разделе лекции профессор обсуждает скалярное произведение двух градиентов на изображении и карту рефлактанса, но не вдается в подробности. Переход от контура к контуру на изображении позволяет легче связать соседние решения, а грубые методы численного анализа могут дать достаточные результаты. Затем профессор продолжает обсуждение недавнего прогресса в вычислении решений задачи трех тел и того, как сложные методы численного анализа используются для решения уравнений, которые в противном случае было бы трудно, если не невозможно решить аналитически.
  
  
• 01:05:00 В этом разделе лектор обсуждает проблему, связанную с потребностью в начальной кривой для исследования поверхности, а также ее ориентации с использованием методов оптического машинного зрения. К счастью, существует уравнение освещенности изображения, которое дает одно ограничение на ориентацию кривой, и мы знаем, что кривая находится на поверхности, что позволяет нам вычислить производные и решить линейное уравнение. Это означает, что мы можем найти ориентацию и избавиться от необходимости в начальной полосе на объекте, если сможем найти специальные точки на объекте, где нам известна форма, ориентация и т. д.
  
  
• 01:10:00 В этом разделе спикер обсуждает понятие закрывающей границы, то есть места, где объект закручивается, так что часть с одной стороны видна, а другая нет. Если мы построим нормаль к поверхности в этой точке, она будет параллельна вектору, построенному вдоль загораживающей границы, что дает нам начальные условия для начала наших решений. Однако мы не можем использовать отношения от закрывающей границы для решения уравнений, поскольку наклон бесконечен. Докладчик также вводит понятие стационарных точек, которые являются уникальными, глобальными, изолированными экстремумами и являются результатом самых ярких точек на поверхности объекта при его освещении. Эти точки дают нам ориентацию поверхности в этом месте, что является ценной информацией для решения проблемы формы с затенением.
  
  
• 01:15:00 В этом разделе лектор обсуждает стационарные точки на карте отражения и изображении, которые соответствуют экстремумам или минимумам в зависимости от используемого метода визуализации. Однако стационарные точки не позволяют напрямую начать решение, поскольку зависимые переменные не изменяются. Решение может отойти от стационарной точки только при попытке построить аппроксимацию поверхности для начала решения. Идея состоит в том, чтобы построить небольшую плоскость, используя ориентацию стационарной точки, а затем сделать радиус, чтобы начать решение. Таким образом, решение может уйти от стационарной точки и начать повторяться в направлении лучшего решения.
  
  
• 01:20:00 В этом разделе лекции спикер обсуждает концепцию стационарных точек на криволинейных поверхностях по отношению к форме от затенения. Идея состоит в том, чтобы найти единственное решение для кривизны поверхности, имеющей стационарную точку. Спикер поясняет, что эти моменты важны для человеческого восприятия и могут повлиять на уникальность решения. Затем лекция продолжается объяснением процесса нахождения кривизны поверхности на примере, где предполагается, что поверхность имеет карту отражения типа sem и имеет стационарную точку в начале координат. Градиент изображения оказывается равным нулю в начале координат, что подтверждает наличие экстремума в этой точке. Однако градиент нельзя использовать для оценки локальной формы, поскольку он равен нулю в начале координат, что требует второй производной.
  
  
• 01:25:00 В этом разделе спикер объясняет, как взятие вторых частных производных яркости может дать информацию о форме и как ее восстановить, оценивая локальную форму по стационарным точкам и строя вокруг нее форму маленькой шапочки. Кроме того, спикер представляет тему методов промышленного машинного зрения и связанных с ними шаблонов, которые будут обсуждаться в следующей лекции.

[MetaQuotes]

Лекция 11: Обнаружение краев, положение субпикселя, CORDIC, обнаружение линий (Патент США 6408109)

Лекция 11: Обнаружение краев, положение субпикселя, CORDIC, обнаружение линий (Патент США № 6408109)

Это видео на YouTube под названием «Лекция 11: Обнаружение краев, положение субпикселя, CORDIC, обнаружение линий (6 408 109 США)» охватывает несколько тем, связанных с обнаружением краев и расположением субпикселей в системах машинного зрения. Спикер объясняет важность патентов в процессе изобретения и то, как они используются в патентных войнах. Они также обсуждают различные операторы обнаружения границ, их преимущества и ограничения. Видео включает подробные объяснения математических формул, используемых для преобразования декартовых координат в полярные координаты и определения положения ребра. Видео завершается обсуждением важности составления общих и узких формулировок патентов и эволюции патентного права с течением времени.

В лекции 11 докладчик сосредоточится на различных вычислительных молекулах для обнаружения границ и оценки производных, уделяя особое внимание эффективности. Представлены операторы Собеля и Робертса-Кросса для вычисления суммы квадратов градиентов с обсуждением вариаций формулы и техники. Для достижения субпиксельной точности используются несколько операторов, и для определения пика кривой представлены такие методы, как подбор параболы или использование модели треугольника. Кроме того, в лекции обсуждаются альтернативы квантованию и вопросы с направлением градиента на квадратной сетке. В целом, в лекции подчеркивается важность рассмотрения многих деталей для достижения хорошей производительности при обнаружении границ.

• 00:00:00 В этом разделе лектор знакомит с темой промышленного машинного зрения и его значением в производственных процессах, включая использование машинного зрения для выравнивания и проверки при производстве интегральных схем и читаемости фармацевтических этикеток. Лектор объясняет цель патентов как способ получить ограниченную монополию на использование изобретения в обмен на объяснение того, как оно работает на благо общества в долгосрочной перспективе. Также обсуждаются структура и метаданные патента, включая номер и название патента, дату патента и использование патентов в качестве оружия в патентных войнах между компаниями. Затем в лекции кратко описывается патент Билла Сильвера из Cognex, ведущей компании в области машинного зрения, на обнаружение и определение субпиксельного местоположения.
  
  
• 00:05:00 В этом разделе лектор обсуждает процесс обнаружения границ в цифровых изображениях, где основное внимание уделяется переходу между различными уровнями яркости. Лектор отмечает, что нахождение краев с субпиксельной точностью имеет решающее значение в мире конвейерных лент и интегральных схем, поскольку это значительно сокращает количество битов, необходимых для описания чего-либо. Далее в лекции объясняется, что этот процесс может быть достигнут с помощью камеры с более высоким разрешением, но это дорого, и поэтому программное обеспечение, которое может выполнять его с меньшими затратами, было бы выгодно. Лектор также объясняет, что можно достичь 40-й доли пикселя, что является значительным преимуществом, но сопряжено с проблемами. Лекция завершается обсуждением подачи заявки на патент и того, как этот процесс изменился с течением времени, включая загадочный язык, используемый в документах, и задержку с подачей заявки на патент.
  
  
• 00:10:00 В этом разделе видео спикер обсуждает различные технические документы и патенты, связанные с обнаружением границ в машинном зрении, которые относятся к 1950-м годам. Первая известная статья на эту тему была написана Робертсом в 1965 году, в которой использовался простой, но вводящий в заблуждение детектор границ. Докладчик также упоминает другие документы и патенты, связанные с обнаружением границ, обсуждая преимущества и недостатки различных операторов обнаружения границ, включая оператор Собеля, детектор перекрестных границ Робертса и альтернативные операторы Билла Сильвы для шестиугольных сеток. Докладчик подчеркивает важность обнаружения границ в различных приложениях и постоянные усилия инженеров и исследователей по совершенствованию алгоритмов обнаружения границ.
  
  
• 00:15:00 В этом разделе лекция объясняет преимущества и недостатки использования камер с шестиугольной сеткой с точки зрения разрешения и вращательной симметрии, но отмечает, что дополнительные проблемы, связанные с работой с шестиугольной сеткой, слишком сложны для инженеров. Затем в лекции обсуждается преобразование декартовых координат в полярные с использованием формулы для величины градиента и его направления, а не самого градиента яркости, несмотря на затраты на извлечение квадратных корней и арктангенсов. Затем в лекции рассматриваются альтернативные решения, такие как использование справочных таблиц или метод CORDIC, который представляет собой способ оценки величины и направления вектора с использованием итерационных шагов для уменьшения разницы с минимальными требуемыми арифметическими операциями.
  
  
• 00:20:00 В этом разделе лекции спикер обсуждает алгоритмы обнаружения границ и положения субпикселей. Они объясняют, как определить, где градиент велик, и использовать немаксимальное подавление, чтобы найти максимальное направление градиента. Докладчик также говорит о квантовании направлений градиента и отмечает, что если смотреть дальше, можно получить более широкий диапазон направлений. Чтобы найти фактический пик градиента, парабола подгоняется к данным и дифференцируется, чтобы найти пик. Наконец, в лекции обсуждается ожидаемое поведение яркости при работе с моделью мира по Мондриану.
  
  
• 00:25:00 В этом разделе видео обсуждаются методы достижения субпиксельной точности при обнаружении границ. Один подход включает в себя квантование направлений и нахождение пика, но может возникнуть неоднозначность в отношении того, какую точку выбрать вдоль края. Другой метод заключается в выполнении перпендикулярной интерполяции для нахождения краевой точки с наибольшей близостью к центральному пикселю. Однако фактическое положение края может не соответствовать предполагаемым моделям, что может привести к смещению. Видео предлагает простую коррекцию для калибровки смещения и повышения точности.
  
  
• 00:30:00 В этом разделе лектор обсуждает способы повышения точности определения границ в системах машинного зрения. Патент, который он изучает, предлагает использовать различные степени «s» для устранения смещения и повышения точности в зависимости от конкретной используемой системы. Направление градиента также влияет на смещение и требует компенсации для еще более высокой точности. Общая диаграмма системы включает в себя оценку градиентов яркости, определение величины и направления, подавление немаксимального значения и обнаружение пика для интерполяции положения и компенсации смещения с использованием точки, ближайшей к максимуму на краю. Изобретение обеспечивает устройство и способ обнаружения субпикселей в цифровых изображениях и кратко изложено в конце патента.
  
  
• 00:35:00 В этом разделе спикер обсуждает процесс патентования изобретения и его отношение к патентным спорам. Они объясняют, как изобретатели часто создают и устройство, и метод, чтобы охватить все основы, и как это может привести к ненужным претензиям. Докладчик описывает случай, когда канадскую компанию Matrox обвинили в нарушении патента посредством их программной реализации того, что было в патенте. Были привлечены свидетели-эксперты для анализа кода, и в конце концов они пришли к выводу, что все это было программным обеспечением и не подлежит патентованию. В этом разделе также рассматривается важность того, чтобы сделать патент как можно более широким и продумать все возможные модификации, которые могут затруднить чтение патентов, написанных юристами.
  
  
• 00:40:00 В этом разделе видео спикер проходит формулы и подробное объяснение того, как преобразовать декартовы координаты в полярные координаты. Они также объясняют различные формулы, используемые для нахождения пиков в параболах и треугольных сигналах. Затем видео попадает в патенты и процесс утверждения того, что, по вашему мнению, вы придумали для его защиты. Выступающий зачитывает первое утверждение, которое представляет собой устройство для обнаружения и субпиксельного расположения краев в цифровом изображении, и разбирает различные компоненты, составляющие утверждение, включая средство оценки градиента, пиковый детектор и субпиксельный интерполятор. Также обсуждается важность наличия нескольких претензий, поскольку это защищает от будущих претензий и нарушений.
  
  
• 00:45:00 В этом разделе лекции спикер обсуждает, как писать и структурировать заявки на патенты. Он объясняет, что первая формула в патенте обычно является широкой формулой, за которой следуют более узкие формулы, которые являются более конкретными, чтобы гарантировать, что даже если широкая формула будет признана недействительной, более узкие формулы останутся в силе. Затем спикер переходит к рассмотрению формулы изобретения в отношении оценки градиента, выделяя некоторые условия, которые должны быть соблюдены, чтобы каждая претензия была действительной. Наконец, он объясняет, как патентное право развивалось с течением времени в отношении продолжительности действия патента и правил, касающихся притязаний на приоритет.
  
  
• 00:50:00 В этом разделе видео обсуждается обнаружение границ в машинном зрении. Вводится модель мира Мондриана, которая включает в себя сжатие изображений до простого обсуждения краев, чтобы найти, где что-то находится на конвейерной ленте, или выровнять разные слои маски интегральной схемы. Обнаружение границ определяется как процесс определения местоположения границ между областями изображения, которые различаются и примерно одинаковы по яркости. Край определяется как точка на изображении, где величина градиента изображения достигает локального максимума в направлении градиента изображения или где вторая производная яркости пересекает ноль в направлении градиента изображения. Видео также затрагивает многомасштабное обнаружение границ и объясняет недостаток бесконечного разрешения изображения.
  
  
• 00:55:00 В этом разделе лекции спикер обсуждает определение края и проблемы с измерением края, который идеально совмещен с пикселем. Чтобы бороться с этим, спикер объясняет использование лапласовского детектора границ, который ищет пересечения нуля и рисует контуры, облегчая обнаружение границы. Однако этот метод может привести к ухудшению производительности при наличии шума. Докладчик также рассказывает о концепции точки перегиба и о том, как она связана с максимумом производной, которую можно использовать для определения края. В лекции также рассматривается оценка градиента яркости и использование операторов под углом 45 градусов для привязки к одной и той же точке.

• 01:00:00 В этом разделе лекции докладчик обсуждает обнаружение границ и оценку производных с использованием различных вычислительных молекул. Вводятся два оператора, использованные Робертсом, которые можно использовать при вычислении суммы квадратов градиентов в исходной системе координат. Также упоминается концепция операторов Собеля и обсуждается оценка производной с использованием метода усреднения. Показано, что член ошибки наименьшего порядка оценки имеет второй порядок, что делает его не очень надежным для кривых линий. Члены более высокого порядка также вводятся для повышения точности.
  
  
• 01:05:00 В этом разделе лектор описывает использование оператора для аппроксимации производной для обнаружения края, что позволяет использовать член ошибки более высокого порядка, который может работать для кривой линии, если ее третья производная не слишком велика. Усредняя два значения и находя оценку производной, можно использовать даже производные, смещенные на полпикселя. При сравнении двух операторов с одним и тем же членом ошибки наименьшего порядка преимуществом оказывается оператор с меньшим множителем. Однако применение оператора для оценки производной как по x, так и по y приводит к несоответствиям, с которыми можно справиться, используя двумерный оператор. Этот подход также полезен для вычисления производных по оси y для всего куба данных в фиксированном оптическом потоке.
  
  
• 01:10:00 В этом разделе спикер подчеркивает важность эффективности операторов при обнаружении границ с миллионами пикселей. Грамотно организовав вычисления, оператор может быть сокращен с шести операций до четырех. Спикер упоминает оператора Робертса Кросса и Урбена Собеля, которые воспроизвели оператора определенным образом, выполняя усреднение по блоку 2x2, чтобы уменьшить шум, но также и размыть изображение.
  
  
• 01:15:00 В этом разделе видео лектор обсуждает, как избежать проблемы смещения полупикселя при обнаружении границ с помощью нескольких операторов. Обсуждение включает варианты формул и предпочтения реализации. В лекции также объясняются следующие шаги, в том числе преобразование декартовых координат в полярные для градиента яркости, квантование направления величины градиента и поиск максимальных значений. Субпиксельная точность недостижима из-за проблемы квантования пикселей. Лектор объясняет, как сохранить только максимумы, игнорируя немаксимумы на изображении.
  
  
• 01:20:00 В этом разделе видео обсуждается необходимость асимметричных условий при обнаружении границ и разрешения конфликтов для ситуаций, когда g ноль равно g плюс или равно g минус. Чтобы найти пик кривой, в видео описывается подгонка параболы к ребру с помощью устройства разрешения конфликтов, и показано, что s, вычисленное таким образом, ограничено по величине половиной. Другой показанный метод - это модель маленького треугольника, которая предполагает, что наклоны двух линий одинаковы, и оценивает вертикальное и горизонтальное положения, в результате чего получается формула для s. Оба метода предназначены для достижения субпиксельной точности, и видео показывает, что треугольная модель может показаться странной, но в определенных обстоятельствах она эффективна.
  
  
• 01:25:00 В этом разделе лектор обсуждает форму края в случае расфокусировки, в частности, как это влияет на метод восстановления фактического положения края. Он также говорит об альтернативах квантованию направления градиента и о том, как это может быть проблематично, особенно на квадратной сетке, где есть только восемь направлений. Эта проблема показывает, что есть много деталей, которые необходимо учитывать, если вы хотите получить хорошую производительность, например, найти хороший способ вычисления производных.

[MetaQuotes]

Лекция 12: Анализ двоичных объектов, обработка двоичных изображений, теорема Грина, производная и интеграл

Лекция 12: Анализ двоичных объектов, обработка двоичных изображений, теорема Грина, производная и интеграл

В этой лекции профессор охватывает ряд тем, включая интеллектуальную собственность, патенты, товарные знаки и методы обработки изображений для обнаружения границ. В лекции подчеркивается важность точности в двухмерном машинном зрении и проблемы обнаружения нечетких или расфокусированных краев. Профессор рассказывает о методах нахождения смешанных частных производных, лапласианах и обнаружении границ с помощью субпиксельной интерполяции, а также о методах компенсации смещения и корректирующей калибровки при поиске пиков. В целом, лекция представляет собой всесторонний обзор этих тем и их практического применения.

В этой лекции по обработке изображений спикер обсуждает различные методы, позволяющие избежать квантования направлений градиента и повысить точность определения положения края. Интерполяция предлагается в качестве предпочтительного метода по сравнению с интерполяционными таблицами и квантованием для более точного определения направления градиента. Кроме того, в качестве альтернативных методов расчета градиента обсуждаются фиксация размера шага с помощью круга и использование многомасштабного анализа. Докладчик также объясняет итеративный подход к вращению изображения для уменьшения y-компоненты градиента до нуля и вводит понятие хорды для поворота на специальные углы. Учащимся напоминают о том, что нужно начинать с викторины заранее, так как это больше работы, чем обычное домашнее задание.

• 00:00:00 В этом разделе профессор обсуждает предстоящую викторину, которая длиннее и в два раза важнее домашнего задания. Викторина охватывает содержание курса до этого момента, с большим акцентом на последние материалы. Затем профессор проводит краткое обсуждение интеллектуальной собственности и патентов, упоминая различные типы патентов, такие как патенты на полезные модели и промышленные образцы. Обсуждается также общественный договор между патентообладателями и государством, когда патентообладатели получают ограниченную монополию на определенное количество лет в обмен на то, что они объяснят, как именно что-то делать. Обсуждение завершается рассмотрением правовой концепции наилучшего режима патентных споров.
  
  
• 00:05:00 защитить свой бренд или логотип вы можете сделать это с помощью товарного знака. Исключения существуют для использования небольших частей материалов, защищенных авторским правом, например, в образовательных целях, а также для обратного проектирования программного обеспечения без нарушения законов об авторском праве. Законы об авторском праве раньше защищали жизнь автора плюс определенное количество лет, но с тех пор были обновлены до жизни автора плюс 75 лет или более. Законы о товарных знаках защищают бренды и логотипы, которые являются более строгими, чем авторские права.
  
  
• 00:10:00 В этом разделе спикер обсуждает правила использования товарных знаков для названия и логотипа компании, подчеркивая, что они должны быть уникальными в данной области и не могут быть общеупотребительным словом. Товарный знак может также включать формы, маркировку и цвет, которые могут служить для защиты компании. Спикер также затрагивает понятие коммерческой тайны, когда компания держит в секрете сведения о своем продукте, хотя он и не имеет правовой защиты. Затем докладчик представляет низкоуровневый патент, связанный с поиском границ, и упоминает, что после того, как границы найдены, можно выполнять более сложные задачи обработки изображений для распознавания объектов и определения положения и отношения. Спикер отмечает, что в мире 2D-машинного зрения точность невероятно важна и должна работать почти идеально.
  
  
• 00:15:00 В этом разделе лектор рассматривает основы анализа больших двоичных объектов и обработки бинарных изображений, обсуждая различные методы, используемые для оценки производных. Первая обсуждаемая идея заключалась в рассмотрении градиента яркости, чтобы идентифицировать точку перегиба как край, а затем рассмотрение производной, которая ищет пик. Были рассмотрены различные методы оценки производных, такие как различные приближения для e sub x, и член ошибки самого низкого порядка был найден с использованием разложения в ряд Тейлора. Наконец, лекция посвящена анализу мышечных электрических сигналов и тому, насколько сложным может стать процесс поиска высокоточных первых производных из-за шума и искажения сигнала.
  
  
• 00:20:00 В этом разделе лектор обсуждает компромиссы, связанные с выбором длины граничного оператора для обнаружения краев. Он объясняет, что использование слишком длинного оператора может привести к тому, что различные функции будут взаимодействовать друг с другом, что затруднит обнаружение границ. Этот компромисс применим при обнаружении ребер на изображении куба, где ребра располагаются довольно близко друг к другу. Затем лектор объясняет, как можно вычислить производные второго порядка с помощью свертки первых производных, примененных дважды, и показывает, как этот метод можно использовать для проверки точности результатов. Наконец, он объясняет важность проверки различных способов проектирования вычислительных молекул, используемых для получения производных.
  
  
• 00:25:00 В этом разделе лекции профессор объясняет процесс нахождения смешанных частных производных с помощью 2D-шаблона. Шаблон включает переворачивание одной из функций и наложение ее поверх другой, чтобы определить области перекрытия, в результате чего получается шаблон 2x2. Профессор отмечает, что важно следить за изменением знака при использовании вычислительных шаблонов, которые не перевернуты. Они также отмечают, что смешанную частную производную можно рассматривать как вторую производную во вращающейся системе координат. В целом, в разделе дается четкое и подробное объяснение нахождения смешанных частных производных в 2D.
  
  
• 00:30:00 В этом разделе тема лапласиана вновь представлена как оператор второй производной, где два оператора добавляются в ортогональных направлениях для получения аппроксимации лапласиана для центрально-симметричного дифференциального оператора. Затем вводится взвешенная сумма этих двух операторов, чтобы создать более гладкую версию лапласиана для центрально-симметричного дифференциального оператора, и этот новый оператор еще более эффективен в вычислительном отношении при применении к изображению. Кроме того, обсуждаются методы определения значений этих взвешенных коэффициентов, таких как член ошибки самого низкого порядка или суммы, равные нулю.
  
  
• 00:35:00 В этом разделе спикер обсуждает вопрос использования прямоугольных пикселей вместо шестиугольных. Он объясняет ситуации, когда люди обеспокоены эффективностью, например, при визуализации черной дыры в центре нашей галактики с использованием радиочастот. Докладчик также проводит различие между линейными и нелинейными операторами и обсуждает использование Робертом трафаретов при вычислении производных в повернутой системе координат. Кроме того, он объясняет немаксимальное подавление, концепцию применения пограничных операторов везде, чтобы получить слабый ответ везде, но сильный отклик на краях.
  
  
• 00:40:00 В этом разделе спикер обсуждает концепцию обнаружения границ и подчеркивает недостатки применения порога для обнаружения границ. Вместо этого спикер предлагает удалить все, кроме максимального значения в направлении градиента, чтобы определить точку края. Спикер также говорит о немаксимальном подавлении и проблемах асимметрии в тай-брейке. Наконец, спикер объясняет, как подогнать параболу к профилю отклика края, чтобы определить положение края субпикселя. Докладчик признает, что выбор формы кривой является произвольным, но объясняет, как подгонка полинома второго порядка может работать как хорошая догадка в большинстве случаев.
  
  
• 00:45:00 В этом разделе мы узнаем об обнаружении границ с помощью субпиксельной интерполяции. Направление градиента сообщает нам ориентацию края, которую мы затем квантуем, чтобы помочь проецировать потенциальную точку края на фактическое местоположение края. Затем мы можем выполнить компенсацию смещения, чтобы более точно оценить положение края, используя параболический или треугольный метод. Делая это, мы можем найти вершину ребра и повысить точность, взяв ближайшую точку к началу координат.
  
  
• 00:50:00 В этом разделе лекции спикер обсуждает метод коррекционной калибровки обнаружения пиков для обнаружения границ субпикселей. По существу, метод включает в себя экспериментальное перемещение края и измерение точности метода обнаружения пика по сравнению с фактическим значением пика, чтобы создать корректирующую справочную таблицу для метода. Докладчик также рассказывает о том, как могут различаться формы ребер, и демонстрирует, как аппроксимировать форму с помощью подгонки с одним параметром. Несмотря на эти различия, для точности определения края субпикселя требуется лишь небольшая коррекция метода.
  
  
• 00:55:00 В этом разделе лекции профессор обсуждает концепцию нечетких краев и почему они важны для восстановления субпикселей и предотвращения проблем с алиасингом. Профессор объясняет, что одной из причин нечетких краев является расфокусировка. На примере объектива фотоаппарата профессор показывает, что объект, находящийся в фокусе, будет захвачен как точка, а тот же объект, который немного не в фокусе, будет захвачен в виде круга с одинаковой яркостью. Чтобы компенсировать это, профессор вводит функцию единичного шага и функцию разброса точек и объясняет, как их можно использовать для описания круга равномерной яркости в зависимости от x и y.

• 01:00:00 В этом разделе спикер объясняет эффект расфокусировки и как геометрически рассчитать отклик, наложив край и круг. Площадь сектора круга и площадь треугольника используются для нахождения разницы между двумя фигурами. Тета используется для расчета площади, а детали объясняются для демонстрации отклика между нулем и единицей.
  
  
• 01:05:00 В этом разделе докладчик обсуждает построение диаграммы для расчета ошибки точного определения положения края с помощью алгоритма. Они отмечают, что эта ошибка может быть небольшой, но отличной от нуля, и ее необходимо учитывать для обеспечения высокой точности. Затем спикер рассказывает о способах избежать квантования направлений градиента, что может привести к неловкости из-за интервалов, которые бывают двух размеров. Они обсуждают, что это может привести к несколько иному вкладу ошибок, и предлагают несколько способов избежать этого. Раздел заканчивается обсуждением нарушений патентных прав и способов их предотвращения, где основное внимание уделяется тому, чтобы сделать изобретение отличным, а не лучшим.
  
  
• 01:10:00 В этом разделе видео лектор обсуждает предпочтительный метод, позволяющий избежать квантования направлений градиента, присутствующих в некоторых патентах. Вместо использования этого метода он предлагает интерполировать, чтобы избежать квантования направлений градиента. Путем интерполяции можно плавно аппроксимировать значения и точно определить направление градиента. Лектор считает, что этот метод повышает точность, избавляя от необходимости строить справочную таблицу или квантовать и вносить исправления в график смещения. Недостатком этого подхода является то, что используется интерполяция, поэтому нет точности по сравнению со знанием точного измеренного значения, но во многих случаях этим можно пренебречь.
  
  
• 01:15:00 В этом разделе лекции спикер обсуждает альтернативный метод расчета градиента, который предполагает фиксирование размера шага, а не его изменение. Этот метод использует круг для определения расстояния между пикселями и обеспечивает более непрерывное направление градиента с меньшим квантованием. Однако этот подход требует интерполяции, билинейной или бикубической, и может потребовать дополнительной работы из-за необходимости учитывать большее количество пикселей. Кроме того, спикер рассказывает о полезности мультимасштабного анализа для поиска резких и размытых краев на изображениях. Наконец, выступающий кратко затрагивает предпочтительную реализацию преобразования декартовых координат в полярные, которое включает в себя поворот системы координат.
  
  
• 01:20:00 В этом разделе спикер обсуждает метод поворота изображения для уменьшения Y-компоненты градиента до нуля с использованием итеративного подхода. Для этого итеративно манипулируют углом поворота до тех пор, пока величина y-компоненты не уменьшится до нуля. Докладчик предлагает стратегию использования последовательности тестовых углов и уменьшения величины y-компоненты с каждой итерацией. Углы выбираются так, чтобы они были обратными степеням двойки, что позволяет сократить количество умножений с четырех до двух. Итеративный подход повторяется до тех пор, пока угол поворота не станет достаточно малым.
  
  
• 01:25:00 В этом разделе спикер объясняет концепцию хорды, которая включает в себя вращение под особыми углами, обладающими свойством, при котором тангенс тэты i равен единице больше двух относительно i. Итеративный процесс включает в себя изменение этого угла и отслеживание того, стал ли он отрицательным или нет. Первое, что нужно сделать, это перейти к первому октанту, что тривиально, просто взглянув на знаки x и y и на то, больше ли y, чем x. Следующая лекция будет посвящена множественной шкале и выборке, и докладчик напоминает зрителям, что нужно начинать викторину пораньше, поскольку это больше работы, чем типичная домашняя задача.

[MetaQuotes]

MIT 6.801 Machine Vision, осень 2020 г. Лекция 13: Обнаружение объектов, распознавание и определение позы, PatQuick (патент США 7016539)

Лекция 13: Обнаружение объектов, распознавание и определение позы, PatQuick (патент США 7016539)

Лекция посвящена обнаружению объектов, распознаванию и определению позы с упором на патент PatQuick (7 016 539 США). Патент направлен на обнаружение и определение положения объектов в пространстве и предлагает улучшение по сравнению с предыдущими методами, используя абстрактное представление, называемое моделью, которая сравнивается с изображением во время выполнения в различных позах и поворотах. Патент также включает список обобщенных степеней свободы для повышения точности и использует фильтрацию нижних частот и обнаружение краев для получения граничных точек, откладывая пороговое значение до последних этапов. Кроме того, в лекции обсуждается процесс создания моделей с использованием обнаружения краев и датчиков с желаемым интервалом и контрастом для представления этих моделей, а также объясняется важность учета степеней свободы, таких как смещение, вращение, масштабирование и соотношение сторон, которые допускают вариации в размеры и перспективы объекта.

В видео обсуждаются шестиугольные шаблоны поиска, используемые для эффективного и масштабируемого поступательного поиска при обнаружении объектов, включая обнаружение пиков и решение для обнаружения соседних объектов. В видео также обсуждается PatQuick, патент на определение наличия предопределенных шаблонов в изображениях во время выполнения и их многомерное расположение. В методе используются датчики и предварительно вычисленный градиент для соответствия положению объекта, а интеграция функции оценки устраняет ошибки из результата. В видео рассматривается альтернативный метод определения разницы углов с помощью скалярных произведений, а также подчеркивается сложность многомасштабных операций и выбор датчика для различной степени детализации. Точность метода ограничена квантованием пространства поиска.

• 00:00:00 В этом разделе мы знакомимся с патентом 7016539, целью которого является обнаружение, распознавание и определение положения объектов в пространстве, а также проверка объектов. Проблема, которую он решает, заключается в необходимости манипулировать объектами с помощью механизмов, но без точной информации о границах объектов. Предшествующий уровень техники состоял из четырех различных компонентов, и один из них состоял из обработки бинарных изображений, которая включала выделение объектов из фона для создания бинарных изображений, что упрощало обработку и требовало меньше памяти. Локальные вычисления могут выполняться для определенных низкоуровневых операций обработки двоичных изображений, таких как определение площади, периметра и центроида двоичных изображений, и даже вычисление чисел Эйлера параллельными способами, что может быть достигнуто с помощью параллельного оборудования.
  
  
• 00:05:00 В этом разделе лектор обсуждает различные методы обнаружения объектов, распознавания и определения позы. Вводится метод пороговой обработки, который включает в себя различение переднего плана и фона в изображении на основе некоторого параметра. Однако этот метод ограничен, так как может не быть четкого различия между передним планом и фоном. Методы двоичного шаблона включают использование эталонного изображения или золотого шаблона для определения объекта и вычисления шаблона с помощью пороговой обработки. Нормализованная корреляция включает в себя проверку всех возможных позиций для совпадения, чтобы найти подходящее совпадение между двумя изображениями. Так прославился Cognac, ранний исследовательский проект в области компьютерного зрения.
  
  
• 00:10:00 В этом разделе докладчик обсуждает процесс выравнивания с использованием корреляции, метода, связанного с обнаружением и распознаванием объектов, который включает в себя перемещение изображения, чтобы найти выравнивание, где разница между сдвинутым изображением и другим изображением как можно меньше. Однако в настоящее время рассматривается только перевод из-за затрат на вычисления, поскольку метод требует анализа каждого пикселя для каждой возможной позиции. Кроме того, докладчик связывает корреляцию с методами на основе градиента, которые включают вычисление смещения, и обсуждает, как это можно использовать для максимизации корреляции за счет минимизации изменения во времени.
  
  
• 00:15:00 В этом разделе лекция посвящена распознаванию объекта и определению его положения, особенно в контексте настройки интегральной схемы для следующего этапа производственного процесса. Докладчик обсуждает различные методы определения выравнивания и отмечает, что сумма квадратов разностей и корреляция широко используются, но имеют некоторые недостатки. Корреляция, в частности, может дать высокое совпадение, даже если контраст между изображениями различен, и нет четкого порога того, что представляет собой совпадение. Несмотря на эти проблемы, корреляция остается популярной благодаря своей вычислительной эффективности. Кроме того, спикер отмечает, что эти методы можно улучшить за счет включения методов на основе градиента, которые использовались на оптических мышах.
  
  
• 00:20:00 В этом разделе лекции обсуждается нормированная корреляция и ее роль в распознавании изображений. Нормализованная корреляция используется для устранения смещения яркости изображения и уменьшения чувствительности процесса к изменениям в оптических настройках. Метод нормализации вычисляет корреляцию двух изображений и нормализует ее, чтобы устранить сдвиги в контрасте, при этом метод вычисляет пик, чтобы пользователи могли измерить успешность корреляции. Следовательно, высокий показатель корреляции указывает на хорошее совпадение, тогда как низкий показатель корреляции означает плохое совпадение. Хотя этот метод может быть дорогостоящим, в первые годы существования Cognex он приносил известность.
  
  
• 00:25:00 В этом разделе видео обсуждается патент, связанный с обнаружением и распознаванием объектов, в частности, для определения наличия заданных шаблонов на изображении и определения их местоположения в многомерном пространстве. Патент, который является улучшением по сравнению с предыдущими методами, включает использование абстрактного представления шаблона, называемого моделью, которое сравнивается с изображением во время выполнения в различных позах, поворотах и т. д. Сравнение дает оценку совпадения, которая сравнивается с принять порог, чтобы отложить принятие решения до тех пор, пока не будет доступна дополнительная информация. Патент также предоставляет список обобщенных степеней свободы вместо простого перемещения и вращения, чтобы повысить его точность для частичных или отсутствующих частей объекта.
  
  
• 00:30:00 В этом разделе обсуждается патент на обнаружение объектов, распознавание и определение позы, известный как PatQuick, который фокусируется на поиске потенциальных совпадений. В этом разделе подробно рассматривается, как в патенте используется фильтрация нижних частот и обнаружение границ для получения граничных точек с разным разрешением. Затем процесс продолжается путем соединения соседних граничных точек, имеющих согласованные направления, для организации точек в цепочке. Патент отличается от других методов тем, что связывает воедино ребра, даже если они слабые, и откладывает пороговую обработку до самого конца.
  
  
• 00:35:00 В этом разделе спикер обсуждает создание моделей для распознавания объектов с использованием обнаружения краев, а также процесс создания зондов с желаемым интервалом и контрастом для представления этих моделей. Модели подгоняются к краям, и эти зонды используются для определения совпадения между моделью и анализируемым изображением. Зонды используются в качестве точек улики для выявления областей с высокой контрастностью, и этот метод помогает уменьшить количество пикселей, которые необходимо проанализировать. Разрыв связей также обсуждается в контексте определения порядка соседей зондов.
  
  
• 00:40:00 В этом разделе спикер обсуждает различные примеры того, как сравнивать градиенты, наблюдаемые на изображении во время выполнения, с градиентами модели. Он объясняет, что направление градиента с большей вероятностью сохранится даже в случае изменения освещения или материала. Спикер также вводит понятие веса, которое помогает определить важность каждого зонда. Хотя ручное назначение весов может быть полезно для учета симметрии объектов, оно требует вмешательства человека и обычно не используется. Наконец, спикер определяет различные объекты в модели, включая датчики, их положения, направления и веса, а также скомпилированный объект датчика, используемый для повышения эффективности вычислений.
  
  
• 00:45:00 В этом разделе спикер объясняет, как сопоставить скомпилированный объект-зонд с изображением и как использовать модель. Скомпилированный зонд представляет собой набор зондов, специализированных для координат изображения, и основное различие между ним и зондом заключается в том, что смещение в скомпилированном зонде представляет собой целое число в пикселях, а не реальные переменные. Докладчик также обсуждает понятие карты, которая представляет собой преобразование со многими степенями свободы, которое необходимо найти, и оно включает в себя все преобразования, кроме переноса. Для оценки градиента используется функция оценки, которая учитывает полярность, контрастную полярность и разницу в 90 градусов между двумя направлениями градиентов.
  
  
• 00:50:00 В этом разделе спикер объясняет, как оценить, насколько точно датчик соответствует соответствующей точке на изображении во время выполнения, используя функцию, которая учитывает направление и величину градиента. Однако он отмечает, что инверсия контраста может сделать метрику на основе направления менее устойчивой к шуму, в то время как использование более широкого наклона может повысить вероятность принятия случайных выравниваний. Чтобы иметь дело со степенями свободы, докладчик приводит примеры параметров и функций, используемых для регулировки вращения, масштаба и сдвига. В целом, процесс обнаружения объектов требует различных соображений, поскольку разные ситуации могут требовать разных подходов.
  
  
• 00:55:00 В этом разделе мы узнаем об обобщенных степенях свободы при обнаружении объектов, распознавании и определении позы. Эти степени свободы, такие как перемещение, вращение, масштабирование и соотношение сторон, позволяют изменять размеры и перспективы объекта. Важно учитывать такие степени при работе в пространствах, которые не совсем двумерны, что делает изображение ромбом, а не прямоугольником. Тем не менее, важно быть осторожным с вычислительными затратами при рассмотрении масштабирования, и более разумным подходом является работа в логарифмическом масштабе. Кроме того, прямоугольник, охватывающий минимальную пробу, может сократить объем вычислений в некоторых операциях. Многомерное пространство поз диктует, что нам необходимо определить близость между определенными значениями, и это делается путем определения того, насколько близко друг к другу находятся две позы в этом пространстве.

• 01:00:00 В этом разделе видео спикер объясняет шаблоны поиска, используемые для эффективного и масштабируемого поступательного поиска при обнаружении объектов. Эти шаблоны организованы вокруг шестиугольников, чтобы обеспечить преимущество в четыре по сравнению с числом пи с точки зрения проделанной работы по сравнению с разрешением. Докладчик также обсуждает, как работает обнаружение пиков на шестиугольной сетке, и предлагает решение, позволяющее избежать обнаружения соседних объектов. Кроме того, видео определяет термины, обычно используемые в патентном праве, такие как объект, изображение, яркость, детализация и граница, а также их применение помимо изображений в видимом свете, таких как графика и рентгеновские изображения. Обобщение этих терминов направлено на расширение сферы действия патента и его потенциальных применений.
  
  
• 01:05:00 В этом разделе видео обсуждается патент на PatQuick, метод определения наличия или отсутствия хотя бы одного экземпляра заданного шаблона в изображении во время выполнения и определения многомерного местоположения каждого присутствующего экземпляра. . Патент включает в себя возможность проверки и распознавания, при этом процесс выполняется для каждого объекта, и большинство из них не будет хорошим совпадением, но один будет предназначен для распознавания. В видео также упоминается использование градиента, который представляет собой вектор, задающий направление и величину наибольшего изменения яркости с заданной степенью детализации, и модель, набор характеристик кодирования данных для находимого шаблона, который может быть созданный из реального изображения или чертежа САПР.
  
  
• 01:10:00 В этом разделе спикер объясняет, как работает метод PatQuick, даже если части объекта скрыты или отсутствуют, что делает его полезным для целей проверки. В этом методе используются зонды для сопоставления положения объекта, и хотя теоретически градиент можно вычислять при каждом совпадении, для эффективности целесообразно предварительно вычислить его. Интеграция функции подсчета очков используется для расчета того, насколько случайные совпадения компенсируют счет, и, несмотря на то, что это неудобно для вычисления, необходимо удалить ошибку из результата и уменьшить шум. У метода в основном есть претензии по методу, и правовая ситуация изменилась, в результате чего появились только претензии по методу.
  
  
• 01:15:00 В этом разделе докладчик обсуждает альтернативный метод определения разности углов между единичными векторами с помощью скалярных произведений вместо функции касательной. Однако этот метод дает большое абсолютное значение и не так хорош, как исходный метод. Докладчик также обсуждает недостаток метода квантования и необходимость поиска во всем пространстве поз для поиска потенциальных совпадений, прежде чем использовать более точное квантование для получения более точных результатов. Раздел заканчивается упоминанием о необходимости обсуждения различных функций скоринга.
  
  
• 01:20:00 В этом разделе спикер обсуждает различные вычисления, связанные с поиском соответствия, когда результат должен быть точным или быстрым. Они вникают в тонкости выполнения многомасштабных операций, в которых используются разные датчики и модели для разной степени детализации. Зонды не ограничены пиксельной сеткой, а получены из краевых точек, что обеспечивает более надежные результаты, чем использование яркостного контраста. Кроме того, точность этого метода ограничена квантованием пространства поиска, которое можно превзойти в другом патенте, рассмотренном в следующих лекциях.

[MetaQuotes]

Лекция 15: Выравнивание, PatMax, поле расстояний, фильтрация и субдискретизация (патент США 7065262)

Лекция 15: Выравнивание, PatMax, поле расстояний, фильтрация и субдискретизация (патент США 7065262)

В видео обсуждаются несколько методов и патентов, связанных с распознаванием образов и обнаружением объектов. Одним из таких методов является PatMax, который итеративно улучшает позу изображения во время выполнения, используя систему, основанную на силе притяжения. Другой метод включает создание векторного поля на пиксельной сетке для улучшения выравнивания изображения во время выполнения. В лекции также рассматривается использование полей расстояний для обнаружения краев и расширения засеянных краев путем изучения векторов силы в векторном поле. Докладчик также обсуждает использование многомасштабного сопоставления с образцом и математические шаги, связанные с подгонкой линий к наборам координат изображения. Наконец, вводится патент на эффективное вычисление нескольких масштабов.

В лекции 15 лектор рассказывает о различных методах и сочетаниях клавиш для эффективной свертки, фильтрации и субдискретизации изображений. К ним относятся аппроксимация ядер фильтров с помощью сплайновых кусочных полиномов, использование производных в качестве сверток, сжатие изображений путем многократного взятия третьей разности и объединение сверток в направлении x и y. Докладчик также упоминает о важности фильтрации нижних частот перед дискретизацией изображения, чтобы избежать интерференции и наложения изображений.

• 00:00:00 В этом разделе видео обсуждается еще один паттерн для поиска объектов на двухмерных изображениях, который называется PatMax. Он отличается от предыдущего шаблона, PatQuick, тем, что предполагает, что человек уже имеет приблизительное представление о том, где находятся вещи, и вместо этого стремится постепенно улучшить это положение с помощью итеративного подхода наименьших квадратов. Мотивация использования PatMax заключалась в том, чтобы максимизировать энергию, вдохновленную силами между магнитными диполями. Однако интуиция, лежащая в основе этого подхода, была совершенно неверной, и гораздо лучшей аналогией было бы соединение вещей с помощью пружины. Патент также частично касается выравнивания и ссылается на другие патенты и публикации старой лаборатории ИИ.
  
  
• 00:05:00 В этом разделе видео объясняется процесс обучения системы распознавания образов с использованием обнаружения краев, которое создает краевые диполи и создает двумерное векторное поле. Затем система использует процесс притяжения, чтобы итеративно найти подходящую позу для изображения во время выполнения, предполагая, что начальная поза уже получена. Карта клиента используется для сопоставления позиций пикселей, которые не находятся на квадратной сетке, с квадратным массивом пикселей, и существуют меры, такие как среднеквадратическая ошибка и оценки проверки, используемые для определения того, находится ли объект в хорошей форме или нет. Наконец, видео описывает, как список полевых диполей создает датчики, которые используются для совмещения с изображением во время выполнения.
  
  
• 00:10:00 В этом разделе лектор рассказывает об улучшении выравнивания с помощью поля, сгенерированного на пиксельной сетке. Поза противоположна предыдущему патенту: обнаружение признаков выполняется на изображении во время выполнения, а не на модели. Целью поля является отображение дискретных результатов из изображения во время выполнения обратно в поле, что делает его более дешевым, чем преобразование всего изображения, как в случае с предыдущим патентом. Поле создается с помощью нового процесса, который притягивает его к выравниванию, где объекты в изображении во время выполнения соответствуют объектам в тренировочном изображении. В лекции исследуется, как поле обобщается, и освещаются различные шаги, связанные с вычислением поля.
  
  
• 00:15:00 В этом разделе видео обсуждается процесс инициализации и заполнения поля расстояния для обнаружения границ, что является распространенным методом, используемым в машинном зрении, называемым картой расстояний. Инициализация включает в себя присвоение диполям поля значения, соответствующего расстоянию от края и его направлению. Процесс заполнения остальных квадратов рядом с краем представляет собой итеративный процесс, в котором значение соседних квадратов определяется и корректируется в соответствии с вычисленной геометрией. Поле расстояний, по сути, представляет собой канавку вдоль каждого края, которая сообщает, насколько далеко он находится от края. Конечная цель состоит в том, чтобы каждое ребро было соединено так, чтобы система перешла в более низкое энергетическое состояние.
  
  
• 00:20:00 В этом разделе лекции спикер обсуждает процесс расширения засеянных краев путем просмотра соседних пикселей и расчета силы и направления на край с помощью векторного поля. Они объясняют, что иногда углы между силами становятся слишком большими, указывая на угол, и что в таких случаях векторы больше не будут указывать на исходные краевые пиксели. Дополнительная информация, такая как направление контраста и направление вектора, может помочь в процессе сопоставления расширения ребер. Цель состоит в том, чтобы свести к минимуму энергию в системе, аналогично моделированию с помощью механической системы пружин. Докладчик отмечает, что с краем часто трудно с уверенностью сказать, насколько хорошо мы сопоставляем конкретную точку на краю, что потребует более сложной модели для отслеживания.
  
  
• 00:25:00 В этом разделе спикер обсуждает механический аналог, представляющий алгоритм обнаружения признаков с использованием изображений во время выполнения. Система регулирует себя, используя набор сил от многих обнаруженных особенностей на изображении, а механические пружины растягиваются наружу и регулируются с помощью масштабного преобразования. Затем система вычисляет беспорядок и охват, чтобы оценить, насколько хорошо изображение среды выполнения соответствует модели. Конечной целью системы является снижение энергии за счет систематического перемещения всех диполей во время работы, и она включает в себя большую систему наименьших квадратов с естественным методом вычислений с использованием набора аккумуляторов.
  
  
• 00:30:00 В этом разделе лектор обсуждает различные аспекты сопоставления с образцом, включая случаи только перевода и перевода и поворота. Лектор объясняет, что тензор, используемый при сопоставлении с образцом, представляет собой многомерный массив, допускающий степени свободы при выравнивании. Лектор также рассказывает о многоуровневом сопоставлении с образцом, которое включает в себя работу с низким разрешением для получения начальной позы, а затем ее использование для сопоставления с образцом с высоким разрешением. Лектор отмечает, что метод сопоставления с образцом может быть применен к целому ряду устройств, используемых в практических целях, от телекамер до электронных микроскопов. Наконец, лектор обсуждает формулу изобретения, изложенную в патенте, отмечая, что формула 1 очень широка и может быть оспорена известным уровнем техники, но что зависимые пункты содержат более конкретные детали.
  
  
• 00:35:00 В этом разделе лекции спикер обсуждает патент на процесс выравнивания, который зависит от нескольких компонентов, включая значения ошибок низкого разрешения и начальные догадки. Процесс, называемый PatMax, выполняет поиск во всем пространстве поз с низким разрешением, не требуя первого предположения, в отличие от обсуждаемого патента, который требует первого предположения и имеет диапазон захвата. Пространство позы для этого процесса отличается от PatMax по вычислительным причинам. Процесс выравнивания работает, чтобы избежать порогового значения и квантования на уровне пикселей, вместо этого сосредоточившись на субпиксельной точности. Докладчик также затрагивает физический аналог механических пружин.
  
  
• 00:40:00 В этом разделе спикер обсуждает процесс проверки объекта и то, как он включает в себя сопоставление и определение преобразования между обученными изображениями и изображениями во время выполнения. Проверка основана на отсутствующих и дополнительных функциях в изображении во время выполнения по сравнению с обученным изображением, а также на беспорядке в изображении из-за фоновой текстуры. Также объясняется генерация поля расстояния с акцентом на то, как оно меняется, когда на изображении присутствуют края и углы. Обсуждается процесс вычисления преобразования расстояния, включая проблемы работы в дискретном мире и способы быстрого и эффективного приближения евклидова расстояния.
  
  
• 00:45:00 В этом разделе лекции обсуждается концепция суммирования местных сил для обеспечения смещения или вращения. Веса могут быть заданы заранее или зависеть от величины градиента или диполя поля, среди других вариантов. Крутящий момент вокруг центра используется для обеспечения вращения, и, взяв z-компоненту векторного произведения двух векторов в плоскости, можно получить скаляр для крутящего момента. Затем в лекции описывается расстояние до линии и объясняется поворот в системе координат, которая выровнена по линии для вычисления простых чисел x и y.
  
  
• 00:50:00 В этом разделе спикер обсуждает использование двух параметров rho и theta при параметризации семейства прямых на плоскости, которое является двухпараметрическим семейством. Эта параметризация полезна при подгонке линии, когда цель состоит в том, чтобы найти линию, которая с высокой точностью соответствует краевым точкам. Докладчик объясняет, как использовать исчисление, чтобы минимизировать квадрат расстояния, и показывает, как связать x bar и y bar, средние центроиды точек на линии, с ро и тета. Кроме того, лекция затрагивает перемещение координат к центроиду и поиск прочных взаимосвязей между тета и ро для определения параметров линии.
  
  
• 00:55:00 В этом разделе лектор объясняет математические шаги по поиску решения методом наименьших квадратов для подгонки линии к набору координат изображения с использованием уравнения нормальной формы Гессе. Взяв производную по тета и приравняв ее к нулю, можно получить решение, включающее синус и косинус удвоенного угла, которое можно упростить с помощью тригонометрических тождеств. Этот метод предпочтительнее подгонки y равным mx плюс c, поскольку он не зависит от выбора системы координат и может использоваться для объединения фрагментов коротких ребер в фрагменты более длинных ребер. Затем лектор представляет патент на эффективное вычисление нескольких масштабов, избегая дорогостоящей свертки.

• 01:00:00 В этом разделе лектор рассказывает об эффективных способах вычисления фильтров для многомасштабных целей. Хитрость заключается в том, чтобы аппроксимировать ядро сплайновым кусочным полиномом и взять n плюс первую разность, что упрощает свертку с нулем, в результате чего получается разреженное ядро с небольшой поддержкой. Лекция также охватывает n плюс первая сумма, которая является обратной суммой n плюс первая разность, и свойства сверток и дифференцирований. В целом, лекция дает представление об уловках и приемах, позволяющих упростить и повысить эффективность свертки больших изображений с большими ядрами.
  
  
• 01:05:00 В этом разделе лектор обсуждает свойства и преимущества свертки, в частности, как можно рассматривать производные как свертки, если разрешено распределение вместо функций. Это позволяет использовать свойства свертки, такие как коммутативность и ассоциативность, которые могут быть очень полезными при обработке сигналов. Лектор также описывает пример использования свертки, чтобы сделать шаблон разреженным и дешевым для свертки, который включает в себя вычисление производных и поиск мест, где есть ненулевые значения. Только два значения нужно свернуть, что является значительным преимуществом.
  
  
• 01:10:00 В этом разделе лектор объясняет технику получения третьего отличия изображения для его сжатия. При многократном взятии третьего различия создается небольшой и разреженный набор значений, что сокращает объем вычислений по сравнению с использованием полного исходного изображения. Это можно использовать для управления полосой пропускания и масштабом фильтра без изменения объема требуемых вычислений. Лектор демонстрирует эту технику с помощью одномерной функции, а затем показывает пример с параболой, где концы более сложны из-за разрыва.
  
  
• 01:15:00 В этом разделе лекции обсуждаются различные методы фильтрации для повышения эффективности вычислений в изображениях с подвыборкой, избегая при этом артефактов наложения. Исследуется использование сплайна для аппроксимации фильтров, таких как функции Гаусса и синхронизации, с акцентом на сокращение времени вычислений и количества ненулевых значений. Кроме того, представлен метод комбинирования операций свертки как в направлении x, так и в направлении y, который требует меньше промежуточной памяти и позволяет выполнять более эффективный каскад одномерных сверток. Подчеркивается актуальность этих тем для обнаружения краев и обработки многомасштабных изображений.
  
  
• 01:20:00 В этом разделе спикер обсуждает кристалл кальцита, обладающий двойным лучепреломлением и двумя показателями преломления, зависящими от поляризации, из-за чего две копии изображения появляются очень близко друг к другу. Это используется в камерах для подавления высокочастотного контента и улучшения дискретизации. Однако удаление этого фильтра может привести к интерференции и алиасингу изображений, а также к изменению цвета и формы снимаемых объектов. Докладчик отмечает, что улучшения в фильтрации нижних частот перед сэмплированием изображения уменьшили эти проблемы, но по-прежнему важно учитывать эффекты алиасинга в изображении.

[MetaQuotes]

Лекция 14: Проверка в PatQuick, преобразование Хафа, гомография, определение положения, мультимасштаб

Лекция 14: Проверка в PatQuick, преобразование Хафа, гомография, определение положения, мультимасштаб

В этой лекции обсуждается алгоритм PatQuick с акцентом на использование зондов для создания оценочной функции в многомерном пространстве, которая определяет положение объекта на изображениях в реальном времени. Также исследуется функция сопоставления, используемая для оценки качества совпадения с точки зрения направления и величины градиента, при этом обсуждаются различные функции оценки для компромиссов между точностью и скоростью. В лекции также рассматриваются различные методы, используемые для повышения эффективности процесса сопоставления с образцом, в том числе настройка детализации вычислений и решение проблемы правильного определения направлений, особенно при выполнении преобразований, которые изменяют соотношение сторон изображения. Лекция также затрагивает тему гомографии и преобразования Хафа для обнаружения линий на фотографиях.

Лекция охватывает ряд тем, связанных с компьютерным зрением, включая преобразование Хафа, расширенное полупреобразование Гаусса, определение положения, многомасштабную подвыборку и SIFT. Преобразование Хафа используется для обнаружения линий и краев, а расширенное полупреобразование Гаусса является более сложной версией преобразования Хафа. В лекции также объясняется, как использовать преобразование Хафа для обнаружения окружностей, например местоположения вышки сотовой связи. Кроме того, спикер обсуждает субдискретизацию изображений для уменьшения рабочей нагрузки без ущерба для качества и представляет SIFT — метод поиска соответствующих точек на разных изображениях сцены, который широко используется при создании трехмерной информации из нескольких изображений. Наконец, спикер кратко обсуждает теорию музыки и заканчивается напоминанием о подаче предложений и цитатой о том, что нельзя откладывать.

• 00:00:00 В этом разделе спикер обсуждает алгоритм PatQuick и использование зондов для создания оценочной функции в многомерном пространстве. Алгоритм рассматривает небольшое количество точек на изображении и может обрабатывать большое количество степеней свободы. Обсуждаемые патенты связаны между собой и являются частью основанного на физике подхода к машинному зрению. Описанные алгоритмы в основном ограничены ситуациями, связанными с двумерными поверхностями, такими как интегральные схемы и печатные платы.
  
  
• 00:05:00 В этом разделе спикер обсуждает этап обучения в технике PatQuick, когда системе показывается изображение, и она автоматически вычисляет модель. Это важный шаг, потому что он экономит ресурсы и время, а не создает код вручную для каждой визуальной задачи. Затем модели сопоставляются с изображениями в реальном времени, а поза определяется посредством перемещения, поворота, масштабирования, перекоса и соотношения сторон. Свидетельства, собранные для объекта, являются кумулятивными, а конечный результат представляет собой сумму локальных операций. Однако ограничением этого метода является квантование пространства позы, что может повлиять на точность.
  
  
• 00:10:00 В этом разделе спикер обсуждает потенциальное шестимерное пространство, которое может возникнуть при работе с паттернами разных размеров и форм. В то время как перемещение имеет две степени свободы, а вращение - одну, масштабирование, наклон и соотношение сторон имеют по одной степени свободы, в результате чего общее количество достигает 6. Однако работа со всеми шестью параметрами становится непрактичной, поскольку квантование пространства до разумного числа уровней, таких как 100, дает в общей сложности от 10 до 12 пробелов. Докладчик также объясняет функцию сопоставления, используемую для оценки качества сопоставления с точки зрения направления и величины градиента, подчеркивая некоторые недостатки этой функции, в том числе возможность сопоставления с фоновым шумом.
  
  
• 00:15:00 В этом разделе лектор обсуждает различные функции подсчета очков, используемые в алгоритме PatQuick для компромисса между точностью и скоростью. Различные функции оценки имеют разные функции, такие как нормализованные значения, значимые оценки или просто большее значение с лучшим совпадением. Лектор объясняет, что они отбрасывают отрицательные веса и используют направление градиента для подсчета баллов. Основное внимание уделяется скомпилированным зондам и различным переводам. В лекции также рассказывается о второй версии функции подсчета очков, называемой s1b, которая устраняет необходимость умножения и обрабатывает только пробы с положительными весами.
  
  
• 00:20:00 В этом разделе спикер обсуждает различные функции, используемые для предпочтительного варианта в PatQuick. Одна функция учитывает направление градиента и вычитает член на основе случайного совпадения, чтобы улучшить результат. Другая функция использует величину градиента напрямую и не нормализована, что означает, что ее абсолютное значение не будет иметь значения. Эти функции используются в решении-кандидате и шагах тонкого сканирования в PatQuick. Докладчик отмечает, что, несмотря на то, что предпочтительный вариант имеет другие функции, приводятся и другие варианты реализации.
  
  
• 00:25:00 В этом разделе лекции спикер обсуждает некоторые детали, связанные с повышением эффективности процесса сопоставления с образцом. Одним из важных соображений является степень детализации вычислений, которую можно регулировать, уменьшая разрешение до тех пор, пока не будет достигнут удовлетворительный результат. Спикер также затрагивает вопрос нормализации, поясняя, что для некоторых задач нормализация не требуется, поскольку это вычислительная проблема. Кроме того, спикер решает проблему правильного определения направлений, поскольку процесс в значительной степени зависит от направления градиента, особенно при выполнении преобразований, которые изменяют соотношение сторон изображения.
  
  
• 00:30:00 В этом разделе лекции спикер обсуждает, как решить проблему направления градиента при преобразовании x и y способами, не сохраняющими прямые углы. Решение состоит в том, чтобы вычислить изофоту по направлению градиента, преобразовать ее и построить что-то под прямым углом к изофоте. Докладчик также затрагивает дополнительную тему проверки, которая включает в себя использование зондов в модели для определения того, является ли определенная область разумным совпадением или нет, и вычисление процента на основе того, сколько ребер в изображении во время выполнения соответствует чему-либо в модели.
  
  
• 00:35:00 В этом разделе лектор обсуждает проектирование плоской поверхности в трехмерном мире с использованием перспективной проекции и системы координат камеры. Он подробно описывает взаимосвязь перемещения и вращения между камерой и мировыми системами координат через ортонормированную матрицу. Затем лектор исследует преобразование координат объекта мира в координаты изображения и отмечает нелинейный и беспорядочный характер перспективной проекции при использовании деления. Однако он сосредотачивается на конкретном случае плоских поверхностей и подробно описывает, как система может быть возведена в объект, что позволяет упростить преобразование.
  
  
• 00:40:00 В этом разделе спикер рассказывает об использовании системы координат, где z равно нулю, превращая 3D-поверхность в 2D-поверхность. Они демонстрируют, как в этом случае можно проигнорировать третий столбец и удобно выполнить свертку в переводе на повороты, чтобы получить единую матрицу. Затем они вводят матрицу T, которая не является ортонормированной, в отличие от матрицы R. Наконец, они обсуждают степени свободы для перемещения и вращения в 3D и различные способы осмысления вращения.
  
  
• 00:45:00 В этом разделе видео спикер обсуждает вращение, перемещение и ограничения в матрицах, в частности, в случае перспективной проекции на плоскую поверхность. Матрица преобразования имеет девять независимых элементов, но только шесть степеней свободы из-за таких ограничений, как ортонормированность и ортогональность. Хотя данные калибровки могут быть аппроксимированы с использованием линейного метода наименьших квадратов, необходимо также применять ограничения, что часто упускается из виду в опубликованных работах. Эти концепции будут важны для дальнейшего обсуждения 3D-преобразований.
  
  
• 00:50:00 В этом разделе видео лектор обсуждает неоднозначность масштабного коэффициента и омографию, забавный вид матрицы. Гомография используется в фотограмметрии и применяется при концентрации внимания на плоскости. Также лектор рассказывает о преобразовании Хафа и его обобщении, которое используется при отображении точек на дороге по кадрам с камеры. Наконец, лектор описывает камеру Вильсона НАСА и то, как люди изучали элементарные частицы, направляя их в камеру Вильсона и фотографируя ионизированные точки в этом пространстве.
  
  
• 00:55:00 В этом разделе лектор обсуждает историю автоматизации процесса анализа изображений, в частности, с целью обнаружения линий или дуг на фотографиях снимков пузырьковой камеры Вильсона. Преобразование Хафа было разработано как решение проблемы обнаружения линий, которые не были расположены равномерно или одинакового размера, поэтому линии отображались из пространства изображения в пространство параметров для линий. Лектор объясняет концепцию накопительного массива для подсчета доказательств для каждой возможной комбинации параметров и ищет пики, соответствующие линиям на изображении. Отображение из пространства параметров в пространство изображения позволяет получить хорошую оценку линии, даже если доказательство представляет собой просто пузырек.

• 01:00:00 В этом разделе лектор объясняет концепцию преобразования Хафа, которая представляет собой метод обнаружения на изображении простых объектов, таких как линии, круги или эллипсы. Преобразование Хафа работает путем сопоставления пространства изображения с пространством параметров, где каждая точка в преобразованном пространстве представляет собой линию в исходном пространстве. Преобразование является симметричным, так что все линии в исходном пространстве сопоставляются с уникальными пересечениями в пространстве параметров. Лектор на примере объясняет, как пузырьки на изображении могут свидетельствовать о возможных линиях, и, находя их преобразование в пространстве параметров, можно накапливать свидетельства для нахождения пиков, соответствующих линиям в преобразованном пространстве.
  
  
• 01:05:00 В этом разделе лектор объясняет преобразование Хафа, которое используется для обнаружения линий и краев на изображениях. Преобразование Хафа создает пространство для возможных параметров преобразования, при этом каждая точка соответствует определенной линии, что может помочь собрать доказательства, даже если линия кривая и распределена неравными интервалами. Однако преобразование Хафа нельзя больше использовать для обнаружения границ, поскольку существуют более эффективные методы. В лекции также кратко упоминается расширенное полупреобразование Гаусса, которое является более сложной версией преобразования Хафа, в котором есть компромиссы и небольшие хитрости, с которыми необходимо разобраться. Кроме того, в лекции рассказывается о кругах и о том, как можно использовать преобразование Хафа для обнаружения сигналов сотовых телефонов путем определения временного опережения в сигнале.
  
  
• 01:10:00 В этом разделе спикер обсуждает, как использовать расширение преобразования Хафа для решения задач, связанных с кругами, таких как определение расстояния по GPS-координатам. Проводя измерения опережения времени и строя круги возможных положений на основе заданного радиуса, становится возможным использовать массив накопителей для обновления данных и постепенного накопления доказательств, идентифицирующих местоположение круга. Этот метод можно обобщить на большее пространство параметров, включая конусы с различными радиусами, и каждая точка в пространстве соответствует другому кругу в определенном положении на плоскости. Конечный результат должен содержать много пересечений кругов, указывающих, где находится истинное местоположение вышки сотовой связи.
  
  
• 01:15:00 В этом разделе лекции обсуждается идея обобщенного полупреобразования, которое включает в себя исходное пространство параметров и накопление свидетельств для создания расчетной поверхности; это полезно при обнаружении таких особенностей, как края или текстуры, которые могут быть видны только в определенном масштабе или с определенным уровнем шума. Работая с более низким разрешением или уменьшая размеры, мы можем снизить затраты на вычисления и улучшить способность точно обнаруживать признаки. Однако этот метод может стать дорогостоящей задачей при работе с задачами большей размерности и с высоким уровнем шума.
  
  
• 01:20:00 В этом разделе спикер обсуждает различные методы субдискретизации изображений, чтобы уменьшить количество ячеек и снизить нагрузку без ущерба для качества изображения. Они исследуют различные значения «r» и то, как они влияют на уровень подвыборки, при этом «r», равное одному квадратному корню из двух, является обычно используемым значением, поскольку оно уменьшает количество ячеек на два и увеличивает интервал на два. квадратный корень из двух. Докладчик также представляет SIFT, метод поиска соответствующих точек на разных изображениях сцены, который широко используется для создания трехмерной информации из нескольких изображений. SIFT использует гораздо менее агрессивный метод субдискретизации с несколькими шагами на октаву для создания уникальных дескрипторов для каждой точки изображения.
  
  
• 01:25:00 В этом разделе спикер кратко обсуждает музыкальную гамму, в которой октава делится на восемь нот, и упоминает, что, хотя они не равны друг другу, есть веские причины не всегда использовать коэффициент два. Спикер также напоминает аудитории, чтобы они представили свои предложения, и делится цитатой из печенья с предсказанием о том, что нельзя откладывать.

[MetaQuotes]

Лекция 16: Быстрая свертка, аппроксимация фильтра нижних частот, интегральные изображения (патент США 6457032)

Лекция 16: Быстрая свертка, аппроксимация фильтра нижних частот, интегральные изображения (патент США 6457032)

Лекция охватывает различные темы, связанные с обработкой сигналов, включая ограничение полосы пропускания, алиасинг, аппроксимацию фильтра нижних частот, размытие, интегральное изображение, анализ Фурье и свертки. Докладчик подчеркивает важность низкочастотной фильтрации сигналов перед дискретизацией, чтобы избежать артефактов наложения. Лекция также знакомит с идеей интегрального изображения, которое эффективно вычисляет сумму пикселей внутри блока, и различными методами сокращения вычислений при аппроксимации фильтров нижних частот. Наконец, в лекции обсуждается бикубическая интерполяция, которая используется для аппроксимации функции sinc, и связанные с ней вычислительные затраты.

В этой лекции докладчик обсуждает различные темы, связанные со сверткой, аппроксимацией фильтра нижних частот и интегральными изображениями. Они объясняют различные реализации свертки, в том числе метод, который экономит время вычислений, добавляя значения слева направо и вычитая, чтобы получить среднее значение. Также обсуждаются ограничения линейной интерполяции для аппроксимации фильтра нижних частот и ее недостатки по сравнению с более продвинутыми методами, такими как кубическая интерполяция. Вводится понятие дота и его значение в ограничении частотных диапазонов, а спикер рассказывает об идеальном ФНЧ и о том, как расфокусировка влияет на функцию Бесселя. Лекция также затрагивает использование аппроксимаций фильтра нижних частот для объективов цифровых зеркальных камер и концепцию фотограмметрии.

• 00:00:00 В этом разделе спикер обсуждает сэмплированные формы волны и важность ограничения их диапазона. Удивительно, что при сэмплировании формы волны мы можем что-то зафиксировать, учитывая, что форма волны имеет бесконечную поддержку, и мы получаем только дискретные выборки. Однако, если частотное содержание ограничено, теорема Найквиста утверждает, что мы можем полностью реконструировать его, производя выборку на достаточно высокой частоте. Критерием является достаточно быстрая выборка, чтобы самая высокочастотная составляющая сигнала была меньше, чем fs в течение двух. В конечном счете, ограничение полосы важно, потому что оно позволяет нам уловить суть формы волны, не получая артефактов наложения.
  
  
• 00:05:00 В этом разделе объясняется концепция алиасинга при обработке сигналов. Псевдонимы возникают, когда частотный контент выше определенного порога дискретизируется и становится неотличимым от низкочастотного контента. Это нельзя исправить после семплирования, поэтому это нужно сделать заранее, подавив более высокочастотный контент. Для этого важно отфильтровать сигнал нижних частот перед дискретизацией. Однако добиться истинной фильтрации нижних частот сложно, поэтому необходимо делать приблизительные расчеты.
  
  
• 00:10:00 В этом разделе лекции спикер обсуждает концепцию размытия с помощью таких методов, как предварительная фильтрация, и вводит понятие интегрального изображения. Он объясняет, что фильтр boxcar можно использовать для усреднения блоков, когда вычисляется сумма пикселей внутри блока, но этот метод может быть дорогостоящим в вычислительном отношении. Чтобы решить эту проблему, интегральное изображение можно использовать как в 1D, так и в 2D случаях для более эффективного вычисления суммы. Интегральное изображение не ограничивается только изображениями, поскольку оно также может работать для других типов матриц, таких как интегральный градиент.
  
  
• 00:15:00 В этом разделе лектор объясняет, как вычислить сумму прямоугольника, используя интегральное изображение. Лектор показывает, что при четырех обращениях к памяти и трех арифметических операциях мы можем получить сумму для любого блока и независимо от его размера. Этот прием можно использовать для распознавания и блокировки усреднения. Лектор также рассказывает об анализе Фурье и о том, как усреднять блок с помощью скользящего среднего.
  
  
• 00:20:00 В этом разделе лекции спикер обсуждает недостатки использования функции sinc в качестве аппроксимации для фильтра нижних частот. Функция sinc недостаточно агрессивно ослабляет высокие частоты и не достигает первого нуля достаточно быстро, что делает ее плохим выбором для аппроксимации фильтра нижних частот. Это обсуждение особенно актуально для камер, которые выполняют операцию фильтрации перед выборкой, а усреднение блоков предлагается в качестве потенциальной альтернативы функции sinc. Блочное усреднение дешево для вычислений и может быть выполнено дважды в надежде получить лучшее приближение фильтра нижних частот.
  
  
• 00:25:00 В этом разделе лектор обсуждает свойства фильтров в области преобразования и то, как они связаны с ступенчатыми разрывами изображений. Лектор объясняет, что преобразование ступенчатой функции падает как единица по частоте, а это означает, что изображения со ступенчатыми разрывами будут создавать высокочастотный контент, который не спадает быстро. Лектор отмечает, что это проблема с дискретным преобразованием Фурье, потому что оно предполагает, что данные являются периодическими, поэтому оно вводит разрывы краев ступеней по мере того, как данные обертываются. Чтобы справиться с этим, лектор предлагает аподизацию, которая включает в себя умножение изображения на форму волны, чтобы концы совпадали. Один из распространенных аподизирующих фильтров представляет собой инвертированный косинусоидальный сигнал.
  
  
• 00:30:00 В этом разделе видео рассматриваются различные подходы к работе с т.п.п., применяемые к изображениям, один из которых предполагает, что внешняя часть изображения периодически повторяется или является зеркальным отображением, хотя это не идеальное решение. из-за возможности разрыва производной. Другой обсуждаемый подход - фильтрация нижних частот с приближенным фильтром. Затем в видео затрагиваются определенные свойства, необходимые для приблизительной фильтрации нижних частот, такие как свойство просеивания единичного импульса и распределения.
  
  
• 00:35:00 В этом разделе лекции спикер обсуждает единичный импульс и его связь со сверткой. Хотя единичный импульс математически некорректно определять как предел свертки, его можно использовать для определения эффекта свертки с единичным импульсом путем вычисления его свертки и принятия предела, когда эпсилон стремится к нулю. Докладчик отмечает, что свертка может быть связана с производными и что операторы, инвариантные к линейному сдвигу, и операторы производных тесно связаны. Они объясняют, что производные по существу можно рассматривать как свертки, причем одна из двух сверток переворачивается.
  
  
• 00:40:00 В этом разделе лектор обсуждает аппроксимации фильтра нижних частот и то, как они могут улучшить метод усреднения пикселей, используемый в камерах. Он объясняет, что перед дискретизацией в аналоговой области необходимо выполнить дополнительную низкочастотную фильтрацию, и предлагает использовать двулучепреломляющие материалы для создания специального фильтра. Этот фильтр включает в себя два сдвинутых изображения, которые моделируются как свертка с импульсами, что приводит к двум слегка сдвинутым версиям исходного изображения. При анализе с помощью преобразования Фурье фильтр не падает с частотой, а падает при числе пи по сравнению с эпсилон, что позволяет выбрать подходящее значение эпсилон.
  
  
• 00:45:00 В этом разделе лектор обсуждает концепцию фильтров нижних частот и знакомит с техникой вырезания высоких частот с помощью пластины, толщина которой превышает расстояние между пикселями. Эта пластина обрезает высокие частоты, но оставляет неразрезанными другие частоты. Лектор объясняет, что использование этого чрезвычайно простого фильтра сглаживания вместе с фильтром усреднения блоков может уменьшить эффект муара, вызванный высокочастотным содержанием в изображениях. Затем лектор представляет идею патента и интегрального изображения, целью которого является сокращение вычислений для хорошей фильтрации нижних частот при минимизации размера поддержки. Лектор демонстрирует, как представлять интегрирование с помощью свертки, и предоставляет преобразование Фурье единичного импульса.
  
  
• 00:50:00 В этом разделе видео посвящено концепции сверток и их связи с дифференцированием и интегрированием в области преобразования Фурье. Объясняется, что вторая производная может быть получена путем свертки производных или импульсов первого уровня. Эта концепция применяется к процессу фильтрации, где фильтр может быть разбит на секции, чтобы уменьшить объем вычислений, если он разреженный, что происходит при работе с постоянными функциями или полиномиальными приближениями. Интегрируя или суммируя результаты свертки с разреженным фильтром, желаемый ответ может быть получен эффективно с меньшим количеством вычислений.
  
  
• 00:55:00 В этом разделе лектор обсуждает аппроксимацию функции sinc, которая идеальна для фильтра нижних частот, но продолжается вечно, что делает невозможным ее полное представление. Лекция знакомит с бикубической интерполяцией для 2D-изображений, где пиксели поворачиваются и нуждаются в интерполяции. Метод предполагает использование четырех частей, где кривая описывается кубиком. Четвертая производная используется для фильтрации, и результат намного лучше, чем при использовании ближайшего соседа или линейной интерполяции. Объясняется, что для аппроксимации функции синхронизации требуются вычислительные затраты, что делает ее непрактичной для использования.

• 01:00:00 В этом разделе пример усреднения блоков используется для иллюстрации наивной реализации свертки путем сдвига блока и сложения всего, что находится под блоком. Показано, что другая реализация значительно экономит время вычислений при блокировании более крупных сегментов путем добавления значений слева направо, а затем вычитания для получения среднего значения. Также обсуждается линейная интерполяция, которую можно рассматривать как имеющую отношение к свертке путем создания функции, которая соединяет точки на дискретной сетке с помощью прямых линий.
  
  
• 01:05:00 В этом разделе спикер обсуждает метод линейной интерполяции для аппроксимации фильтра нижних частот и его ограничения, особенно с точки зрения изменений измерений шума и изображения. Он объясняет, что метод включает свертку двух товарных вагонов, которая представляет собой линейную функцию, имитирующую функцию синхронизации. Он также отмечает, что этот метод уступает более продвинутым методам, таким как метод кубической интерполяции для аппроксимаций фильтра нижних частот. Кроме того, он объясняет, что метод аппроксимации ближайших соседей представляет собой кусочно-постоянную функцию, которая даже менее точна, чем линейный метод.
  
  
• 01:10:00 В этом разделе лекции спикер обсуждает концепцию аппроксимаций фильтра нижних частот и интегральных изображений в контексте свертки. Они объясняют, как интерполяция ближайшего соседа соответствует свертке с коробкой, и преимущества использования вращательно-симметричной системы координат для естественных изображений. Затем они вводят понятие дота и его значение в ограничении частотных диапазонов. Показано, что обратное преобразование дота также осесимметрично и изменяется согласно функции Бесселя, обычно используемой в оптике.
  
  
• 01:15:00 В этом разделе лектор обсуждает идеальный фильтр нижних частот, который представляет собой реакцию функции распространения на импульс. Первый ноль этой функции, который отличается от нуля функции синхронизации, используется для разрешения на основе критериев разрешения Овна. Когда не в фокусе, лектор показывает, что функция рассеяния меняется на дот, и это в пространственно-частотной области становится функцией Бесселя. Затем он заключает, что расфокусировка влияет на фокус, изменяя функцию Бесселя.
  
  
• 01:20:00 В этом разделе лекции спикер обсуждает использование аппроксимаций фильтра нижних частот и вытекающее из этого снижение содержания высоких частот, что может привести к полному забиванию некоторых частот из-за наличия нулей. Докладчик также рассказывает о том, как определить размер шага объектива цифровой зеркальной камеры, глядя на частотную область, а также о том, что эффект двух последовательных перспективных проекций не совпадает с эффектом одной перспективной проекции. Наконец, вводится концепция взятия слегка расфокусированных изображений и их свертки как способ определения того, было ли изображение изменено или нет.
  
  
• 01:25:00 В этом разделе лектор обсуждает концепцию свертки и то, как она связана с умножением в частотной области. Они объясняют, как использование функции дот позволяет сворачивать изображение, но предупреждают, что умножение расфокусированных изображений не даст точных результатов. Затем лекция переходит к теме фотограмметрии, которая использует изображения для создания трехмерной информации об объектах и их местоположении путем сопоставления таких характеристик, как края между изображениями, чтобы точно определить местоположение камеры.

[MetaQuotes]

Лекция 17: Фотограмметрия, Ориентация, Оси инерции, Симметрия, Ориентация

Лекция 17: Фотограмметрия, Ориентация, Оси инерции, Симметрия, Ориентация

Эта лекция охватывает различные темы, связанные с фотограмметрией, включая сигналы глубины, калибровку камеры и установление преобразования между двумя системами координат. Докладчик объясняет, как подойти к проблеме нахождения преобразования координат между двумя системами, используя соответствующие измерения, и подчеркивает важность проверки точного обратного преобразования. В лекции также обсуждается нахождение осей инерции в 2D и 3D пространстве и определение расстояния между двумя точками, спроецированными на ось. В целом, в этом разделе представлен всесторонний обзор фотограмметрии и ее приложений.

Фотограмметрия требует построения системы координат на облаке точек в левой и правой системах координат и их связывания. Лектор объясняет, как определить матрицу инерции или оси инерции и установить базисные векторы. Они также обсуждают проблемы, связанные с симметричными объектами, и свойства вращения, такие как сохранение скалярных произведений, длин и углов. Кроме того, в лекции рассказывается, как упростить задачу поиска поворота, устранив трансляцию и минимизировав погрешность. Наконец, лектор объясняет, как совместить два объекта одинаковой формы с помощью векторного исчисления, и предлагает изучить другие представления для вращения.

• 00:00:00 В этом разделе спикер представляет фотограмметрию, которая включает использование изображений для измерения и реконструкции трехмерных поверхностей. Эта область берет свое начало в картографировании и стала популярной после изобретения фотографии. Спикер обсуждает четыре классические задачи из фотограмметрии, в том числе поиск связи между двумя разрозненными системами координат, а также поиск связи между единой системой координат и объектами, которые могут двигаться или изменяться. Докладчик отмечает, что, хотя машинное зрение часто больше связано со второй проблемой, которая включает в себя восстановление третьего измерения из двумерных изображений, может быть выгодно сначала решить трехмерную проблему из-за ее решения в закрытой форме.
  
  
• 00:05:00 В этом разделе лектор объясняет два типа приложений для фотограмметрии: 2D в 3D и 3D в 2D. Первый включает в себя восстановление трехмерной информации из изображений и определение взаимосвязи между двумя камерами в пространстве для их выравнивания. Последнее включает в себя калибровку камеры, которая необходима для точных измерений с помощью камер, и создание топографических карт путем захвата регулярных интервалов изображения с плоскости. Лектор также обсуждает несколько признаков глубины, в том числе бинокулярное стерео, то есть способность воспринимать глубину двумя глазами.
  
  
• 00:10:00 В этом разделе лектор объясняет, как с помощью двух камер можно установить сигналы глубины с помощью одинаковых треугольников. Отображая объект обеими камерами и сравнивая полученные изображения, разницу между позициями можно использовать для расчета глубины объекта. В лекции также отмечается, что несоответствия в изображении можно использовать для расчета глубины, поскольку расстояние обратно пропорционально несоответствию. Наконец, в этом разделе затрагивается тема чувствительности к ошибкам и того, как большие ошибки могут возникнуть из-за небольших расхождений в измерении несоответствия.
  
  
• 00:15:00 В этом разделе видео лектор рассказывает о фотограмметрии и измерении 3D-позиций с помощью двух камер. Они объясняют, что увеличение базовой линии или фокусного расстояния может повысить точность измерений, но существуют ограничения на эти величины, например, обеспечение того, чтобы камеры не находились слишком далеко друг от друга. Они также упоминают о проблеме калибровки камер, если они не идеально выровнены в определенной геометрии. Затем лектор переходит к теме абсолютных ориентаций и тому, как компенсировать ориентацию таких устройств, как лидары или аэрофотокамеры, которые могут не поддерживать постоянное положение. Наконец, они отмечают, что обсуждение предполагает наличие интересных точек на изображениях, оставляя в стороне проблему сопоставления.
  
  
• 00:20:00 В этом разделе лектор объясняет, как найти поворот и перенос двух систем координат, чтобы проецировать лучи в 3D и найти точку пересечения между ними. Он использует пример точек, измеренных как в левой, так и в правой системе координат, отмечая, что это может относиться к любым двум системам координат независимо от их меток. Лектор подчеркивает необходимость шести чисел для полного определения преобразования, трех для вращения и трех для перемещения, и объясняет, что для каждого из них существует три степени свободы. Он пишет формулу преобразования, подчеркивая, что вращение не обязательно представлять в виде ортонормированной матрицы.
  
  
• 00:25:00 В лекции обсуждаются свойства вращения и ортонормированная матрица, что необходимо для понимания того, как вычислять вращение и перемещение объектов. В лекции также рассказывается о том, как соблюдение ограничения ортонормированности устраняет отражения и как легко получить обратную матрицу вращения. Также представлена физическая модель для лучшей визуализации того, как точки из левой и правой систем координат могут быть наложены друг на друга и выстроены в линию.
  
  
• 00:30:00 В этом разделе спикер обсуждает, как подойти к проблеме нахождения преобразования координат между двумя системами с использованием соответствующих измерений. К этой проблеме можно подойти методом наименьших квадратов, где цель состоит в том, чтобы минимизировать расстояние между преобразованным вектором в левой системе координат и правой системе координат. Это можно рассматривать как проблему минимизации энергии, когда система пытается приспособиться к минимизации энергии. Докладчик подчеркивает важность проверки того, что преобразование из правой системы в левую является в точности обратным преобразованию из левой системы в правую. Разделение задач перемещения и вращения упрощает задачу всего до трех степеней свободы за раз.
  
  
• 00:35:00 В этом разделе спикер объясняет, как построить систему координат, используя измерения точек на объекте. Первый шаг — выбрать точку в качестве начала координат и соединить ее со второй точкой, чтобы создать одну ось. Расстояние между первыми двумя точками нормализуется для создания оси X, а третья точка используется для определения плоскости xy. Ось Y создается путем удаления компонента вектора из первой точки в третью точку, которая находится в направлении оси X, и создания результирующего вектора перпендикулярным оригиналу. Ось z определяется как перекрестное произведение x и y, поскольку она перпендикулярна обоим векторам. Этот процесс позволяет создать систему координат и измерить точки объекта в обеих системах координат.
  
  
• 00:40:00 В этом разделе спикер объясняет, как построить систему координат и решить для вращения. Для этого они используют триаду единичных векторов для определения системы координат для левого и правого. Затем они берут обе точки облака, строят ось и сопоставляют единичные векторы друг с другом, чтобы найти преобразование, которое объединяет их. Затем они используют матрицу 3x3, чтобы склеить отдельные уравнения и найти вращение. Они упоминают, что, убрав трансляцию, осталось найти только три степени свободы.
  
  
• 00:45:00 В этом разделе спикер обсуждает ограничения, связанные с отображением точек между системами координат в фотограмметрии. Хотя может показаться, что трех соответствий между двумя системами достаточно для решения только с тремя неизвестными, равенство векторов означает, что каждое ограничение оценивается в три балла. Таким образом, у нас есть девять ограничений. Однако вращение имеет только три степени свободы, что приводит к избыточной информации. Затем спикер обсуждает специальное решение, включающее выборочный выбор точек для преобразования, что является неточным. Другое решение включает использование разложения по сингулярным числам (SVD) для поиска оптимальной матрицы преобразования, которая равномерно взвешивает информацию из всех соответствий.
  
  
• 00:50:00 В этом разделе лектор обсуждает концепцию нахождения осей инерции в 2D и 3D пространстве. Он объясняет, что оси минимальной инерции можно найти, вычислив интеграл от квадрата расстояния, умноженного на массу, тогда как перпендикулярная ось имеет максимальную инерцию, а в 3D есть третья ось, которая является седловой точкой. Он утверждает, что если эти оси идентифицированы, для рассматриваемого объекта может быть установлена система координат. Также обсуждается формула для нахождения расстояния от оси до начала координат, а также выбор центроида в качестве начала координат, чтобы отделить проблему нахождения перевода от проблемы нахождения поворота.
  
  
• 00:55:00 В этом разделе спикер объясняет, как определить расстояние между двумя точками r и r, проецируемыми на ось омега. Формула инерции выводится из этого расстояния и, как показано, меняется при изменении направления оси. Затем докладчик упрощает формулу, используя скалярные произведения, ассоциативность умножения и единичную матрицу. Полученная формула показывает, что инерция равна скалярному произведению r на себя, умноженного на единичную матрицу и интегрированного по объему объекта.

• 01:00:00 В этом разделе лектор объясняет, как построить систему координат на облаке точек в левой и правой системе координат, а затем связать их. Это делается путем вычисления матрицы инерции или осей инерции, которая представляет собой простую задачу на собственные значения вектора для матрицы три на три. Найдены три оси, перпендикулярные друг другу – максимальная, минимальная и седловая ось. Эти оси используются для установления базисных векторов, и тот же метод используется для правой системы координат. Метод, который используется для этого, представляет собой задачу наименьших квадратов, поскольку он обрабатывает все точки одинаково и минимизирует проблему.
  
  
• 01:05:00 В этом разделе лекции спикер обсуждает ограничения специальных методов в фотограмметрии при работе с симметричными объектами. Докладчик объясняет, что некоторые объекты, такие как сфера, тетраэдр и октаэдр, имеют одинаковую инерцию во всех направлениях, что затрудняет определение их ориентации специальным методом, основанным на удлинении. Кроме того, спикер отмечает, что использование соответствий для определения ориентации является более точным, но сложным подходом, поскольку требует знания выравнивания каждой точки. Докладчик также объясняет свойства вращения, в том числе сохранение скалярных произведений, длин и углов.
  
  
• 01:10:00 В этом разделе профессор обсуждает тройное произведение векторов, то есть объем параллелепипеда, образованного этими векторами. Если эти векторы повернуть, то их объем сохранится, если поворот не является отражением. Отражение изменило бы знак тройного произведения и, следовательно, объем, что привело бы к правилу левой руки вместо правила правой руки. Этот принцип важен при настройке задачи наименьших квадратов, чтобы найти преобразование между двумя системами координат, где необходимо выбрать смещение и поворот, чтобы минимизировать ошибку между двумя системами.
  
  
• 01:15:00 В этом разделе лектор объясняет, как упростить задачу поиска перевода из поиска поворота. Они делают это, перемещая координаты к центроиду и вычитая их из исходных координат, чтобы избавиться от перевода, что значительно упрощает решение проблемы вращения. Затем лектор подставляет новые координаты к формуле ошибки и группирует термины, в конечном итоге придя к более простой задаче для работы. Лекция заканчивается вопросом о том, какое смещение выбрать для перевода.
  
  
• 01:20:00 В этом разделе лекция посвящена отделению проблемы нахождения перевода от проблемы нахождения поворота. Формула перевода представляет собой разницу между тем, где находится центроид в правой системе координат и где находится центроид в левой системе координат после его поворота. Следующая цель состоит в том, чтобы минимизировать оставшийся член ошибки, что включает в себя поиск правильного поворота. Максимизируя оставшийся член, зависящий от поворота, лекция направлена на поиск правильного поворота, что имеет интуитивно понятный смысл при представлении облака точек, связанных с центроидом, с остроконечным видом, похожим на суши.
  
  
• 01:25:00 В этом разделе лектор объясняет, как с помощью векторного исчисления выровнять два объекта, имеющих схожую форму. Взяв соответствующие шипы объектов и используя скалярное произведение между ними для определения угла, объекты можно выровнять. Однако это ставит проблему, как решить проблему вращения с помощью исчисления, не имея при этом необходимости иметь дело с матрицами, усложненными дополнительными ограничениями. Лектор предлагает посмотреть другие представления для вращения, которые облегчают задачу выравнивания.

[MetaQuotes]

Лекция 18: Вращение и как его представить, единичные кватернионы, пространство вращений

Лекция 18: Вращение и как его представить, единичные кватернионы, пространство вращений

В этой лекции обсуждаются проблемы представления вращений и рассказывается о полезности кватернионов Гамильтона. Единичные кватернионы особенно полезны, поскольку они напрямую отображаются на вращения в трехмерном пространстве, что позволяет обсуждать пространство вращения и оптимизацию в этом пространстве. Кватернионы обладают свойствами, подобными комплексным числам, и особенно полезны для представления вращений, поскольку они сохраняют скалярные произведения, тройные произведения, длину, углы и хиральность. В лекции также обсуждаются различные методы представления вращения, важность возможности вращения векторов и составления вращений, а также ограничения традиционных методов, таких как матрицы, углы Эйлера и шарнирный замок. Наконец, в лекции представлены текущие исследования в этой области, в том числе оптимизация и подгонка вращений к моделям, а также разработка новых методов анализа и визуализации пространств вращений.

В этой лекции профессор обсуждает проблему нахождения преобразования координат между двумя системами координат или наилучшего соответствия вращения и перемещения между двумя объектами с соответствующими точками, измеренными в двух системах координат. В лекции рассматривается использование кватернионов для совмещения камер космического корабля с направлениями каталога и решения проблемы относительной ориентации. Обсуждается эффективность кватернионов в представлении вращений, а также различные методы приближения к представлению вращений в четырехмерном пространстве. Кроме того, в лекции исследуются различные группы вращения для разных многогранников, подчеркивая важность выбора правильной системы координат для достижения регулярной выборки пространства.

• 00:00:00 В этом разделе спикер обсуждает проблемы с поворотами, поскольку они не являются коммутативными, как переводы. Цель состоит в том, чтобы разработать полезный и общий метод работы с вращением в фотограмметрии и робототехнике. Кватернионы Гамильтона обеспечивают более общий способ представления вращений, особенно когда они ограничены единичными кватернионами, которые могут отображаться непосредственно на вращения в трехмерном пространстве. Это позволяет обсуждать пространство вращения и оптимизации в этом пространстве. Применения обширны, от робототехники до биомедицины, и спикер стремится разработать закрытое решение для задач, связанных с измерением двух объектов в разных системах координат или одного движущегося объекта.
  
  
• 00:05:00 В этом разделе представлена и объяснена тема ротации. Теорема Эйлера утверждает, что любое вращение твердого объекта имеет то свойство, что существует неизменная линия, которая является осью. Теорема о параллельной оси утверждает, что любое вращение вокруг любой оси эквивалентно вращению вокруг оси, проходящей через начало координат, плюс перемещение. Для упрощения удобно разделить перемещение и вращение. Скорость вращения намного проще, чем сами конечные вращения, поскольку угловая скорость требует только вектора и скорости. Наконец, конечные повороты не коммутируют, и при n = 3 имеется три степени свободы.
  
  
• 00:10:00 В этом разделе лектор объясняет, что лучше всего думать о поворотах как о сохранении определенных плоскостей. Например, плоскость xy может быть сохранена, в то время как вещи в ней перемещаются в другое место. Лектор также отмечает, что перекрестные произведения имеют три степени свободы и представлены в виде векторов, поскольку они перпендикулярны двум перемножаемым векторам. Существуют представления для вращения, и одним из полезных методов является обозначение оси и угла, где ось представляет собой единичный вектор, а количество градусов, на которые повернут, представлено углом. Вектор Гиббса — еще одно обозначение, объединяющее ось и угол в единый вектор, хотя он больше не является единичным вектором и расширяется при тета, равном пи.
  
  
• 00:15:00 В этом разделе лектор объясняет различные способы представления вращения, включая углы Эйлера, ортонормированные матрицы, экспоненциальную форму, стереографию и комплексные матрицы. У каждого метода есть свои ограничения, и существует 24 различных определения углов Эйлера, что сбивает с толку. Однако единичные кватернионы являются наиболее популярным и полезным методом представления вращений, потому что они имеют много преимуществ, таких как компактность, простота интерполяции и отсутствие влияния блокировки карданного подвеса. Также важно иметь возможность конвертировать между различными представлениями вращения.
  
  
• 00:20:00 В этом разделе спикер обсуждает проблему вращения вектора и нахождения его положения в повернутой системе координат, а также составление вращений. Докладчик представляет формулу Родригеса, которая решает первую проблему, беря вектор и поворачивая его на угол вокруг заданной оси. Разбивая задачу на двухмерную, спикер показывает, что формула вращения проста в плоскости, но более сложна в трехмерной. Докладчик объясняет, что обозначения осей и углов полезны для визуализации поворотов, но добиться композиции сложно.
  
  
• 00:25:00 В этом разделе лектор обсуждает различные представления вращения, в том числе отображение сферы на плоскость с использованием техники проекции, которая сохраняет углы и формы. Он также упоминает о важности возможности вращать векторы и составлять повороты, а также иметь интуитивно понятное представление, такое как ось и угол. Однако он отмечает, что некоторые представления, такие как матрицы вращения и угол оси, могут быть избыточными или не очень интуитивными. Лектор также подчеркивает важность избегания сингулярностей и обеспечения вычислительной эффективности при возможности интерполировать ориентацию в графике.
  
  
• 00:30:00 В этом разделе лектор обсуждает проблемы представления и интерполяции вращений в компьютерной графике, а также потребность в пространстве вращений, которое можно эффективно сэмплировать и усреднять. Он указывает на ограничения использования матриц, углов Эйлера, карданного замка и других традиционных методов и предлагает кватернионы как более практичное решение. Он объясняет, как кватернионы могут избежать избыточности и сингулярности, и как их можно составлять, интерполировать и сэмплировать математически элегантным и вычислительно эффективным способом. Он также освещает некоторые открытые проблемы и текущие исследования в этой области, включая оптимизацию и подгонку вращений к моделям, а также разработку новых методов анализа и визуализации пространств вращений.
  
  
• 00:35:00 В этом разделе спикер объясняет историю создания кватернионов и их значение в математике, особенно во вращении. Он объясняет, что Уильям Гамильтон, математик из Дублина, пытался найти способ представления троек чисел таким образом, чтобы можно было разделить, поэтому он обратился к комплексным числам за вдохновением. В конце концов Гамильтон обнаружил, что кватернионы, или числа с реальной частью и тремя мнимыми частями, могут решить эту проблему. Затем докладчик продолжает объяснять различные способы представления кватернионов, в том числе в виде вектора в пространстве или матрицы четыре на четыре.
  
  
• 00:40:00 В этом разделе лектор обсуждает различные способы представления умножения кватернионов, в том числе с использованием матриц и с использованием скалярной части и трех мнимых частей. Лектор подчеркивает, что умножение некоммутативно, и показывает, как его можно представить в виде произведения матрицы и вектора. В лекции также освещаются некоторые основные результаты, в том числе тот факт, что умножение кватернионов не коммутативно, а ассоциативно.
  
  
• 00:45:00 В этом разделе спикер объясняет свойства кватернионов, которые делают их полезным способом представления поворотов. Кватернионы обладают свойствами, аналогичными комплексным числам, включая сопряжение, которое включает отрицание мнимой части. Скалярное произведение может быть выражено в виде нормы, а умножение кватерниона на его сопряженное дает действительную величину без мнимой части, которую можно использовать для деления. В случае единичных кватернионов инверсия - это просто сопряжение. Кватернионы также можно использовать для представления векторов, опустив скалярную часть, и в этом пространстве есть много интересных свойств.
  
  
• 00:50:00 В этом разделе лектор объясняет, как представить вращение с помощью кватернионов. В отличие от простого умножения кватерниона, операция предварительного умножения кватерниона на вектор, последующего умножения его на его сопряжение и извлечения мнимой части вектора дает кватернион с нулевой скалярной частью, которую можно применять для поворота вектора в 3D. Представляя умножение кватернионов с использованием матриц четыре на четыре, лектор затем показывает, как эта операция сохраняет скалярные произведения исходных векторов. В конечном счете, полученную ортонормированную матрицу вращения три на три можно использовать для поворота векторов без непосредственного манипулирования кватернионами.
  
  
• 00:55:00 В этом разделе лектор обсуждает свойства, определяющие вращение, и способы его представления с помощью кватерниона. Кватернион — это четырехмерное представление вращения, которое сохраняет скалярные произведения, тройные произведения, длину, углы и хиральность, что делает его подходящим представлением вращения. Композиция вращений проста в кватернионной записи, тогда как она сложна как в осевом угле, так и в углах Эйлера. Векторная часть кватерниона параллельна оси вращения, что упрощает определение оси. Лектор объясняет, как преобразовать представления оси-угла и кватерниона, и определяет, что противоположная сторона сферы представляет те же вращения, что является важным знанием фотограмметрии для вычисления средних значений.

• 01:00:00 В этом разделе лекции спикер обсуждает задачу нахождения преобразования координат между двумя системами координат или наилучшего соответствия вращения и перемещения между двумя объектами с соответствующими точками, измеренными в двух системах координат. Используя физический аналог с пружинами, система хочет минимизировать сумму квадратов ошибок, чтобы найти вращение и перемещение. Первый шаг в поиске перевода - это взять центроид в левой системе после поворота в центроид правой системы, что интуитивно понятно и не требует соответствий. Затем формула перевода используется для упрощения выражения для минимизации члена ошибки. Средний член — единственный, который можно изменить, и, максимизируя его, система может максимизировать скалярное произведение соответствующих точек.
  
  
• 01:05:00 В этом разделе лектор обсуждает, как совместить камеры космического корабля с направлениями каталога, используя кватернионную запись. Они используют кватернионы для отображения направления на звезды в камере с направлениями каталога, где цель состоит в том, чтобы максимизировать скалярное произведение этих двух кватернионов. Однако, поскольку это может привести к большим значениям кватерниона, необходимо наложить дополнительное ограничение. Лектор объясняет два метода дифференцирования по кватерниону, который используется для минимизации разницы между двумя направлениями кватерниона.
  
  
• 01:10:00 В этом разделе лекции профессор обсуждает собственный вектор и собственное значение действительной симметричной матрицы размером четыре на четыре, построенной на основе данных. В отличие от прошлого, когда требовалось наименьшее собственное значение, из-за переворота синусоиды нам нужно выбрать собственный вектор, который соответствует наибольшему собственному значению. Матрица симметрична, то есть имеет девять независимых величин, а ее определитель имеет кубический член, равный нулю. Хотя в ней 16 независимых величин, десять из них являются независимыми, что делает эту матрицу особенной. Это позволяет свести его к кубическому уравнению, что упрощает его решение. Профессор также отмечает, что кубические уравнения и уравнения четвертой степени можно решать в замкнутом виде, в отличие от уравнений пятого порядка.
  
  
• 01:15:00 В этом разделе лектор обсуждает желаемые свойства кватернионов как средства представления вращений. Эти свойства включают в себя возможность легко поворачивать векторы и составлять повороты, интуитивно понятное неизбыточное представление, вычислительную эффективность и возможность интерполировать ориентации и получать средние значения диапазона поворотов. Затем лектор вводит относительную ориентацию как проблему нахождения базовой линии и относительной ориентации двух систем координат с использованием данных направления из двух точек мира. Кватернионы также полезны для описания кинематики робота-манипулятора и могут помочь избежать проблем с согласованием систем координат, особенно на запястье.
  
  
• 01:20:00 В этом разделе спикер обсуждает эффективность кватернионов в представлении вращений по сравнению с ортонормированными матрицами, демонстрируя, что умножение кватернионов быстрее для композиции, но медленнее для вращающихся векторов. Он отмечает, что кватернионы легче перенормировать, чем матрицы. Затем докладчик обсуждает, как сэмплировать пространство вращений в четырех измерениях, проецируя многогранники на сферу вращений, что приводит к регулярному и единообразному сэмплированию пространства.
  
  
• 01:25:00 В этом разделе лекции обсуждаются различные методы представления вращений в четырехмерном пространстве, например, использование систем координат для упрощения выражений для групп вращений. В лекции также исследуются различные группы вращения для разных многогранников, с использованием этих групп для обеспечения регулярной пространственной выборки пространства, чтобы пользователи могли попробовать разные ориентации для своих поисков или усреднения. Однако отмечается, что эти методы могут потребовать ухищрений для получения более точной выборки, и что выбор правильной системы координат имеет решающее значение.