00:00:00 在本节中，讲师讨论透视投影和运动。透视投影涉及 3D 世界中的点与 2D 图像之间的关系，可以通过合适的坐标系来表示。他们解释说，透视方程的微分有助于测量图像中亮度模式的运动，然后可用于确定现实世界中的运动。讲师通过使用更容易理解的符号（例如 x 和 y 方向上的速度）来降低方程的复杂性。
00:10:00 在这节课中，在图像形成和透视投影的背景下引入了焦点扩展和压缩的概念。该方程描述了从膨胀焦点向外辐射的矢量，这对于测量距离和速度很重要。 w 与 z 的比率决定了向量的大小，扩展焦点的倒数是压缩焦点。通过取 z 与 w 的比值，可以估计撞击时间，这对于着陆航天器或测量距离很有用。然后以矢量形式介绍这个想法，尽管它不是立即有用的。
00:15:00 在本节中，演讲者讨论了透视投影方程以及如何使用它来引入图像坐标。扩展的焦点被引入为r点为零的点，其对应于z。通过相对于时间对每个分量进行微分，我们可以推导出 3D 运动和深度运动的方程。演讲者还使用本书附录中的结果将方程式转换为关于流动的一般说明，允许根据世界运动来表达图像运动。
00:20:00 在本节中，讲师讨论图像运动的概念及其与 z 轴的关系。发现由此产生的图像运动垂直于 z 轴，这并不奇怪，因为图像仅在二维中具有 x 和 y 方向的速度。然后，讲座探讨了径向运动的概念及其对图像运动的影响，得出的结论是，如果物体直接朝向或远离观察者移动，则不存在图像运动。讲师最后检查了矢量长度不完全相同的流场示例，证明虽然令人不快，但这可能是有利的。
00:30:00 在这节课中，教授讨论了图像处理中连续域和离散域的区别。虽然在实践中图像通常由具有两个索引的数字数组表示，但使用连续函数可以更容易理解某些操作，例如取积分。此外，教授还谈到了用差分法逼近亮度的 x 和 y 导数，以及亮度梯度在图像处理中的重要性。讲座还涉及一维传感器以及它们如何用于成像，运动作为扫描图像的一种方式。教授提出了确定图像两帧之间运动速度的问题，并给出了一个光学鼠标映射桌面的示例。
00:35:00 在本节中，讲师讨论了光学鼠标技术中的假设，特别是观察表面时的恒定亮度假设。他还解释了如何通过分析帧之间的亮度变化来使用曲线的小线性近似来确定运动。讲师介绍了偏导数符号以及可用于边缘检测的亮度梯度的分量。最后，推导出公式delta e = e sub x 乘以delta x 并除以delta t 来计算运动。
00:40:00 在讲座的这一部分，演讲者讨论了如何从 1D 图像中的单个像素恢复运动。结果允许说话者恢复运动，但这种方法不适用于 2D 图像。演讲者解释说，较大的 ET 值表示运动速度较快，并且当 EX 为零时会出现问题，因为除以零或较小的值会导致测量问题导致误差。此外，演讲者解释说，较小的 EX 值或零 EX 值会由于测量误差而导致估算值出现噪声。
00:45:00 在讲座的这一部分，演讲者讨论了在估计图像中物体的速度时具有纹理的参考点的重要性。除非满足某些图像条件，否则这种类型的测量可能会有噪声且不可靠。但是，通过使用多个像素并应用最小二乘等技术来减少误差，可以显着改善结果。通过组合多个像素，测量的标准偏差可以减少 n 的平方根，这对于大图像很重要。但是，重要的是根据纹理的斜率对测量值进行加权，以避免使用来自高斜率区域的信息污染低斜率区域。最后，将分析扩展到二维图像，并讨论了多种方法以获得下一个结果。
00:50:00 在本节中，讲师解释了如何将视频帧概念化为以 x、y 和 t 为轴的三维亮度值体积。然后讲座继续描述偏导数以及它们如何从 x、y 或 t 方向上的相邻像素的差异中导出。然后，讲师探索了沿曲线的全导数的概念，特别是与运动中物体的亮度梯度相关的概念。使用链式法则，全导数可以表示为偏导数，从而可以预测物体的亮度将如何随时间变化。最后，讲座介绍了从图像序列中找到 u 和 b 的概念。
00:55:00 在本节中，讲师讨论了尝试恢复光流矢量场时的方程计数和约束问题。在一个未知 u 和一个约束方程的情况下，可以获得有限个解。然而，由于有两个未知数 u 和 v 以及一个方程约束，它似乎毫无希望。约束方程是从图像移动时亮度不变的假设推导出来的。讲师展示了在速度空间中绘制约束方程显示它是一条线，这是解决问题的重大进展。目标是将点固定到一个点并获得精确的光流矢量场。
01:00:00 在视频的这一部分，演讲者讨论了亮度梯度在确定物体运动中的重要性。亮度梯度是垂直于高亮度区域和低亮度区域之间的过渡指向的单位向量。演讲者解释说，在进行局部测量时，没有足够的方程来确定物体的运动。然而，可以确定亮度梯度方向上的运动。然后演讲者继续讨论 2D 情况，并指出需要使用多个约束来确定对象的运动。为了证明这一点，演讲者求解了一个简单的线性方程以恢复 u 和 v 的值。
01:05:00 在本节中，讲师解释了如何求逆 2x2 矩阵并使用它来求解图像运动的线性方程组。然而，在某些边缘情况下，矩阵的行列式可以为零，这意味着亮度梯度彼此成正比，从而导致孔径问题。这个问题表明对不同图像区域的贡献需要不同的加权，而不是仅仅对结果进行平均。为了解决这个问题，我们需要寻找使方程为零或尽可能小的 u 和 v 的值。
01:10:00 在本节中，演讲者讨论了适用于理想情况的约束条件，即在对整个图像进行积分时，u 和 v 的正确值导致被积函数为零。这可以作为找到 u 和 v 的正确值的策略的基础。演讲者指出，当场景中没有光线或纹理时，这种方法可能会失败，从而导致 ex 和 ey 的值为零。然后，演讲者解释了如何通过对被积函数求平方和最小化来将被积函数变成始终为正的东西，从而导致具有两个未知数的两个方程的微积分问题。但是，如果 2×2 矩阵的行列式为零，这可能会失败，如果 ex 处处为零或 ex 等于 ey，则会发生这种情况。
00:10:00 在本节中，讲师解释了正向变换的概念，它将我们从环境中需要测量的量转化为可以在仪器中观察到的东西。他解释说，测量可能并不完美，因此感兴趣数量中的噪声通过传递函数的导数与测量中的噪声相关。讲师还强调了噪声增益的重要性，强调 x 的 f prime 值较小并不好，因为所测量的量的不确定性会很大。
00:25:00 更复杂的符号。在本节中，讲师讨论了光电鼠标问题以及如何使用最小二乘法来处理它。目标是使用 ex、ey 和 et 的测量值找到正确的速度，但这些测量值通常会被噪声破坏，因此积分的最小值（非零）将是我们对 u 和 v 的估计。一些微积分来确定最小值并解释最小化这个积分的重要性。然后他们继续讨论 u 和 v 是可预测的简单情况，例如在焦点扩展的情况下，并回顾透视投影中世界坐标和图像坐标之间的关系。
00:30:00 在本节中，演讲者讨论了 x 和 y 方向上速度为零的运动的速度、距离和扩展焦点之间的关系。演讲内容包括 z 的 w 量，它是 z 方向的运动分量，以及以米每秒或秒为单位测量的速度距离，也称为接触时间，这有助于找到如何如果没有任何变化，一个人撞到一个物体之前需要很长时间。然后，演讲者继续通过一个简单的例子演示当有人向墙壁移动时扩展焦点如何工作，以及在这种情况下运动场会是什么样子。
00:40:00 在本节中，讲师解释了如何计算径向梯度并使用它们来估计图像的接触时间。径向梯度是通过图像梯度与图像中竖立的极坐标系中的径向矢量的点积来计算的。然后，讲师展示了如何使用最小二乘法来最小化计算出的径向梯度与点光源的零理论值之间的差异。这适用于沿光轴运动的简单情况，其中参数 c 的估计给出了接触时间。
00:45:00 在讲座的这一部分，教授解释了他使用直接运动视觉方法估计接触时间的方法。他使用微积分来最小化存在噪声时的均方误差，并推导出 c 的公式，它是接触时间的倒数。关键是使用 x 和 y 方向上的相邻像素估计亮度梯度，然后计算径向梯度，最后计算所有像素的二重积分以获得 g 和 g 平方的估计。有了这些，可以使用 c 的公式轻松估算接触时间。该方法简单有效，不需要高级处理或复杂的对象识别技术，可以直接计算接触时间。
01:00:00 在本节中，讲师演示了一个可以显示中间结果的工具，其中 x 导数控制红色，y 导数控制绿色，提供三维效果，类似于地形中梯度的快速变化地图。此外，径向导数 g 被证明向外移动，当乘以时间导数 et 时，可以确定运动。然而，众所周知，这样的工具具有可计算的局限性和错误，并且没有神奇的代码，这使其成为一个引人入胜且易于理解的工具。
01:05:00 在本节中，讲师讨论了图像处理中处理任意运动的问题。他指出，问题的起因是 u 和 v 分别表示 x 和 y 方向上的运动，在整个图像中可能不同。这可能导致一百万个方程式和两百万个未知数，使问题看起来无法解决。讲师建议可能需要额外的假设来解决问题，但指出在大多数情况下，图像中的相邻点以相同或相似的速度移动，从而提供额外的信息。他还警告说，如果图像中的径向梯度为零，解决方案可能会失败，并解释了这意味着什么。
01:10:00 在本节中，讲师讨论了可能影响使用直接视觉运动方法计算接触时间成功的模式。讲师解释说，某些图案（如 x 形）具有沿不同方向变化的梯度，因此可为计算接触时间提供有价值的信息。然而，另一种模式（如饼图）无法提供此信息，因为渐变在其方向上是一致的。讲师还提到，该算法可以从微小的斑点或纤维中拾取非零 exey，这些斑点或纤维甚至以相对一致的模式存在，如一张纸。最后，讲座介绍了两个新变量，fu of z 和 fv of z，这将有助于在方程式中更方便地定义接触时间和敌人。
01:15:00 在这一节中，演讲者讨论了基于两个参数a和b的计算扩展焦点的公式，以及f如何不出现在公式中。虽然出于许多目的，需要 f 来计算距离和速度，但接触时间计算不需要 f。然后，演讲者将问题表述为具有有限数量的参数 a、b 和 c 的最小二乘问题，并继续对积分进行微分以找到被积函数的导数。
01:20:00 在讲座的这一部分，演讲者解释了如何求解三个线性方程和三个未知数，以找出不同的变量将如何影响运动视觉。该解决方案具有封闭形式，这是有益的，因为它允许快速得出结论，而不必使用不同的参数重新计算。共有三个累加器，它们在水平、垂直和 g 方向上有所区别，它们都会影响系数。系数矩阵是对称的，这有助于理解解的稳定性。
00:05:00 在讲座的这一部分，演讲者讨论了在光流问题中最小化估计 u 和 v 的技术，其中整个图像的 u 和 v 是恒定的，例如光学鼠标.这个过程是高度过约束的，但我们可以得到未知数的线性方程，具有对称的二乘二系数矩阵。演讲者展示了如何计算导数以及此方法不起作用的条件。他们还解释了一种特殊类型的图像，其中 e_x 和 e_y 在任何地方都处于相同的比例，并且这种情况将成立。
00:15:00 在本节中，讲师解释了一个简单的关系，该关系将帧之间尺寸的一定百分比变化转化为距离的一定百分比变化，这直接转化为接触时间 (TTC)。讲师强调了在使用图像大小方法估算 TTC 时准确测量图像大小的重要性，因为对于高 TTC，图像在帧与帧之间的微小变化相对较小。讲师还讨论了相对于平面接触时间所做的假设，并指出 z 恒定的假设仍然适用。
00:20:00 在本节中，讲师讨论如何对相机或表面倾斜的情况进行建模。在倾斜平面的情况下，图像中的深度将不再恒定。平面方程是 x 和 y 的线性方程，这可能是一个更复杂的模型。通常，那里的方程可能会变得太复杂，并且可能没有封闭形式的解。但是，最好首先关注存在封闭形式解决方案的情况。如果表面不是平面的，我们可以通过多项式对其进行近似来建立最小二乘问题。不幸的是，我们找不到封闭形式的解决方案，所以我们需要一个数值解。尽管如此，我们必须小心引入更多变量，因为它会让解决方案在另一个方向上弯曲，从而失去表面是平面的建模的任何优势。
00:30:00 在讲座的这一部分，演讲者讨论了在多尺度下工作如何能够极大地改善光流计算的结果。他解释说，二次采样应该在低通滤波之后进行以防止混叠，虽然可以通过一个不太激进的因子进行二次采样，例如 2 的平方根，但它通常被忽略以支持更简单的二乘二块平均法。演讲者还提到了光流的几个有趣应用，例如利用时间联系来防止飞机事故，以及改善航天器在木星卫星 Europa 上的着陆。他解释了控制系统如何利用时间联系测量来改变火箭发动机的加速度并更可靠地击落航天器。
00:35:00 在本节中，讲座讨论了一个简单的系统，用于在下降过程中保持恒定的接触时间，可用于各种自主情况，例如汽车或航天器。基本思想是根据测量的接触时间是短于还是长于所需时间来调整施加到引擎上的力，以使其保持恒定。这种方法不依赖于任何特定的纹理或校准，而是简单地依赖于高度和速度之间的比率。该系统的方程可以作为常微分方程求解，其解与 z 成正比。
00:55:00 在讲座的这一部分，教授讨论了直线的投影以及如何以各种方式（包括代数和几何方式）定义它。他解释说，3D 中的一条线可以使用单位向量由一个点和一个方向定义，并且线上的不同点具有不同的 s 值。教授接着解释了如何使用透视投影将其投影到图像中，从而产生一个包含变量 x、y 和 z 的混乱方程。然而，通过使 s 非常大，可以简化方程式并且可以研究相机校准和成像系统的影响。
01:10:00 在本节中，讲师讨论了使用不同形状作为光流算法标定对象的优缺点。虽然球体相对容易制作和获得，但在将它们投影到图像平面时它们可能会产生噪音并且不太准确。另一方面，立方体由于其直角和平行线而具有显着优势，这与消失点相对应。讲师解释了寻找消失点如何帮助确定沿线在 3D 中指向的三个矢量的图像投影。此信息可用于更准确地校准光流算法。
01:15:00 在本节中，演讲者通过使用立方体等校准对象和三个向量 A、B 和 C 来寻找未知的投影中心 P。这三个向量与彼此，这有助于创建三个方程来求解 P 的三个未知数。然而，二次方程中的二阶项使得有多个解成为可能，这就是佐特定理的用武之地。使用定理，演讲者表明解的最大数量是方程阶数的乘积。为了简化方程式，演讲者将它们成对相减，得到三个可用于求出未知数的线性方程式。
01:20:00 在本节中，我们了解到虽然存在三个线性方程，但它们不是线性无关的，因此只有两个解。线性方程定义 3D 空间中的平面，相交时会生成一条包含第三个平面的直线，该平面不提供任何附加信息。此技术有助于校准相机和找到投影中心的位置。然而，真实相机具有径向畸变参数，需要在真实机器人相机校准时考虑这些参数。
00:15:00 在本节中，讲师讨论了 3D 版本的 TCC 和相机校准。他解释说，投影中心位置的限制是它位于一个球体上，以及如何使用球体来缩小投影中心的可能性。讲师然后讨论线性方程和直线，以及通过 theta 和 rho 参数化直线。参数化很有用，因为它避免了奇点并为线提供了一个二自由度的世界。
00:20:00 在本节中，讲师使用具有三个未知数的线性方程讨论三维平面的表示。他解释说，由于比例因子，实际上只有三个自由度，而不是四个。这种二元性意味着在 3D 平面和点之间存在映射，类似于 2D 中线和点之间的映射。讲师随后介绍了相机校准问题，并将其与机器人技术中涉及三个球体相交的多点定位问题进行了比较。
00:25:00 在本节中，演讲者解释了如何求解 3D 空间中两个球体的交点。第一个球体被定义为具有二阶项的方程式，这可能导致多达八种可能的解决方案。然而，通过从第二个球体中减去这个方程，可以获得一个线性方程。通过对所有球体对重复此过程，可以创建三个线性方程，然后可以求解三个未知数。虽然这看起来是一个完美的解决方案，但需要注意的是，通过这种方法创建的矩阵通常是奇异的，因此在其解决方案中是非唯一的。
00:45:00 在本节中，演讲者讨论了消失点在相机校准中的应用，特别是用于确定相机相对于世界坐标系的方向。演讲者解释说，通过识别图像中假定平行的路缘和道路标记等特征，它们可以产生可以在图像中识别的消失点。演讲者还解释说，在所有三个消失点都可用的理想情况下，相机捕获的矩形对象的边缘可用于定义 x 轴和 y 轴，并随后确定相机坐标系与世界坐标系。
00:50:00 在本节中，演讲者解释了在相机坐标系中测量的物体坐标系中找到单位向量的过程。单位向量必须彼此成直角，然后用于计算 TCC 和 FOR MontiVision 演示。变换矩阵表示一个坐标系相对于另一个坐标系的方向，演讲者表示他们将来会做更多这样的事情。
01:05:00 在本节中，演讲者讨论了求解单位向量 n 时涉及的非线性。通过使用亮度测量值，可以估计余弦θi，并且可以确定表面法线的可能方向的锥体。如果进行两次单独的测量，则会创建两个方向锥，并且只有由两个可能方向组成的那些锥的交点才能给出法线方向。然而，它必须是单位法线的约束意味着这两个可能的方向现在必须与单位球体相交才能做出最终决定。演讲者解释说，通过使用定义表面反射率的反照率，可以创建一个线性方程问题来确定图像平面中物体的亮度。反照率值的范围从零到一，表示进入物体的能量有多少被反射回来，有多少被吸收和损失。
00:05:00 在本节中，演讲者讨论了奇异矩阵的概念及其在求解线性方程组中的相关性。奇异矩阵是行列式为零的矩阵。对于 n×n 实对称矩阵，行列式是 lambda 中的 n 阶多项式，具有 n 个根。这意味着在齐次方程组的情况下，如果行列式为零，则存在多个解，而不是唯一解。这在处理光电鼠标恢复等多维问题时很重要，其中某些方向的误差可能与其他方向不同。因此，除了将一个小的决定因素识别为有问题之外，还需要更细致的描述。
00:25:00 在本节中，讲师讨论了特征向量以及如何使用它们根据特征向量重新表达任何向量。通过采用任意向量测量并将矩阵乘以该测量以获得未知变量，不同的分量可以沿着特征向量的特殊方向放大不同的量。这称为误差增益。然而，他们也在处理使用逆矩阵的逆问题，因此讲师介绍了 n 个向量的二元乘积来应用这个想法。
00:30:00 在本节中，演讲者讨论了特征向量和特征值，以及如何使用它们以各种方式重写矩阵。他们解释说这些项都是相关的，但特征向量本身不是，因此可以将它们分解出来。他们继续讨论如何使用这种方法来检查特征值的属性，以及为什么这对解决视觉问题很重要。具体来说，他们解释说，用于解决此问题的矩阵通常会在 lambda i 上将信号分量乘以 1，因此如果 lambda i 很小，就会产生不稳定的病态问题。
01:15:00 他在这里讨论以不同的方式重写光源的方向，以完全对单位向量执行与 n 相同的转换。这引入了一个入射光线平行于表面法线的点，称为 psqs，它位于平面中并为兰博基尼提供最亮的表面。通过以特定形式重写 n 个点，他们可以确定 pq 空间中该数量为常数的曲线。全部相乘后，剩下 p 和 q 的二阶方程，对应于圆锥曲线。给出的例子是抛物线和椭圆。
00:00:00 在本节中，引入梯度空间的概念来探索决定图像亮度的因素。亮度通常取决于照明和几何形状，如表面方向，因此有必要提及表面块的方向以确定亮度。还提到了单位法线，以及 p 和 q，它们只是图像中斜率的方便简写。朗伯表面的亮度是有争议的，这取决于所讨论表面的方向。许多无光泽表面是朗伯表面的近似值，这种近似值看起来很方便。然而，大多数宇宙和微观情况都不适合这种近似。
00:10:00 在本节中，讲师讨论如何使用校准对象（例如球体）进行图像校准。通过从四面八方拍摄一个发光的球体的图像并在其上拟合一个圆，可以估计图像的中心和半径。对于球体，有一个方便的关系，即点到表面和单位矢量平行，可以很容易地确定表面方向。这种方法也可以用于地球，对纬度的定义进行一些修改。通过使用上一讲的公式计算 p 和 q，可以确定图像中每个点的 n 和表面方向。
00:15:00 在本节中，讲座讨论了在不同照明条件下拍摄的三张照片中构建从表面方向到亮度的数值映射的过程。目标是在稍后在相同光照条件下拍摄物体的三张图像时，使用此信息计算表面方向。讲师解释了这个过程的实现，它涉及在计算机中创建一个三维数组，其中每个框都有 p 和 q 值。然后将图像量化为离散间隔并用于将信息放入阵列中。该讲座还解决了诸如量化效应和可能永远不会被填充的空单元格等问题。
00:55:00 在讲座的这一部分，演讲者讨论了如何将物体表面上的单位矢量的透视缩短效果与图像传感器上的入射光联系起来。他写下了立体角的公式，并通过乘以余弦 alpha 并除以 f 正割 alpha 的平方来考虑透视缩短效应。然后，他将图像中的辐照度与该色块发出的总能量和面积增量 i 联系起来。最后，他谈到了透镜如何聚焦光线，以及从物体观察时透镜占据的立体角如何决定有多少来自表面上的斑块的光会聚到图像中。
00:10:00 在讲座的这一部分，教授讨论了理想朗伯表面的特性：从每个观察方向看，它看起来都同样明亮，如果它是理想的朗伯表面，它还会反射所有入射光。教授解释说这简化了公式，因为它不依赖于四个参数中的两个。然后，他讨论了如何处理分布式光源，例如房间内的灯光，以及如何在入射方向的半球上进行积分。教授解释说我们需要对所有发射方向进行积分，以及如何使用极角和方位角计算贴片的面积。最后，他提到 f 项是常数。
00:15:00 在本节中，讲座讨论了阴影的概念和光在表面上的反射。讲座强调落在表面上的光取决于入射辐射和入射角。据说所有的光都被反射，沉积在表面上的功率是 e 余弦θ i 乘以表面面积。因此，当反射光积分时，等于入射光。本讲座计算了反演面的 f 的常数值，并得出结论，对于朗伯面，f 是 1 over pi。值得注意的是，反射能量并非在所有方向均等地辐射，并解释了透视缩短如何影响从表面发射的功率。
00:20:00 在讲座的这一部分，教授讨论了朗伯表面的概念，朗伯表面是一个向各个方向均匀辐射光的表面。然而，当处理与光源成一定角度的大表面时，表面元件的面积缩小，结果，单位面积的功率变得无穷大。为了避免视网膜损伤，表面在某些方向上辐射较少，但单位面积的功率保持不变。这种情况意味着表面实际上在某些区域辐射更多，而在其他区域辐射更少，导致比率为 1 比 pi 而不是 1 比 2 pi。然后讲座继续解释如何使用这些知识来测量入射光并避免在处理亥姆霍兹互易性时产生混淆。
00:25:00 在本节中，讲师介绍了一种不同于朗伯曲面的曲面，它在许多应用中都非常重要。这类曲面是余弦θi 乘以余弦θe 的平方根的一，满足亥姆霍兹互易性。此类表面的辐射度受透视的影响，用于模拟月球和岩石行星以及一些小行星的表面。该讲座解释了如何确定该表面的等光度线，它们是 3D 空间中的嵌套圆，但在图像平面中投影为椭圆，从而深入了解亮度等值线图。
00:30:00 在本节中，演讲者讨论了在 3D 空间中找到对特定材质进行着色的方法的困难。他们解释说，以前在实验室中使用的方法不适用于这种材料，因此需要一种新方法。演讲者然后演示使用单位法线来找到表面上所有点的常数值，这些点必须垂直于固定向量。然后他表明，这意味着表面上具有相同亮度的所有单位矢量必须位于一个平面内，从而揭示有关材料的有用信息。最后，演讲者使用球坐标来尝试获得更好的理解。
00:35:00 在本节中，讲师讨论了在处理月球表面阴影时如何选择坐标系，因为拥有一个好的系统可以防止代数混乱。他们建议使用太阳和地球位于 z=0 的坐标系，将计算简化为只有一个未知数。讲座还简要介绍了满月的外观，圆盘应该是均匀明亮的，但由于其非朗伯微观结构，它看起来并不完全是球形。 Hakka 模型可以很好地预测这种行为。最后，讲座深入探讨了 n 点 s 对 n 点 v 的公式，最终得出了一个使用球坐标向量的简化版本。
01:00:00 在本节中，教授讨论了如何使用形状着色技术获取物体表面的轮廓以确定其形状。他解释了如何通过在对象上运行轮廓，只要他知道初始值就可以获得轮廓的形状。但是，如果他不知道初始值，他就无法获得轮廓的绝对垂直位置。然后，他将这种技术应用于月球，以获得表面的各种轮廓，以探索物体的形状。这位教授还谈到了将剖面中的 3D 表面缝合在一起的启发式方法。后来，他切换话题来谈论镜头，并证明了正交投影的使用。
01:20:00 在本节中，讲师讨论了在使用小透镜阵列测量大面积光时，低通滤波和块平均如何减少混叠问题。如果光线垂直于传感器射入，则此方法效果很好，这是通过使用远心镜头实现的。然而，讲座接着解释说，在某些情况下，例如当场景中的深度变化小于深度本身时，使用正交投影会更方便。这使得世界中的 x 和 y 与图像中的 x 和 y 之间存在线性关系，从而可以测量物体的距离和大小，而与它们相距多远无关。
在本次关于“Shape from Shading”的讲座中，演讲者讨论了求解方程的各种方法，以求出从阴影中形状的最小二乘解。讲师解释了使用不同点的图像测量和斜率计算来满足拉普拉斯条件、调整像素值和重建表面的不同技术。讲座涵盖了初值、旋转变换和负θ逆变换等主题。讲师最后讨论了这些方程对任意反射率图的推广，以及检查扫描电子显微镜图像以提供明暗解释的具体示例的重要性。
00:00:00 在这节课中，教授介绍shape from shading，即利用图像亮度测量恢复物体形状的方法。他解释了这种方法与需要多次曝光的光度立体有何不同。教授还讨论了不同类型的表面材料及其反射特性，包括 hapke、岩石行星反射模型和第三种显微镜模型。他介绍了电子显微镜方法之间的比较，并解释了为什么扫描电子显微镜产生的图像由于其特定的亮度变化而易于被人类解读，当你接近边缘时会变得更亮。
00:20:00 在讲座的这一部分，演讲者讨论了使用反射图来确定表面的斜率或梯度。他们解释说，这种方法可用于各种表面，而不仅仅是某些类型。讨论还包括针图以及如何使用它们来确定表面方向和形状。演讲者解释说，虽然这是一个简单的问题，但由于限制条件多于未知数，因此问题被过度确定了。这样可以减少噪音并获得更好的结果。讲座以对 p 进行积分以确定距原点的高度变化的演示结束。
00:25:00 在本节中，演讲者讨论了如何整合已知数据来估计沿 x 轴或 y 轴任意位置的高度，这些数据可以组合起来填充整个区域。但是，所使用的 p 和 q 值会受到测量噪声的影响，这意味着无法保证以不同方式测量 p 和 q 会得出相同的答案。为了解决这个问题，必须对 p 和 q 施加约束；对于任何循环，p 和 q 都必须满足此约束，并且可以将大循环分解为相互抵消的小循环，以确保该约束对大循环也适用。
00:30:00 在本节中，讲师讨论了在使用光度外部或其他视觉方法测量表面的导数的情况下轮廓积分和面积积分之间的关系。该讲座展示了如何根据拉伸的中心来估计斜率，其中斜率几乎是恒定的，并使用泰勒级数展开来推导出一个方程，该方程与 x y 的表面 z 的导数相关。据说找到给出测量的 p 和 q 的 xy 的精确 z 是不可能的，但是提出了一种更优雅的方法来找到最小二乘近似值。
00:40:00 在本节中，讲师讨论如何根据我们的测量值找到尽可能小的表面。理想情况下，我们会找到一个表面，其 x 和 y 导数分别与我们从图像中获得的 p 和 q 相匹配。然而，由于测量噪声，这是不可能的，因此，我们将尝试通过解决最小二乘问题使其尽可能小。 Z是一个无限自由度的函数，所以我们不能用普通的微积分。相反，我们可以对网格上有限数量的未知数中的每一个进行微分，并将结果设置为零以获得许多方程。
00:45:00 在讲座的这一部分，演讲者讨论了为每个网格点找到 z 值以最小化 x 和 y 方向上的观测值和估计导数之间的误差的过程。为此，演讲者解释说，他们需要对 i 和 j 的所有可能值进行微分并将结果设置为零，这会产生一组可使用最小二乘法求解的线性方程。但是，如果标识符名称 i 和 j 未替换为其他名称，演讲者会警告潜在的问题，这可能导致得到错误的答案。尽管有大量的方程式，但方程式是稀疏的，使它们更容易求解。
00:50:00 在本节中，演讲者回顾了使用一阶非线性偏微分方程推导阴影形状问题的五个常微分方程的过程。他们解释了对正方形内的项进行微分、匹配项以及考虑 k 和 l 的不同值的步骤。讲师简化了最终方程并分离了各项以分别识别 p 和 q 的 x 和 y 导数。目标是最终找到图像中所有点的解决方案。
01:15:00 在本节中，讲师将介绍如何使用不同点的图像测量和斜率计算来重建表面。该讲座还涵盖了这样一种想法，即向 z 的高度添加一个常数并发现变化的方法并没有以任何方式调整 z 的拉普拉斯算子，这意味着高度的差异不会提供太多信息，而只能提供相对深度。但是，讲师指出，需要 z 的初始值才能获得重建。
01:20:00 在本节中，演讲者讨论了在使用 Shape from Shading 计算表面形状的解决方案时，每一行可能具有不同初始值的挑战。虽然处理高度的整体变化很容易，但每一行具有不同的初始值需要不同的初始曲线，该曲线可以映射回原始的、未旋转的世界。演讲者建议使用初始曲线（它是 eta 的某个函数）通过沿着这些曲线移动来探索表面，独立计算它们，然后改变探索解决方案的速度。
01:25:00 在本节中，演讲者解释了通过乘以一个常数，方程变得更简单，x 和 y 方向的移动分别与 q s 和 p s 成正比，而在 z 方向上，有一个简单的公式。本讲座最后讨论了这些方程在任意反射图上的推广，以及检查扫描电子显微镜图像以提供明暗解释的具体示例的重要性。
00:10:00 在本节中，演讲者讨论了使用正交投影在图像中迈出一小步以对应高度上的一小步的规则。他解释说，这简化了数学并与远心镜头和远光源的假设联系起来，这使得朗伯假设成为可能。整个过程包括用正向欧拉法数值求解三个常微分方程，并通过哈普卡型表面输入亮度。演讲者展示了如何用 p 和 q 来表达这一点，然后推导出辐射图像的方程。
00:15:00 在本节中，演讲者讨论了表面亮度测量值与特定表面所需解决方案之间的直接关系。他解释说有一个名为 rs 的常量，它取决于源位置，用于简化解决方案。该技术包括获取亮度、对其进行平方、将其乘以 rs，然后减去 1 和 z 方向的导数。演讲者还解释了如何获得微分方程的初始条件以及如何使用参数定义曲线。然后将该方法推广到解决无法在本地确定斜率的一般情况。
00:20:00 在本节中，讲师讨论使用特征条扩展构建解决方案。为此，需要计算高度的变化以了解 z 将如何变化。他们假设我们从 x、y 和 z 开始，连同表面方向 p 和 q，并更新 x、y 和 z 的规则，z 高度的变化由一个方程给出。随着我们的进行更新 p 和 q 是必要的，从而产生一个带有表面方向的特征带，这比仅仅拥有一条曲线更多的信息。讲师解释了如何使用二乘二矩阵和与曲率对应的高度的二阶偏导数来更新 p 和 q。
00:25:00 在本节中，讲师讨论如何计算 3D 曲面的曲率矩阵，这比平面中的曲线更复杂。曲率矩阵需要一个完整的二阶导数矩阵，称为 Hessian 矩阵。但是，使用高阶导数继续求解会导致更多的未知数。因此，需要图像辐照度方程，特别是亮度梯度，因为表面方向的变化对应于影响图像亮度的曲率。通过查看曲率和亮度梯度方程中的公共矩阵 H，计算 H 将允许更新 x、y、z、p 和 q，从而完成该方法。
00:30:00 在本节中，讲师讨论了使用两个线性方程求解 h 的概念。 H 出现在这两个方程中，但由于我们有两个方程和三个未知数，我们无法求解 h。然而，通过使用特定的 delta x 和 delta y，我们可以控制步长并选择特定的方向来计算 delta p 和 delta q。讲师还解释说，方向可能会随着表面的探索而改变。通过将其代入等式，我们可以找到如何改变 p 和 q 来解决问题。
00:35:00 本节讲师讨论了求解图像辐照度方程中z变量所需的五个常微分方程，并介绍了一种利用亮度梯度更新p和q变量生成条带的方法。讲师接着解释了解决方案中有趣的部分，涉及两个相互反馈的方程组，以及它们如何确定梯度方向并可用于追踪整个条带。最终，偏微分方程被简化为使用 p 和 q 的简单常微分方程，使方程看起来不那么吓人。
00:40:00 在本节中，演讲者讨论了一阶非线性偏微分方程在根据阴影解决形状背景下的亮度问题时遇到的挑战。这与物理学中常见的二阶线性偏微分方程不同，这意味着需要一种特殊的方法来求解这些类型的偏微分方程。讨论了 P 和 Q 的任何 R 的一般情况，然后将其应用于两个特定的表面特性：hapke 和扫描电子显微镜。 X 和 Y 的更新规则显示为分别与 PS 和 QS 成正比。
00:45:00 在本节中，讲师解释了使用迭代解决方案的着色特征条扩展和形状来更新 x、y 和高度轴的方法。该方法涉及对 p 和 q 进行微分以计算 x 和 y 的更新，并使用 prp 加 qrq 来更新高度轴。讲座指出，这种方法可用于扫描电子显微镜图像，还涉及到基本特征的概念，这涉及将特征条带投影到图像平面上，以尽可能多地探索图像。
00:50:00 在本节中，演讲者讨论了特征条扩展的实施以及为什么顺序方法可能不是最佳方法。由于沿着每条曲线找到了独立的解决方案，因此可以沿着每条曲线运行一个过程，从而使计算可并行化。讨论了需要具有合理步长的计算速度，并检查了步长由常数 z 控制的简单情况。通过在 z 的方程中除以 PRP 和 QRQ，变化率变为 1，从而导致沿着每条曲线的恒定解，等值线在 z 值增加。
00:55:00 在讲座的这一部分，演讲者讨论了在探索表面时从一个轮廓步进到另一个轮廓的不同方法。他们提到了在 z 方向上以恒定大小增量步进的选项，或者在图像中具有恒定步长的选项，这需要将所有方程除以一个常数因子。另一种选择是在 3D 中步进恒定大小的增量，其中增量的平方和为 1，最后，可以在对比度或亮度图像的轮廓中步进等值线。然而，其中一些方法可能存在问题，例如不同的曲线以不同的速率运行或除以零，因此必须注意这些限制。
01:20:00 在讲座的这一部分，演讲者讨论了曲面上固定点与阴影形状相关的概念。这个想法是为具有固定点的曲面的曲率找到唯一的解决方案。演讲者解释说，这些点在人类感知中很重要，并且会影响解决方案的独特性。然后，本讲座继续使用示例解释寻找表面曲率的过程，其中假设表面具有 sem 类型的反射率图并且在原点处具有固定点。发现图像的梯度在原点处为零，证实该点存在极值。然而，梯度不能用于估计局部形状，因为它在原点处为零，因此需要二阶导数。
01:05:00 在本节中，讲师描述了使用算子来逼近用于边缘检测的导数，允许高阶误差项适用于曲线，只要其三阶导数不太大即可。通过平均两个值并找到导数的估计值，甚至可以使用偏移半个像素的导数。比较具有相同最低阶误差项的两个运算符，发现具有较小乘数的运算符是有利的。然而，应用算子来估计 x 和 y 导数会导致不一致，这可以通过使用二维算子来处理。这种方法对于计算固定光流中整个数据立方体的 y 方向的导数也很有用。
01:10:00 在本节中，演讲者强调了操作员在使用数百万像素进行边缘检测时效率的重要性。通过巧妙地安排计算，运算符可以从六个操作减少到四个。演讲者提到了 Roberts Cross 算子和 Urbain Sobel，他们通过对 2x2 块进行平均来以特定方式复制算子，以减少噪声但同时模糊图像。
01:20:00 在本节中，视频讨论了边缘检测中不对称条件的必要性以及 g 零等于 g 加或等于 g 减的情况的决胜局。为了找到曲线的峰值，该视频描述了使用决胜局将抛物线拟合到边缘，并且表明以这种方式计算的 s 的大小限制为一半。显示的另一种方法是小三角形模型，它假设两条线的斜率相同并估计垂直和水平位置，从而得出 s 的公式。这两种方法都是为了实现亚像素精度，视频表明三角形模型可能看起来很奇怪，但在某些情况下是有效的。
第2讲：图像形成、透视投影、时间导数、运动场
第2讲：图像形成、透视投影、时间导数、运动场
在本讲座中，将广泛讨论透视投影的概念及其与运动的关系。讲师演示了如何使用透视投影方程的微分来帮助测量图像中亮度模式的运动，以及它与现实世界中的运动的关系。该讲座还涵盖了扩展焦点、连续和离散图像等主题，以及在估计图像中物体的速度时具有纹理参考点的重要性。此外，讲座还涉及沿曲线的全导数以及尝试恢复光流矢量场时的方程计数和约束问题。
演讲者涵盖了各种主题，例如亮度梯度、物体运动、2D 情况和等光度。计算物体速度面临的一个挑战是亮度梯度比例关系引起的孔径问题，通过对不同图像区域的贡献加权或寻找最小解来解决。然后，讲座深入研究了等光度线的不同情况，并强调了在确定速度时计算有意义的答案而不是嘈杂的答案的重要性，使用噪声增益的概念，它衡量图像变化对结果变化的敏感性.
第 3 讲：接触时间、扩展焦点、直接运动视觉方法、噪声增益
第 3 讲：接触时间、扩展焦点、直接运动视觉方法、噪声增益
在本讲座中，噪声增益的概念被强调，因为它与机器视觉过程相关，重点关注不同方向和精度变化。讲师讨论了准确测量矢量和理解增益以最大限度地减少计算错误的重要性。演讲涵盖了接触时间、扩展焦点和运动场的概念，并演示了如何计算径向梯度来估计接触时间。讲师还演示了如何使用网络摄像头进行现场演示，从而克服使用多尺度超像素进行逐帧计算的局限性。总体而言，该讲座提供了有关机器视觉过程的复杂性以及如何准确测量各种数量的有用见解。
本讲座讨论了运动视觉的各个方面及其在确定接触时间、扩展焦点和直接运动视觉方法中的应用。演讲者展示了可视化中间结果的工具，但也承认了它们的局限性和错误。此外，解决了图像处理中处理任意运动的问题，并强调了以相似速度运动的相邻点的重要性。本讲座还深入探讨了影响直接运动视觉方法成功的模式，并引入了新变量来更方便地定义接触时间和敌人。最后，讨论了求解三个线性方程和三个未知数以了解不同变量如何影响运动视觉的过程，以及该过程的并行化以加速计算。
第四讲：固定光流、光电鼠标、恒定亮度假设、闭式解
第四讲：固定光流、光电鼠标、恒定亮度假设、闭式解
在视觉感知 for autonomy 课程的第 4 讲中，讲师讨论了固定光流、光电鼠标、恒定亮度假设、封闭形式解决方案和接触时间等主题。恒定亮度假设导致亮度变化约束方程，它将图像中的运动与亮度梯度和亮度变化率联系起来。讲师还演示了如何对相机或表面倾斜的情况进行建模，并讨论了多尺度平均在处理大运动方面的好处。此外，本讲座探讨了在各种自主情况下使用时间进行联系，并比较了行星航天器着陆的不同控制系统。最后，讲座涉及直线的投影以及如何使用透视投影来定义它。
演讲者讨论了图像处理的应用，包括如何使用消失点来恢复相机校准的变换参数，以及具有已知形状的校准对象如何确定以相机为中心的系统中的点的位置。讲座还涵盖了使用不同形状作为光流算法标定对象的优缺点，例如球体和立方体，以及如何使用立方体和三个向量找到未知的投影中心。讲座最后强调了将径向畸变参数考虑在内以进行真实机器人相机校准的重要性。
第 5 讲：TCC 和 FOR MontiVision 演示、消失点、VP 在相机校准中的使用
第 5 讲：TCC 和 FOR MontiVision 演示、消失点、VP 在相机校准中的使用
讲座涵盖了与相机标定相关的各种主题，包括透视投影中消失点的使用、三角测量法在图像标定中寻找投影中心和主点，以及在正交矩阵中表示旋转的法线矩阵的概念。讲师还解释了计算相机焦距的数学方法，以及如何使用消失点来确定相机相对于世界坐标系的方向。此外，还讨论了 TCC 和 FOR MontiVision 演示的使用，以及理解方程背后的几何结构在解决问题中的重要性。
讲座涵盖与计算机视觉相关的各种主题，包括照明对表面亮度的影响、如何使用两个不同的光源位置测量无光泽表面，以及使用反照率求解单位向量。本讲座还讨论了相机校准中的消失点以及使用三个独立光源方向测量亮度的简单方法。最后，演讲者谈到了正交投影作为透视投影的替代方法，以及在表面重建中使用它的必要条件。
第 6 讲：光度立体声、噪声增益、误差放大、特征值和特征向量复习
第 6 讲：光度立体声、噪声增益、误差放大、特征值和特征向量复习
在整个讲座中，演讲者解释了在光度立体声中求解线性方程组时噪声增益、特征值和特征向量的概念。本讲座讨论了奇异矩阵的条件、误差分析中特征值的相关性以及线性独立性在避免奇异矩阵方面的重要性。本讲座最后讨论了朗伯定律和表面方向，并强调了使用单位法向量或单位球体上的点来表示表面的必要性。总体而言，该讲座提供了对光度立体声背后的数学原理的深入了解，并强调了从地球测量中准确恢复月球地形的挑战。
在计算摄影课程的第 6 讲中，演讲者讨论了如何使用单位法向量和表面的梯度来找到表面方向，并将亮度绘制为表面方向的函数。他们解释了如何使用 pq 参数化来映射可能的表面方向，并展示了如何使用斜面来绘制不同方向角度的亮度。演讲者还讨论了如何根据梯度重写光源单位向量与单位法向量的点积，以找到 pq 空间中该量为常数的曲线。讲座最后解释了如何使用通过将线旋转到光源而创建的圆锥体来查找不同形状的圆锥部分。
第7讲：梯度空间、反射图、图像辐照度方程、日经投影
第7讲：梯度空间、反射图、图像辐照度方程、日经投影
本讲座讨论梯度空间、反射图和图像辐照度方程。讲师解释了如何使用反射图来确定图形应用程序的表面方向和亮度，以及如何使用在不同光照条件下拍摄的三张照片创建从表面方向到亮度的数值映射。他们还介绍了辐照度的概念及其与强度和辐射率的关系，以及在测量亮度时使用有限孔径的重要性。此外，讲座还涉及光线在穿过镜头后的表现的三个规则、透视缩短的概念，以及镜头如何聚焦光线以确定有多少来自表面上的斑块的光线会聚到图像中。
在本次讲座中，演讲者解释了用于确定传送到图像中一个小区域的总功率的方程式，该方程式考虑了立体角和余弦θ。他们将这个方程式与相机中的光圈值以及光圈大小如何控制接收到的光量联系起来。演讲者还讨论了图像辐照度，它与现实世界中物体的辐射度成正比，以及当我们离开轴时亮度如何下降。他们继续讨论双向反射分布函数，该函数根据入射和发射方向确定表面的亮度。讲师解释说，可以使用测角仪测量反射率，并且对物体如何反射光进行逼真建模很重要。他们还解释了双向反射分布函数的亥姆霍兹互易性概念。然后讲座继续讨论将梯度空间应用于表面材料模型，并提醒学生及时了解作业信息。
第 8 讲：阴影、特殊情况、月球表面、扫描电子显微镜、格林定理
第 8 讲：阴影、特殊情况、月球表面、扫描电子显微镜、格林定理
在本次讲座中，教授涵盖了与光度学和阴影相关的几个主题。他解释了辐照度、强度和辐射之间的关系，以及它们是如何测量和关联的。本讲座还介绍了双向反射分布函数 (BRDF)，以解释照明如何影响表面的方向和材料。讲师进一步讨论了理想朗伯表面的特性及其对测量入射光和避免处理亥姆霍兹互易性时的混淆的影响。本讲座还涵盖了从梯度转换为单位向量的过程，以及它与光源位置的关系。最后，讲座解释了测量亮度如何确定表面的陡度或坡度方向。
讲座涵盖与光学和计算机视觉相关的各种主题。教授讨论了使用着色技术的形状来获取物体表面的轮廓以确定其形状。然后他转而讨论镜头并证明正交投影的使用是合理的。讲师还讨论了通过构建远心镜头来消除机器视觉中的透视投影，并演示了各种技巧来补偿由于玻璃的折射率随波长变化而引起的像差。最后，演讲者介绍了正交投影的概念，它简化了与透视投影相关的一些问题。
第 9 讲：来自阴影的形状，一般情况 - 从一阶非线性 PDE 到五个 ODE
第 9 讲：来自阴影的形状，一般情况 - 从一阶非线性 PDE 到五个 ODE
本讲座涵盖了阴影形状的主题，这是一种使用图像亮度变化来解释物体形状的方法。讲师解释了扫描电子显微镜的过程，其中二次电子收集器用于测量进入的电子束使其返回的分数，从而可以估计表面斜率。本讲座还讨论了使用轮廓积分、矩和最小二乘法来估计表面导数并找到给定测量噪声的最小表面。讲者从阴影问题推导出形状的五个常微分方程，并解释了图像处理运算中使用的拉普拉斯算子的概念。
在本次关于“Shape from Shading”的讲座中，演讲者讨论了求解方程的各种方法，以求出从阴影中形状的最小二乘解。讲师解释了使用不同点的图像测量和斜率计算来满足拉普拉斯条件、调整像素值和重建表面的不同技术。讲座涵盖了初值、旋转变换和负θ逆变换等主题。讲师最后讨论了这些方程对任意反射率图的推广，以及检查扫描电子显微镜图像以提供明暗解释的具体示例的重要性。
第 10 讲：特征带扩展、着色形状、迭代解决方案
第 10 讲：特征带扩展、着色形状、迭代解决方案
在本讲座中，讲师涵盖了图像形成概念中使用亮度测量的阴影形状主题。这涉及理解图像辐照度方程，该方程将亮度与表面方向、照明、表面材料和几何形状相关联。他们解释了更新 p 和 q 变量的方法，方法是使用两个相互馈入的独立方程组，并使用亮度梯度追踪整个条带。本讲座还讨论了求解一阶非线性 PDE 的挑战，以及在探索表面时从一个轮廓步进到另一个轮廓的不同方法。最后，讲师讨论了特征条扩展的实现以及为什么顺序方法可能不是最好的方法，建议并行化并控制步长。
在第 10 讲中，教授讨论了解决阴影形状问题的各种方法，包括使用表面上的固定点并在其周围构建一个小帽形来估计局部形状。讲师还介绍了遮挡边界的概念，它可以为解决方案提供起始条件，并讨论了使用复杂的数值分析方法计算三体问题解决方案的最新进展。此外，讲座还涉及工业机器视觉方法的主题以及将在下一课中讨论的相关模式。
第11讲：边缘检测、亚像素位置、CORDIC、线检测（美国专利6408109）
第11讲：边缘检测、亚像素位置、CORDIC、线检测（美国专利6408109）
这段名为“第 11 课：边缘检测、亚像素位置、CORDIC、线检测（美国 6,408,109）”的 YouTube 视频涵盖了机器视觉系统中与边缘检测和亚像素定位相关的几个主题。演讲者解释了专利在发明过程中的重要性以及它们如何用于专利战。他们还讨论了各种边缘检测运算符及其优点和局限性。该视频详细解释了用于将笛卡尔坐标转换为极坐标并确定边缘位置的数学公式。该视频最后讨论了为专利撰写广义和狭义权利要求的重要性以及专利法随时间的演变。
在第 11 讲中，演讲者重点介绍了用于边缘检测和导数估计的不同计算分子，重点是效率。提出了 Sobel 和 Roberts Cross 算子来计算梯度的平方和，并讨论了公式和技术的变化。为了实现亚像素精度，使用了多个运算符，并提出了拟合抛物线或使用三角形模型等技术来确定曲线的峰值。此外，该讲座还讨论了量化的替代方案以及方形网格上的梯度方向问题。总的来说，讲座强调了考虑许多细节以获得良好的边缘检测性能的重要性。