00:00:00 在本节中，演讲者讨论了矩阵变化时矩阵、特征值和奇异值的变化。重点是理解逆矩阵的变化公式、逆矩阵的导数以及矩阵变化时特征值和奇异值的变化。演讲者解释说，虽然特征值和奇异值变化的精确公式可能不是 可能的话，他们仍然可以推导出不等式来了解变化有多大。本讲座还介绍了矩阵 A 的设置，它取决于时间 (T) 和逆 A 的逆。
00:10:00 在本节中，演讲者解释了矩阵 A 相对于时间 t 的导数公式 dA/dt，因为 delta T 变为零。 Delta a 除以 Delta T 比率有意义，并且当 Delta T 接近零时，等式变为倒数。 1 对 X 的导数在 1 对 1 的情况下只是 1 对 X 的平方，这与 Delta a 为全尺寸但低阶时的公式平行。然后，讲座的重点转移到 lambda 的特征值以及它们在矩阵变化时如何变化，有两种可能性，一种是小变化，另一种是全尺寸变化。讲座以围绕特征值和特征向量的事实结束。
00:15:00 在本节中，解释了依赖于参数的矩阵的特征向量和特征值的概念。对矩阵 A 进行了详细探讨，左侧的特征向量 X 具有与 AX 相同的特征值。相反，对称矩阵 A 的特征向量 Y 以与 A 或 AT 的转置相同的方式使用。强调了归一化的重要性，特别是 Y 转置乘以 X 等于 1。然后，作者继续对公式求导，并讨论如何扭曲方程以适应这种新情况。
00:30:00 在本节中，演讲者讨论了对对称矩阵进行秩一更改后特征值的变化。他指出，变化是一个真向量而不是微分，因此没有新特征值的精确公式。不过，他分享了一些已知的事实，比如特征值是降序排列的，秩一变化是半正定的。他还要求听众考虑 uu 转置矩阵的特征向量，并解释说它是一个完整的 n × n 矩阵列乘以一行。他最后说，这个计算得出的数字大于零。
00:05:00 在本节中，演讲者讨论奇异值的导数，它类似于特征值的导数。奇异值的导数公式由 da/dt 乘以 a 的奇异向量的转置给出。这个公式依赖于 SVD，它表示 a 乘以 V 等于 Sigma U。通过使用这些事实并操纵方程，可以推导出奇异值导数的公式。该公式有助于理解矩阵如何随时间变化，并可应用于物理和工程等各个领域。
00:10:00 在本节中，演讲者讨论了反数值和奇异值的导数。他们首先根据矩阵的 SVD 解释奇异值的公式，然后求方程的导数。演讲者使用乘积规则并简化生成的方程式以找到能够为他们提供所需答案的项。然后他们证明其他两项将为零，这证明他们选择的项是正确的。最后，他们用点积和一个数来证明 U 对 U 转置的导数等于零。
00:25:00 在本节中，演讲者讨论隔行扫描和 Vial 不等式。 Vial 不等式是一种估计矩阵 lambda 值的方法，它是从大到小排列的特征值。该不等式对任何对称矩阵都适用，并且表明两个对称矩阵之和的最大特征值小于或等于每个矩阵的最大特征值之和。这种交错性质不仅适用于第一阶扰动，也适用于其他阶的扰动。演讲者使用将正矩阵 T 添加到 S 的示例，并解释了这与 Vial 不等式的关系。
00:30:00 在本节中，演讲者讨论了 Vile 的不等式及其与隔行扫描的关系。 Vile 不等式给出了特征值可以增加多少的界限，这一事实对于理解交错现象至关重要。演讲者提到有两种方法可以证明隔行扫描，包括 Vile 不等式和另一种涉及图的方法。该部分还介绍了压缩感知，这将在视频的下一部分进行讨论。
本讲座的重点是矩阵及其秩，以及计算数学中奇异值下降的速度有多快。讲师检查了低秩矩阵并演示了它们如何在奇异值序列中有很多零，从而使以低秩形式将矩阵发送给朋友比以满秩形式更有效。他们还引入了矩阵的数值等级，这是通过允许一些摆动空间来定义矩阵奇异值的容差来定义的。通过对可以用多项式很好地近似的平滑函数进行采样，数值秩可以很低，从而导致矩阵 X 的低秩近似。讲座还包括高斯和范德蒙矩阵的示例，以解释它们如何导致低阶矩阵，并讨论了 Zolotarev 数在边界奇异值中的有用性。
00:00:00 在本节中，一位教授解释了为什么低阶矩阵在计算数学领域如此普遍。他讨论了奇异值的重要性，奇异值告诉我们矩阵的秩以及低秩矩阵对其的逼近程度。他接着解释说，如果矩阵 X 具有 K 个非零奇异值，则它可以分解为 K 个一阶矩阵之和。另外，X的列空间和行空间的维数都是K。奇异值序列是矩阵所特有的，重点是识别X的那些使低秩矩阵出现在各种数学问题中的性质。
00:30:00 在本节中，演讲者讨论了如何通过对函数进行采样并用多项式逼近该函数来获得矩阵 X 的低阶近似值。如果可以写出一个包含两个变量的多项式，x 和 y 的次数均为 M，然后对其进行采样，则所得的 x 将具有低阶且 epsilon 等于 0，最多具有 M 平方阶。通过对可以用多项式很好地近似的平滑函数进行采样，数值秩可以很低，从而导致矩阵 X 的低秩近似。但是，这种方法背后的推理不适用于希尔伯特矩阵，它是满秩的。
00:05:00 在本节中，演讲者讨论了不同矩阵分解中自由参数的数量，包括 SVD、LU、QR 和极坐标分解。演讲者指出，由于归一化和正交条件，N×n 正交矩阵 Q 中的自由参数数量对于第一列为 N-1，对于后续列为 N-2。他们还讨论了对称矩阵 S 中自由参数的数量，即 1/2 N 乘以 N 减 1 加上对角线元素的数量。然后，他们继续展示这些计数如何针对不同的因式分解相加，包括 L 乘以 U、Q 乘以 R 和 Q 乘以 S。最后，他们提到极坐标分解是另一种因式分解，它产生正交乘以对称矩阵。
00:10:00 在本节中，讲师讨论了 Qs 与 SVD 的计算，然后统计了 SVD 中的参数。矩形矩阵可以具有的最大秩为 M，这将为 SVD 生成 M×N 矩阵。讲师希望它加起来等于原始矩阵的总和，该矩阵具有 MN 个参数。 S 的计数等于 M，V 的计数等于 N。如果 U 是 M×M 正交矩阵，则 U 的计数等于 1/2 (M^2 + M)。
00:15:00 在本节中，演讲者解释了如何计算秩 R 矩阵的矩阵奇异值分解 (SVD) 中的重要参数。对应于非零奇异值的 V 的 M 列是矩阵的唯一重要部分。为了计算参数的数量，说话者使用一个公式来计算 V 的每个正交列中必要参数的不同数量，直到第 M 列。该公式涉及将每列的 1 加到 NM 上，然后从 M 的平方加 M 加 1 的一半中减去该数字。公式的结果是秩 R 矩阵的 SVD 中参数的最终计数。
00:20:00 在本节中，演讲者讨论秩为 R 的矩阵及其参数的数量。秩为 R 的矩阵不是子空间，因为不同的矩阵可以具有相同的秩，使其更像一个表面，具有不同的部分。演讲者认为秩为 R 的矩阵有 R 个参数。然后他们继续寻找秩 R 矩阵中的参数数量。 Sigma 的参数数量为 R，V 为 (R + 1) / 2，U 为 (M - 1) + (M - 2) + ... + (M - R)。
00:25:00 在这节课中，讲师讨论了矩阵中鞍点的概念，它不同于最大值和最小值。当使用拉格朗日乘数优化受线性约束约束的二次成本函数时，会出现鞍点。讲师介绍了 lambda，并展示了如何在 Lagrangian 中使用它来形成同时依赖于 X 和 lambda 的函数。然后可以优化此函数以找到可能出现的任何鞍点。讲师还提到了鞍点的另一个来源，它出现在非正定或负定矩阵中。
00:30:00 在本节中，演讲者讨论了如何找到函数的鞍点，并展示了它们如何出现在由块矩阵表示的一类重要问题中。该函数有鞍点，而不是最大值。 Lagron 对这个问题的贡献是对 X 和 lambda 求导，分别生成 n 和 m 方程。最终，分块矩阵表示的矩阵表明它不是正定的，这个信息可以用来确定鞍点。
00:35:00 在本节中，讲师讨论矩阵的行列式如何帮助确定其特征值的符号。他用一个简单的例子表明，如果行列式为负，则必须有两个符号的特征值。然后，他将此与优化中使用的 KKT 矩阵联系起来，并认为它们通常是不确定的，但它们有一个与之相关的正定块。他证明，当在这个正定块上使用块消除时，所有 n 个主元都将为正，从而得出 KKT 矩阵具有正特征值和负特征值的结论。
00:30:00 在本节中，演讲者为他的班级描述了两个开放式实验示例，一个涉及鞍点，另一个涉及简单的神经网络。对于鞍点示例，演讲者建议将数据图表提交到等级范围，并得出关于增加 K 的安全性和风险的结论。关于神经网络示例，演讲者概述了一个基本的分类问题并鼓励学生修改他们认为合适的模型，同时仍然使用线性代数。演讲者还提到了即将召开的关于麻省理工学院计算思维课程计划的教师会议，这门课程就是一个例子。最后，演讲者邀请学生将粗略的项目想法和小组偏好通过电子邮件发送给他。
00:45:00 在本节中，将讨论样本方差的概念，它衡量与一组 n 个样本的均值的平均平方距离。在统计学中，n减一的除法是指这个距离是根据样本均值计算的，而不是零，当n很大时，n与n减一的差值并不显着。另一方面，协方差是一个更深层次的概念，涉及在执行多个实验时进行矩阵操作，并计算两个独立事件的联合概率。
00:05:00 在本节中，演讲者讨论了简化方程以求出 x 平方的期望值的代数过程。他表明 x 平方的期望值减去 x 的期望值减去 M 平方等于 x 平方的概率之和。演讲者接着介绍了马尔可夫不等式，这是一个涉及概率和期望的统计不等式。他指出马尔可夫是一位伟大的俄罗斯数学家，他们将在本书后面看到马尔可夫链和过程。
00:10:00 在本节中，演讲者解释了马尔可夫不等式，它可以帮助估计 X 大于或等于某个数的概率。该不等式表明 X 大于或等于 a 的概率小于或等于 X 除以 a 的平均值。演讲者举了一个例子，均值为1，a的值为3，说明X大于等于3的概率小于等于1/3。但是，演讲者指出，这种不等式仅适用于非负事件，不能用于输出范围从负无穷大到正无穷大的事件。
00:25:00 在本节中，演讲者解释了马尔可夫不等式与切比雪夫不等式之间的关系。他引入了一个新变量 Y，即 X 减去 M 的平方，并解释了如何计算其均值。然后演讲者将马尔可夫不等式应用于 Y 并将切比雪夫不等式应用于 X，展示它们如何导致相同的结果。最后，他介绍了协方差和协方差矩阵的概念。
00:30:00 在本节中，演讲者介绍了协方差和协方差矩阵的概念，协方差矩阵是一个 M 乘 M 矩阵，其中 M 是同时进行的实验数。为了说明这一概念，演讲者使用了掷两枚硬币且每枚硬币有一个输出 (X) 的示例。如果两个硬币独立翻转，则输出之间没有相关性，但如果它们粘在一起，则输出相关，联合概率放入 2x2 矩阵。
00:50:00 在本节中，演讲者讨论了协方差矩阵及其性质。他解释说，X 实验的方差来自所有 P IJ 的总和，而 Y 实验的方差由 Sigma Y 平方值给出。 X 和 Y 之间的协方差是 P IJ 乘以 X 与其均值的距离以及 Y 与其均值的距离的总和。在独立硬币的情况下，协方差将为零，而在粘合硬币的情况下，它与 Sigma X 平方 Sigma Y 平方相同。在胶合硬币情况下矩阵的行列式为零，这表明平方协方差与 Sigma X 平方 Sigma Y 平方相同。协方差矩阵始终是半正定的，并且是秩为 1 的半正定的组合，因此它是半正定或正定的。
00:05:00 这节课介绍了Hessian矩阵的概念，就是一个函数的二阶导数的矩阵。 Hessian 矩阵是对称的，它的计算对于小到中等大的 n 值是可行的。向量函数有一个平行图，即雅可比矩阵，其中的条目是函数相对于不同变量的导数。这些是多变量微积分的事实，用于求解优化问题中的方程。
00:10:00 在本节中，讲师讨论了牛顿求解 n 个未知数方程组的方法，该方法涉及最小化给定函数。牛顿法是求解n个未知数的n个方程的最好方法，可以表示为F等于0，其中F的1等于0，总共有n个方程。讲师展示了如何使用牛顿法求解方程x的平方减9等于0，可以写成一个函数，并一步步演示如何应用该方法。
00:15:00 在本节中，讲师讨论了如何使用牛顿法来最小化函数以及如何确定函数收敛的速度。他们首先简化确定 X sub K + 1 的公式，并证明如果 X sub K 恰好为 3，则 X sub K + 1 也将为 3。然后他们关注误差接近零的速度有多快，并从两者中减去 3边在 X 子 K 上分解出 1。简化方程表明，在步骤 K + 1 的误差在每一步都是平方的，这证明了为什么如果执行得足够近，牛顿的方法是非常棒的。
00:20:00 在本节中，讲师讨论使用牛顿法进行优化，以及它如何适用于具有数千甚至数十万个变量的非常复杂的损失函数。本讲座涵盖两种方法——最速下降法和牛顿法——其中最速下降法涉及沿 F 的梯度方向移动，但可以自由决定步长。另一方面，牛顿法考虑了 F 的二阶导数并允许更快收敛，但也可能收敛到不需要的解或在某些起点处爆炸。这导致了吸引力区域的概念，其中某些起点导致所需的解决方案，而其他起点导致不希望的解决方案或无穷大。
00:25:00 在本节中，讲师讨论了两种逐步最小化函数的方法：最速下降法和牛顿法。两者都涉及在 n 维空间中迭代选择一个方向并沿该方向移动一定距离，但最速下降使用函数的梯度来选择方向，而牛顿法使用 Hessian 或二阶导数。该讲座还解释了精确线搜索的概念以及在这些方法中选择合适的学习率的重要性。
00:05:00 在本节中，演讲者讨论了模型问题的最陡方向下降和水平集，其中 X 和 Y 的平方函数等于常数，形成椭圆。他们解释说，最佳停止点是您与水平集椭圆中最远的点相切并再次开始上升的位置。演讲者引入动量项来改进最速下降公式，并以之字形模式跟踪其下降，显示出特征向量值的改进。演讲者总结说，动量表达式是一个奇迹，并产生了显着的改进。
00:10:00 在视频的这一部分，演讲者讨论了动量在加速梯度下降中的应用。动量中的衰减项告诉你衰减有多快，而有了动量，1减B超过1加B这一项变成1减B的平方根超过1加B的平方根。演讲者以B 是 100 的 1，新的 X 是旧的 X 减去带有额外项的梯度，这给了我们一点记忆。该术语涉及采用具有步长的新量 Z，而不是仅将 Z 作为梯度（这将是最陡下降），说话者添加了前一个 Z 的倍数 beta，这是搜索方向。
00:20:00 在本节中，演讲者讨论了如何分析加速梯度下降算法中 k 向前传播时发生的情况。他们解释说，在每一步，都存在一个常数系数问题，因为 XZ 变量会乘以一个矩阵。演讲者还提到，为了跟踪 s 的每个特征向量，他们跟踪每个特征值，这允许他们根据标量而不是向量重写公式。
00:25:00 在本节中，演讲者讨论了如何跟踪一个特征向量并使用它来使整个问题成为标量。通过选择步长和动量系数，他们可以创建一个矩阵，该矩阵可以在每一步乘以特征向量的系数来更新它。通过使 s 和 beta 尽可能小，他们可以确保算法在整个可能的 lambda 范围内最小化损失函数。目标是选择这些值以使过程尽可能高效。
00:30:00 在本节中，演讲者解释了条件数的概念，即对称正定矩阵的最大特征值与最小特征值之比。条件数越高意味着问题越难，条件数越低意味着问题越容易。演讲者解释了如何使用动量加速梯度下降并通过选择 s 和 beta 的值使矩阵的特征值尽可能小来最小化最大特征值。演讲者强调，必须最小化两个特征值，因为一个小的特征值和一个大的特征值可能会致命。
00:35:00 在视频的这一部分，演讲者讨论了根据依赖于 lambda、m 和 capya 的特征值为二乘二矩阵找到最佳参数 s 和 beta 的问题。目标是选择能产生尽可能小的较大特征值的参数，这将导致更快的收敛。演讲者给出了最佳 s 和 beta 的公式，这取决于小 m 和大 M 之间的比率，并解释了如何根据这个公式计算得到的最小特征值。最终，演讲者得出结论，这种 s 和 beta 的最佳选择会导致特征值小于某个数值，从而加快收敛速度。
00:40:00 在本节中，演讲者谈到了使用动量来提高机器学习的收敛速度。他们提到了 Nesterov 的方法，该方法使用了一个稍微不同的想法，涉及先前的时间值并评估不同点的梯度。演讲者指出，现在有一些非常流行的机器学习方法，涉及一个简单的公式来添加以前的值，例如 ADA grad。他们还建议，可以通过返回两步或三步或更多步来获得进一步的改进，就像在 MATLAB 软件和行星计算中使用的向后差分公式中所做的那样。
00:05:00 在本节中，演讲者讨论线性规划和双人博弈。他们解释了可行集 X 的概念，这是线性代数语言中的约束集，并绘制了一个可视化来展示这个概念。他们使用最小化具有直接约束和不等式的函数的示例来解释三角形的三个角之一如何成为赢家，这是通过在平面与八分圆相交的点处找到最小值来解决的。成本是线性的，解决方案是三个角之一，或者当这些角出现相等的值时。在给出的示例中，三个零零是获胜角。
00:15:00 在本节中，演讲者讨论了线性规划及其各种类型，例如非线性规划、二次规划、半定规划和内点法。演讲者介绍了对偶性的概念，其中创建了线性规划问题的对偶问题，并将原始问题转化为具有线性成本和线性不等式约束的最大化问题。演讲者随后解释说，原始问题及其对偶问题密切相关，可以使用单纯形法求解。此外，演讲者介绍了对偶性的关键思想，即最大值始终小于或等于任何可行的允许值。最后，演讲者给出了不等式 B 转置 Y 小于或等于 C 转置 X 的单行证明。
00:20:00 在本节中，演讲者讨论 X 大于或等于零在线性规划中的重要性及其在实现弱对偶性方面的作用。 X 大于或等于零这一事实确保了所需的不等式得到满足，并且从系统获得的结果是正确的。演讲者提到了对偶性的概念及其与线性规划和双人博弈的关系，强调了在这两种情况下关注算法的重要性。演讲者还提供了一个最大流等于最小割的示例来演示所讨论的概念。
00:35:00 在本节中，演讲者讨论线性规划和双人博弈。大型网络中的最大割问题可以通过线性规划快速解决，尽管最大割可能在数千条边上不可见。几乎总是有平均情况的单纯形法是求解时间的多项式。演讲者还谈到了线性规划中的对偶性，其中任何流都不能超过切割的容量。最后，演讲者谈到了双人博弈和用于根据收益最小化和最大化参与者做出决策的收益矩阵。该游戏是一个零和游戏，意味着 X 支付的所有费用都归 Y。
00:40:00 在本节中，视频讨论了线性规划和双人博弈，其中 X 想做小数，Y 想做大数。这导致了一个带有鞍点的简单游戏，其中 Y 每次都选择第二列，而 X 每次都选择第一行。然而，当示例发生变化并且 Y 瞄准第二列时，X 必须选择混合策略，因为鞍点不存在。 Y 也采用了混合策略，X 最终找出了这种策略，从而引发了在 0 和 1 之间寻找最佳选择的竞争。
00:45:00 在本节中，演讲者讨论了使用线性规划解决两人游戏的过程，并提供了使用矩阵解决游戏的示例。 Y 的最佳策略在第一列为 2/3，在第二列为 1/3。给定此最佳 Y 策略，确定 X 的最佳 q4。演讲者解释说，X 可能还有其他列或行没有进入最佳混合状态。
第 15 讲 矩阵 A(t) 取决于 t，导数 = dA/dt
15. 矩阵 A(t) 取决于 t，导数 = dA/dt
该视频涵盖了与矩阵相关的各种主题，包括矩阵及其逆矩阵的变化，以及特征值和奇异值随时间的变化。演讲者解释了计算这些变化的关键公式，并强调了理解线性代数中微积分的重要性。此外，讲座还讨论了归一化的重要性，并探讨了对称矩阵和秩 1 矩阵中特征值的交错定理。最后，视频最后回顾了所涵盖的主题，并承诺在未来的讲座中对其进行扩展。
可能的话，他们仍然可以推导出不等式来了解变化有多大。本讲座还介绍了矩阵 A 的设置，它取决于时间 (T) 和逆 A 的逆。
第 16 讲。反数值和奇异值的导数
16.反奇异值导数
该视频涵盖了各种主题，包括矩阵的逆值和奇异值的导数、交错和矩阵的核范数。演讲者使用 SVD 给出了奇异值导数的公式，以了解矩阵如何随时间变化，同时为对称矩阵中的特征值变化建立界限。引入 Vial 不等式作为估计矩阵 lambda 值的方法，并在矩阵补全问题中使用基追踪。演讲者还讨论了矩阵的核范数来自一个不完全是范数的范数的想法，并介绍了 Lasso 和压缩感知的概念，将在下一讲中讨论。
第 17 讲：快速减小的奇异值
第 17 讲：快速减小的奇异值
本讲座的重点是矩阵及其秩，以及计算数学中奇异值下降的速度有多快。讲师检查了低秩矩阵并演示了它们如何在奇异值序列中有很多零，从而使以低秩形式将矩阵发送给朋友比以满秩形式更有效。他们还引入了矩阵的数值等级，这是通过允许一些摆动空间来定义矩阵奇异值的容差来定义的。通过对可以用多项式很好地近似的平滑函数进行采样，数值秩可以很低，从而导致矩阵 X 的低秩近似。讲座还包括高斯和范德蒙矩阵的示例，以解释它们如何导致低阶矩阵，并讨论了 Zolotarev 数在边界奇异值中的有用性。
第 18 讲：计算 SVD、LU、QR、鞍点中的参数
第 18 讲：计算 SVD、LU、QR、鞍点中的参数
在本讲座中，演讲者回顾了各种矩阵分解，例如 L&U、Q&R 和特征向量矩阵，并计算了每个矩阵中自由参数的数量。他们还讨论了 Qs 与 SVD 的计算，并计算了秩 R 矩阵的 SVD 中的参数数量。讲师还解释了矩阵中鞍点的概念以及如何使用优化技术和拉格朗日乘数找到它们。最后，讲师讨论了对称矩阵特征值的符号以及瑞利商如何帮助确定矩阵的最大值和对应的特征向量。
第 19 讲。鞍点续，最大最小原则
19.鞍点续，最大最小原则
在此视频中，演讲者继续讨论鞍点以及如何在二维空间中使用瑞利商找到最小值和最大值。解释了交错定理，其中涉及将鞍点写为最小值的最大值以快速找到最大值和最小值。演讲者还警告在使用高次多项式拟合数据时不要过度拟合，并讨论了该课程的两个开放式实验，涉及鞍点和一个简单的神经网络。解释了统计中的均值和方差以及样本方差和协方差的概念，演讲者指出完全相关输出的协方差矩阵是不可逆的，对于多人住在一所房子里的投票场景，一些协方差是预期的，但不完全独立。
第 20 讲 定义和不等式
20.定义和不等式
在视频的这一部分，演讲者讨论了概率论中的各种概念，包括期望值、方差和协方差矩阵。马尔可夫不等式和切比雪夫不等式也被引入作为估计概率的基本工具。然后演讲者继续解释马尔可夫不等式和切比雪夫不等式之间的关系，说明它们如何导致相同的结果。还介绍了协方差和协方差矩阵的概念，这是概率论中的一个基本工具。该视频还探讨了联合概率和张量的概念，解释了将硬币粘合在一起如何增加依赖性并改变概率。最后，演讲者讨论了协方差矩阵的性质，强调它始终是半正定矩阵，并且是秩为 1 的半正定矩阵的组合。
第 21 讲：逐步最小化一个函数
第 21 讲：逐步最小化一个函数
本视频讲座讨论了用于最小化函数及其收敛速度的基本算法，尤其是牛顿法和最速下降法。它还强调了凸性的重要性，凸性保证了函数有一个极小值，并引入了凸集和凸函数的概念。讲师解释了如何测试函数的凸性，这决定了它是否有鞍点或局部最小值，而不是全局最小值。视频最后讨论了 Levenberg Marquardt，它是牛顿方法的廉价版本，不完全是二阶的。
第 22 讲 梯度下降：下坡到最小值
22. 梯度下降：下坡到最小值
在视频“梯度下降：下坡到最小值”中，演讲者讨论了梯度下降在优化和深度学习中的重要性，其目标是最小化函数。演讲者介绍了梯度和 Hessian，并说明了使用二次函数进行最速下降的步骤。演讲者还讨论了如何解释梯度和 Hessian，以及它们在测量凸性方面的作用。演讲者深入探讨了选择合适的学习率，强调了条件数在控制收敛速度方面的重要性。该视频还提供了实际示例和公式，以帮助理解梯度下降的概念，包括重球法。
第 23 讲。加速梯度下降（使用动量）
23.加速梯度下降（使用动量）
该视频讨论了加速梯度下降的动量概念。演示者解释了基本的梯度下降公式，并展示了增加动量如何导致比普通方法更快的下降，最终产生显着的改进。他们还讨论了最速下降的连续模型，并解释了如何将其作为具有动量项的二阶微分方程进行分析。演示者强调了在使用动量最小化最大特征值时最小化两个特征值的重要性，方法是选择 s 和 beta 的值以使矩阵的特征值尽可能小。他们还讨论了 Nesterov 的方法，并建议通过倒退两步或三步或更多步来获得进一步的改进。
第 24 讲。线性规划和两人博弈
24. 线性规划和两人博弈
这段 YouTube 视频涵盖了线性规划和两人博弈的主题。线性规划是在一组线性约束下优化线性成本函数的过程，用于经济学和工程学等领域。该视频解释了线性规划中使用的算法，包括单纯形法和内点法，以及对偶性的概念，其中原始问题及其对偶问题密切相关，可以使用单纯形法求解。该视频还介绍了如何将线性规划应用于两人游戏，包括寻找网络中最大流量上限的过程以及使用矩阵求解游戏。最后，视频简要讨论了将这些技术应用于三人或多人游戏的局限性，并提到下一课将介绍随机梯度下降。