00:30:00 在本节中，讲座探讨了使用混合高斯分布的类边界以及边界的外观，假设有两个高斯分布并且它们具有相同的协方差矩阵。边界出现在每个类别相同的概率 (0.5) 处。这简化为 W 转置 X bar = 0，这意味着分隔符是线性的。这是一个简单的模型和一个线性分隔符，当有两个类时使用。当有两个以上的类时，进行相同的计算，结果是 softmax 函数，该函数也常用于神经网络，其根源在于混合高斯计算。
00:05:00 这部分，演讲者讨论了指数族，其中包括许多著名的分布，例如伯努利、泊松和伽玛。该族之所以称为指数族，是因为乘积密度函数具有指数，指数在 theta 中有一个线性项，在 X 中有一些项，在 theta 和 X 中还有其他项。族中不同分布的关键是精确的函数X 的 T、theta 的 a 和 X 的 B。这个家族的美妙之处在于，其中的任何分布都可以改写为 S 型逻辑函数的形式。这一特性使说话者能够引入概率判别模型，其目的是直接估计逻辑函数的参数，而不是假设数据受到一些噪声的扰动并估计相关分布的参数。
00:10:00 在本节中，我们将了解逻辑回归，这是一种用于拟合或找到为给定数据集的后验建模的最佳逻辑函数的技术。只要有多个类，后验就遵循 softmax 分布。我们想在给定一些数据的情况下找到最大化后验的 W。通过引入负号，将此优化问题转换为最小化问题。目标是找到最佳 W，以确保大多数数据点的正确类别 Y 的概率尽可能高。
00:15:00 在本节中，讲师讨论逻辑回归及其如何用于分类问题。目标是找到最小化主观的 W，但重要的是要注意，即使这种技术称为逻辑回归，它实际上是一个分类问题。然而，逻辑回归是回归的一种形式，因为我们试图估计给定 X 的类的后验概率，X 是一个数值。讲师继续解释说，解决此优化问题需要迭代方法，因为没有办法以封闭形式隔离表达式中的变量。
00:25:00 在讲座的这一部分，演讲者讨论了一种称为牛顿法的逻辑回归方法，它是对梯度下降法的改进。牛顿法涉及从 W 的初始猜测开始，然后从 W 中减去 Hessian 矩阵的倒数乘以最后一个函数的梯度。该方法本质上涉及迭代三个加权最小二乘法，并使用二次函数而不是直线来逼近目标，从而更好地逼近曲线并加快收敛速度。这种方法的妙处在于，每次逼近二次函数时，都可以以封闭形式最优求解最小值，无需计算步长。
01:00:00 在这一节中，教授讨论了牛顿法用于逻辑回归的局限性和过拟合问题。虽然牛顿法是一种快速优化技术，但它无法扩展到大型数据集和数百万个特征。逻辑回归由于其凸优化而容易过拟合，它会找到与数据拟合得很好的全局最优值。过拟合会导致 Hessian 矩阵出现奇点，从而无法应用牛顿法。逻辑回归的 sigmoid 函数从 0 到 1 但永远不会渐进地达到 1，因此要达到接近 1 的概率，W 转置 X bar 必须任意大，这会导致过拟合。
01:05:00 在这一节中，讲师讨论了逻辑回归模型中的过度拟合问题。他们解释说，随着 W 转置 X bar 趋于无穷大，W 的大小也趋于无穷大，这可能导致权重变得任意大。此外，由于 sigmoid 函数，Hessian 将趋于零，这使得牛顿法难以应用，因为计算 Hessian 的倒数在数值上是不可能的。为防止过度拟合，讲师建议使用正则化，其中添加惩罚项以最小化权重的大小。这也有助于防止奇点问题。
01:25:00 在本节中，讲师讨论了可用于逻辑回归和广义线性模型的基函数及其类型。讲师首先介绍多项式基函数，因为它们可以通过对 X 的所有幂达到一定程度来跨越多项式函数。讲师随后展示了非线性基函数的两个示例：高斯函数和 S 型函数。通过改变 mu 和 s 可以使用高斯基函数，其中 mu 表示凸块在 x 轴上的位置，s 表示凸块的宽度。 Sigmoid 函数是非线性函数，但不是概率分布，可以与应用于 X 减去 mu J 除以 s 作为基函数的 Sigma 帽一起使用。其他可用作基函数的非线性函数包括小波、正弦和余弦。
01:30:00 在讲座的这一部分，演讲者讨论了如何泛化线性模型以隐式执行非线性回归和分类。通过将输入变量 X 替换为新空间的输入 X 的 Phi，可以利用各种非线性函数。 Phi 函数可应用于原始输入 X 的不同部分，并可用于使用一组基函数（例如多项式或高斯函数）来捕获底层函数。本主题到此结束，它提供了对非线性逻辑回归和广义线性模型的基本理解。
00:40:00 在本节中，教师解释了用于处理通过阈值函数的单元的感知器学习算法。该算法应用一个非常简单的规则，如果网络的计算正确，则权重可以保持不变，但如果输出不正确，则必须通过简单地将输入 X 添加到权重或减去它来进行调整，取决于输出。目标是如果输出应该为正则增加输入和权重的线性组合，或者如果输出应该为负则减少输入和权重的线性组合，以便感知器计算出更接近正确答案的输出。关键是要利用垃圾保持函数在线性组合为正时返回 1，为负时返回 0 的事实。
00:45:00 在本节中，演讲者讨论了使用梯度下降来优化感知器算法的权重。损失函数被定义为错误分类错误，其中对于每个数据点 X 和 Y，当 YW 转置 X 的乘积为负时，它被认为是错误分类的。如果一个点属于 1 类，则该点应为正；如果它属于 -1 类，则该点应为负。将错误分类的点相加以获得可以最小化的目标。然后相对于目标计算梯度以在梯度的相反方向上采取步骤以进行优化。
00:05:00 在本节中，讲师回顾了线性模型，包括感知器及其阈值激活函数，以及 S 型激活函数。讲师解释说，线性模型可以扩展到非线性模型，以适应不是直线而是曲线的函数。为实现这一点，引入了非线性回归，它使用映射函数 X 的 Phi 将数据转移到新空间。讲师还介绍了多层神经网络，它为非线性回归提供自适应基函数，然后将它们与广义线性回归模型联系起来。最后，讲师讨论广义非线性分类。
00:20:00 在讲座的这一部分，教授解释了神经网络本质上是如何由多层和权重组成的数学函数。他们使用激活函数（例如 S 形函数或双曲正切函数）来添加非线性。这些激活函数可以作为下一层的基函数，可以用于非线性回归。通过在第一层使用非线性激活函数和在输出层使用恒等函数，神经网络可以表示为非线性基函数的线性组合。
00:50:00 在本节中，演讲者解释了如何计算神经网络中的增量和梯度，以及自动微分工具如何帮助有效地完成这项工作。它们提供了用于计算隐藏层和输出层的增量的方程式，并展示了如何使用这些方程式来计算梯度。演讲者强调，在处理不同的架构和函数时，自动微分工具可以节省手动计算梯度的时间和精力。本节最后以示例说明神经网络如何仅使用三个隐藏单元就可以逼近任意函数，例如 x 平方、x 的绝对值和 x 的正弦。
01:20:00 在这一节中，讲师讨论了梯度在稳定区域缺乏动量的问题，导致需要一种在方向相同的情况下增加步长的方法。这导致了一种称为 Adam 的启发式算法，它涉及对梯度本身进行加权移动平均并将其存储在 sT 中。在进行更新时，不是在动作和梯度中迈出一步，而是在移动平均线的动作中迈出一步。该技术是一种启发式技术，于 2015 年在 ICLR 上发表，与其前身的主要区别在于它附带了一些关于其属性的收敛性理论和证明。然而，当它发布时，一些证明存在问题，导致修改了更多的证明，以得出更有原则的东西。
01:25:00 在本节中，演讲者解释了在采取一些好的步骤和为每一步付出高昂代价之间的权衡，或者快速采取许多不是很好的小步骤，但总体上还是会结束接近最小值。他还讨论了不能很好扩展的优化技术，例如像牛顿技术这样的二阶优化技术。在实践中，尽管启发式方法缺乏好的理论，但它们往往效果很好。演讲者随后提供了 Adam 与 SGD Nesterov 等其他技术之间的实证比较，并表明 Adam 往往表现得相当好。
00:10:00 在本节中，讲师重点介绍核方法，其目的是计算新空间中点对之间的点积，并找到使计算这些点积的成本大大降低的方法，以便更好地缩放算法。因此，点积被重命名为核函数，如果我们可以确定每对点的这些核的输出，我们就不需要计算 X 的 Phi 定义的底层特征空间，这是定义核的关键可以快速评估并且不需要计算 X 的 Phi。以线性回归为例，讲师表明 W 实际上是数据点的线性组合，这些数据点是 X n 的系数乘以 Phi，并且将 W 替换为另一个表达式，Phi 乘以 A，其中 Phi 是新空间中所有点的矩阵。
00:35:00 在本节中，讲师解释说，要在不付出计算代价的情况下实现回归或分类模型的灵活性，需要高维，这可能是一个问题。为了避免这个问题，使用了内核，它指定了一个函数来告诉我们新空间中点对之间的点积。然后引入多项式内核作为普通内核，它将原始空间中的点积乘以 M 次方。讲师提供了一个二维空间中内核的具体示例，并将其扩展以演示相应的点积在3D空间。
00:40:00 在本节中，讲师解释了用于将输入空间隐式转换为高维空间的核方法，在该空间中类可以线性分离，即使它们不在原始空间中也是如此。该讲座解释了这种方法如何推广到任意高幂 M，在其中创建新特征，这些新特征本质上是 M 种可能特征的所有组合。然而，这将导致呈指数级增长的需求空间，这对于图像来说在计算上是不可能的。为了解决这个问题，可以向内核添加一个常量 C 以考虑所有度数高达 M 的特征。
00:55:00 在视频的这一部分中，讲师演示了使用各种规则来证明 XX 素数的 K，等于 e 减去 X 减去 X 素数除以 2 Sigma 平方，是一个有效的内核.讲师在使用规则 1、2、4 和 8 之前展开 X 减去 X 素数并将项分成不同的指数，以表明它是一个有效的内核。使用的规则包括用单位矩阵替换 a 并显示 X 转置 X 素数除以 Sigma 平方和 e 到 X 转置 X 素数除以 Sigma 平方是有效内核。
00:10:00 在本节中，讲师重点介绍核方法，其目的是计算新空间中点对之间的点积，并找到使计算这些点积的成本大大降低的方法，以便更好地缩放算法。因此，点积被重命名为核函数，如果我们可以确定每对点的这些核的输出，我们就不需要计算 X 的 Phi 定义的底层特征空间，这是定义核的关键可以快速评估并且不需要计算 X 的 Phi。以线性回归为例，讲师表明 W 实际上是数据点的线性组合，这些数据点是 X n 的系数乘以 Phi，并且将 W 替换为另一个表达式，Phi 乘以 A，其中 Phi 是新空间中所有点的矩阵。
00:35:00 在本节中，讲师解释说，要在不付出计算代价的情况下实现回归或分类模型的灵活性，需要高维，这可能是一个问题。为了避免这个问题，使用了内核，它指定了一个函数来告诉我们新空间中点对之间的点积。然后引入多项式内核作为普通内核，它将原始空间中的点积乘以 M 次方。讲师提供了一个二维空间中内核的具体示例，并将其扩展以演示相应的点积在3D空间。
00:40:00在本节中，讲师解释了用于将输入空间隐式转换为高维空间的核方法，在该空间中类可以线性分离，即使它们不在原始空间中也是如此。该讲座解释了这种方法如何推广到任意高幂 M，在其中创建新特征，这些新特征本质上是 M 种可能特征的所有组合。然而，这将导致呈指数级增长的需求空间，这对于图像来说在计算上是不可能的。为了解决这个问题，可以向内核添加一个常量 C 以考虑所有度数高达 M 的特征。
00:55:00在视频的这一部分中，讲师演示了使用各种规则来证明 XX 素数的 K，等于 e 减去 X 减去 X 素数除以 2 Sigma 平方，是一个有效的内核.讲师在使用规则 1、2、4 和 8 之前展开 X 减去 X 素数并将项分成不同的指数，以表明它是一个有效的内核。使用的规则包括用单位矩阵替换 a 并显示 X 转置 X 素数除以 Sigma 平方和 e 到 X 转置 X 素数除以 Sigma 平方是有效内核。
00:20:00 在本节中，讲师将标准感知器与支持向量机 (SVM) 进行对比。前者缺乏鲁棒性并且会很快过拟合，而后者使用独特的 max margin 线性分隔符并且不易过拟合。在所有数据点距离线性分隔符至少一个单位距离的约束下，SVM 通过凸二次优化来优化以最小化权重。虽然这种优化可能看起来很复杂，但实际上很容易通过许多可用的优化包进行计算。
00:25:00 在本节中，演讲者介绍了支持向量机的一个更方便的优化问题，其中点与点之间的距离固定为至少为 1，并且最小化 W 的尺度。演讲者演示了这个问题等价于前面的优化问题。这种新公式允许双重表示，其中新特征空间中的计算可以根据可以用核函数替换的点积来完成，类似于高斯过程所做的。
00:30:00 在本节中，演讲者解释了如何使用拉格朗日重写支持向量机的优化问题，从而产生无约束的等效问题。这个新目标包括每个违反约束的惩罚项，它取决于一个新变量 a，当发生违反时，该变量必须为正且大于零。通过设置此变量 a 以最大化拉格朗日量的最小值，新问题在数学上等同于具有约束的原始问题。这种技术有助于简化优化过程并提高效率。
00:35:00 在本节中，讲师讨论了惩罚项和约束在支持向量机优化问题中的使用。他们解释说，限制点之间距离的约束可以用惩罚项代替，惩罚项通过选择系数进行优化。然而，这个优化问题导致了一个不容易解决的最大问题。为了解决这个问题，讲师描述了如何以封闭形式计算内部最小化问题，得出一个解决方案，其中 W 是新特征空间中数据点的线性组合。不同于零的系数，即支持向量，决定了 W 的值。
00:05:00 在本节中，引入了软边界的概念，作为一种通过引入松弛变量允许错误分类的点和边界内的点的方法。优化问题中还加入了惩罚项，以规范松弛变量的使用，确保松弛变量惩罚最小化。这是由权重 C 控制的，它还控制误差最小化和模型复杂性之间的权衡。松弛变量的总和通常是错误分类数量的上限。权重 C 可以看作是调整误差最小化和模型复杂度之间的权衡的正则化系数，当 C 趋于无穷大时，恢复原始的硬间隔分类器。
00:10:00 在本节中，演讲者继续讨论支持向量机以及如何处理错误分类和异常值。软边距可以处理轻微的错误分类，但仍然对异常值敏感。支持向量将对应于具有相等性的主动约束，而如果距离已经大于 1，则具有不等式的约束将不活跃，这意味着所有松弛变量都将为零。演讲者还谈到了如何扩展支持向量机以处理多个类，过去曾考虑过三种方法，其中一种是“one against all”，其中每个支持向量机将区分一个类和所有其他类。
CS480/680 第 6 讲：EM 和混合模型（Guojun Zhang）
CS480/680 第 6 讲：EM 和混合模型（Guojun Zhang）
在 CS480/680 第 6 讲中，Guojun Zhang 教授讨论了无监督学习和聚类的基础知识，重点介绍了混合模型及其在聚类数据中的应用。讲座围绕期望最大化算法及其 Estep 和 Mstep 过程，以及作为优化方法的梯度下降展开。提议的潜在项目涉及研究 EM 和梯度下降在学习混合模型中的表现，最终目标是提出更好的算法来避免不良的局部最小值。项目需要注意数学背景。
CS480/680 第 6 讲：NLP 模型压缩（Ashutosh Adhikari）
CS480/680 第 6 讲：NLP 模型压缩（Ashutosh Adhikari）
在此视频中，演示者讨论了 NLP 模型压缩的概念，以及随着深度神经网络的数量和深度的增加，处理时间和内存需求的挑战。对模型压缩技术进行了分类，介绍了最古老的方法——参数剪枝和共享。演讲者进一步阐述了 NLP 中用于模型压缩的学生-教师系统的概念，以及如何使用目标函数将较大的模型压缩为较小的学生模型，同时保持准确性。最后，强调了在最近开发大规模 NLP 模型的工作背景下压缩模型的潜在重要性。
CS480/680 第七讲：高斯混合
CS480/680 第七讲：高斯混合
在这个关于高斯混合的讲座中，演讲者解释了如何通过为每个类构建先验分布来将模型用于分类，这使得能够使用贝叶斯定理构建概率模型来估计给定类的概率数据点。本讲座还涵盖了计算数据点属于某个类别的可能性的过程，以及如何使用它来确定类别预测。讲义探讨了 softmax 函数和 arc max 分布之间的关系，以及协方差矩阵如何确定高斯分布的形状和边界。最后，讲座详细介绍了最大似然学习的过程以及如何使用它来估计混合高斯模型的均值和协方差矩阵。
CS480/680 第 8 讲：逻辑回归和广义线性模型
CS480/680 第 8 讲：逻辑回归和广义线性模型
“CS480/680：逻辑回归和广义线性模型”讲座的第一部分介绍了指数分布族的概念及其与逻辑回归的关系，逻辑回归是一种用于分类问题的强大技术。讲座解释了逻辑回归旨在为给定数据集拟合最佳后验模型的逻辑函数，对于维度和权重较少的问题，牛顿法可用于寻找目标函数的最小值，该函数是凸函数功能。讲师还强调了逻辑回归在推荐系统和广告投放中的重要性，该技术的简单性和高效性使其非常适合根据用户特征和行为进行个性化推荐。
讲座还涵盖了逻辑回归和广义线性模型的主题。讲师讨论了牛顿法做逻辑回归的局限性，比如任意大的权重导致的过拟合问题，Hessian矩阵的奇异性问题。为了防止过度拟合，建议进行正则化。讲师介绍了可用于有效处理非线性分离器的广义线性模型 (GLM)。 GLM 涉及将输入映射到新空间，只要映射是非线性的，就可以在其中以非线性方式进行线性回归和分类。本讲座还介绍了可用于执行非线性回归和分类的基函数及其类型。
CS480/680 第 9 讲：感知器和单层神经网络
CS480/680 第 9 讲：感知器和单层神经网络
本讲座介绍神经网络，重点介绍基本类型感知器，它产生用于分类的线性分离器。本讲座探讨了如何使用权重来计算通过激活函数产生输出的输入的线性组合，以及如何使用不同的权重来近似逻辑门，例如 AND、OR 和 NOT 门。讲师讨论了前馈神经网络以及感知器学习算法如何用于二元分类以及梯度下降如何优化权重。讨论了使用线分隔数据的局限性，引入了 logistic sigmoid 激活函数作为可能的解决方案，重点介绍了如何使用 logistic sigmoid 激活函数训练权重。
这个关于感知器和单层神经网络的讲座涵盖了使用 logistic sigmoid 激活函数来最小化平方误差以及引入学习率作为顺序梯度下降中的关键参数。讲师还演示了如何使用保留垃圾的函数组合多层神经网络来任意接近地近似任何函数，以及如何使用反向传播来训练网络学习任意函数。讲师强调了神经网络的多功能性和高效性，并列举了神经网络在解决语音识别、计算机视觉、机器翻译和词嵌入等各种问题中的广泛应用。
CS480/680 第10讲：多层神经网络和反向传播
CS480/680 第10讲：多层神经网络和反向传播
这个关于多层神经网络和反向传播的讲座解释了线性模型的局限性以及对非线性模型（例如多层神经网络）的需求。讲师讨论了可用于神经网络的不同激活函数，以及它们如何支持非线性基函数。本讲座继续解释反向传播算法如何用于计算神经网络中每个权重的误差梯度。还讨论了自动微分工具作为一种有效计算神经网络中的增量和梯度的方法。总的来说，讲座强调了神经网络在逼近各种函数方面的灵活性和强大功能。
本视频中的讲师讨论了优化神经网络的问题，例如收敛速度慢、局部优化、非凸优化和过拟合。为了克服收敛速度慢的问题，可以使用正则化和丢弃等技术。此外，演讲者还解释了梯度下降优化的行为，强调了优化步长以提高其效率的必要性。提出了DES grant算法作为解决方案，它分别调整每个维度的学习率。演讲者还介绍了 RMSProp，它是先前梯度的加权移动平均值。最后，演讲者讨论了 Adam，它涉及对梯度本身进行加权移动平均，并表明它优于 SGD Nesterov 等其他技术。
CS480/680 第十一讲：内核方法
CS480/680 第十一讲：内核方法
在本讲座中，引入了核方法的概念，作为一种通过使用非线性函数将数据从一个空间映射到新空间来扩展广义线性模型的方法。对偶技巧或内核技巧被解释为一种无需支付额外成本即可在高维空间中工作的技术，从而导致使用内核函数计算新空间中点对的点积。讨论了构建内核的各种方法，包括多项式内核和高斯内核，它们可用于测量数据点之间的相似性并且在分类任务中很有用。还引入了编写内核的规则以构建可以控制其复杂性的新内核。讲座强调了选择与 Phi 转置 Phi 对应的函数的重要性，因为 gram 矩阵必须是半正定的并且具有大于或等于零的特征值。
在本次内核方法讲座中，演讲者将内核定义为半正定函数，可以将其分解为乘以其转置的矩阵。讨论了各种类型的内核，例如多项式和高斯内核，以及它们在比较不同类型的数据（例如字符串、集合和图形）时的应用。演讲者还解释了子串内核如何通过增加子串的长度和使用动态规划来快速计算单词之间的相似度。此外，支持向量机在使用来自路透社的新闻文章进行文档分类时被证明是有效的。
CS480/680 第十一讲：内核方法
CS480/680 第十一讲：内核方法
在本讲座中，引入了核方法的概念，作为一种通过使用非线性函数将数据从一个空间映射到新空间来扩展广义线性模型的方法。对偶技巧或内核技巧被解释为一种无需支付额外成本即可在高维空间中工作的技术，从而导致使用内核函数计算新空间中点对的点积。讨论了构建内核的各种方法，包括多项式内核和高斯内核，它们可用于测量数据点之间的相似性并且在分类任务中很有用。还引入了编写内核的规则以构建可以控制其复杂性的新内核。讲座强调了选择与 Phi 转置 Phi 对应的函数的重要性，因为 gram 矩阵必须是半正定的并且具有大于或等于零的特征值。
在本次内核方法讲座中，演讲者将内核定义为半正定函数，可以将其分解为乘以其转置的矩阵。讨论了各种类型的内核，例如多项式和高斯内核，以及它们在比较不同类型的数据（例如字符串、集合和图形）时的应用。演讲者还解释了子串内核如何通过增加子串的长度和使用动态规划来快速计算单词之间的相似度。此外，支持向量机在使用来自路透社的新闻文章进行文档分类时被证明是有效的。
CS480/680 第十三讲：支持向量机
CS480/680 第十三讲：支持向量机
本讲座介绍支持向量机 (SVM) 作为一种用于分类的核方法。 SVM 在数据量少的问题上仍然很受欢迎，并且被认为是稀疏的，因为它们可以处理数据的一个子集而忽略其余部分。演讲者解释了支持向量的概念，支持向量是最接近决策边界的数据点，以及 SVM 寻找线性分隔符来分隔类同时最大化边距的可视化示例。讨论了 SVM 和感知器之间的差异，SVM 使用独特的最大边际线性分隔符并且不太容易过度拟合。 SVM 的优化问题可以使用拉格朗日重写，从而产生一个没有约束的等效问题。从拉格朗日得到的解可以代回得到涉及核函数的表达式，从而导致对偶问题优化。还解释了使用计算数据点对之间相似性的核函数在对偶空间中工作的好处。 SVM 计算查询点和所有支持向量之间的相似度，以确定最相似的，讨论也围绕支持向量的数量及其如何影响点的分类展开。
该视频讨论了文本分类中支持向量机 (SVM) 的概念，其中文档表示为字数向量。 SVM 可以有效地减少最坏情况下的损失，使分类器适用于任何可能的样本，甚至适用于不同的数据集。研究人员使用具有双重表示和内核映射的 SVM 将数据映射到更高维空间，而不会损失准确性或牺牲可扩展性。本讲座还涵盖了使用支持向量机从数据集中检索相关文档以及平衡精度和召回率。该视频最后讨论了 SVM 为数据提供线性或非线性分离器的能力，以及与多类分类和非线性可分离数据相关的挑战。
CS480/680 第十四讲：支持向量机（续）
CS480/680 第十四讲：支持向量机（续）
本节课的重点是在使用支持向量机 (SVM) 时通过引入松弛变量和考虑软间隔来处理非线性可分数据和重叠类。演讲者解释了松弛变量如何允许在不引入分类错误的情况下对边界内的点进行分类。在优化问题中添加了一个惩罚项来调节松弛变量的使用，由权重 C 控制，从而调整误差最小化和模型复杂性之间的权衡。演讲者还讨论了将 SVM 用于多类分类问题的不同方法，包括一对多、成对比较和连续排序，后者是多类 SVM 的实际方法。此外，引入了多类边缘的概念，它涉及线性分隔符周围的缓冲区，由每对类的权重向量的差异定义。