00:05:00 在本节中，讨论了连续和离散情况下的卷积概念，其中输出 Y 是邻域中 X 的加权组合。当应用于图像时，这是一个二维函数，其中每个像素都是该函数在 x 和 y 方向上特定坐标处的测量值。应用于每个像素强度的权重可以产生新图像 Y。例如，可以使用简单的卷积来检测灰度图像中的垂直边缘。
00:10:00 在本节中，演讲者讨论了如何使用卷积来检测神经网络中的特征。卷积本质上是基于特定权重模式的单元子集的线性组合，这有助于检测可能对给定任务很重要的特征，例如边缘或其他模式。演讲者还解释说，权重模式决定了用于检测邻域特征的滤波器，而非线性激活函数会放大输出。 gab 或过滤器是一类流行的过滤器，对应于受人类视觉皮层工作方式启发的常见特征图。
00:05:00 在讲座的这一部分，演讲者介绍了隐马尔可夫模型作为高斯混合模型的推广。他解释说，隐马尔可夫模型利用顺序数据中的相关性来提高准确性，并用于表达 y 上的分布，该分布遵循给定 y 的条件概率分布 x。这与高斯混合不同，其中输入 x 的类条件分布是在 y 从多项分布中采样后表示的。演讲者还对该模型与条件随机场和递归神经网络进行了比较。
00:25:00 在本节中，演讲者解释了与隐马尔可夫模型 (HMM) 相关的任务可以分为四大类。这些类别包括监控、预测、消除歧义和最有可能的解释。对于监控任务，使用的算法称为前向算法。它涉及根据给定所有先前测量值的先前隐藏状态的概率对查询进行递归分解，这允许计算给定 X 的 Y 概率。该算法通过计算给定第一个隐藏状态的第一个隐藏状态来工作测量，然后计算下一个隐藏状态，给定测量到该时间步长，并通过及时向前继续增加序列。
00:45:00 在本节中，演讲者讨论了一项研究，其中使用带有传感器和摄像头的改良助行器来收集有关退休设施中老年人活动的数据。助行器有传感器，例如 3D 加速度计和负载传感器，可以测量助行器每条腿的重量，还有一个摄像头可以向后看腿。实验涉及让参与者通过模拟日常活动的障碍课程。收集到的数据被用来开发一个隐马尔可夫模型，该模型可以自动识别参与者执行的活动。该模型有八个传感器通道，并使用机器学习来估计初始过渡和排放分布的参数。
00:05:00 在本节中，演讲者讨论了递归神经网络如何连接不同的时间步长以及如何训练它们。为了训练 RNN，演讲者解释说梯度下降与一种称为随时间反向传播的技术一起使用，该技术涉及随时间展开网络并创建前馈神经网络。演讲者还指出，在每个时间步计算 H 的方式是通过使用相同的函数 f，这涉及权重共享。函数 f 从先前的 H 和当前的 X 中获取输入，并且用于它的权重在每个时间步都是相同的。
00:20:00 这节课教授详细讲解了attention机制的第一层。该层计算查询与内存中每个键之间的相似度。计算相似度的最常见方法是通过点积或通过除以维度的平方根来缩放点积。另一种方法是使用权重矩阵将查询投影到新空间，然后进行点积。这一步将允许神经网络学习映射 W 以更直接地比较查询和密钥之间的相似性。
00:25:00 在本节中，我们将讨论如何在使用 softmax 函数的全连接网络中计算注意力值。权重是使用表达式来计算的，该表达式将查询与各种键进行比较以获得相似性度量，并且这用于为每个键分配权重。然后使用与每个键关联的值的线性组合来计算注意力值。由矩阵 W 表示的权重由神经网络通过反向传播学习，优化 Q 到 W 跨越的空间的投影。得到的权重用于产生输出，每个输出词和隐藏向量一个权重与用作 VI 的每个输入词相关联。
00:05:00 在本节中，讲师解释了自动编码器与主成分分析 (PCA) 之间的联系。他指出，PCA 的典型用途是将数据投影到较低维的超平面，同时保留数据的变化。但是，他还解释说，当使用自动编码器（具有线性映射）来最小化欧氏距离时，它会产生与 PCA 相同的解决方案，从而使其成为降维的有用工具。讲师强调，自动编码器中的矩阵 WF 和 WG 本质上是彼此的逆矩阵（或伪逆矩阵），因为 WG x WF 产生 X。
00:10:00 在本节中，讲师解释了自动编码器的优点，即它们不像 PCA 那样将自己局限于线性映射。相反，自动编码器可以使用非线性函数来找到数据的隐藏表示，可以通过非线性流形将其投影到较低维空间。这种流形可以捕获数据的内在维度，这可以导致输入的无损压缩。然而，确定 H 的最佳维数需要特定的结构学习技术。
00:15:00 在本节中，视频介绍了深度自动编码器和稀疏表示。深度自动编码器在到达隐藏层之前有多个层，允许进行复杂的映射，而稀疏表示通过最小化 F 生成的向量中非零条目的数量，将结构强加到中间表示上。这可以通过非凸优化或通过使用 l1 正则化来最小化输出的 l1 范数。此外，该视频还提供了一个使用自动编码器通过输入损坏版本并尝试恢复原始 X 来进行降噪的示例。
00:25:00 在讲座的这一部分，演讲者解释了自动编码器的概率图形模型。输入 X 被视为随机变量，输出 X 代字号是输入的近似版本。 H 是表示隐藏层的另一个随机变量，箭头表示条件依赖性。权重由条件分布表示，解码器是条件分布。不同的激活函数用于产生不同类型的输出。演讲者还讨论了如何根据二进制和高斯向量在 H 上的分布来计算 X 上的分布。
00:35:00 在本节中，演讲者讨论了使用概率自动编码器生成新图像。演讲者解释了自动编码器如何通过将输入数据点映射到可以将附近的点解码为新图像的空间中的嵌入来生成新图像。然而，演讲者指出，为了生成真正的新图像，需要有一个允许对适当嵌入进行采样的分布。自动编码器中使用的分布以输入数据点 X 为条件，这会导致生成相似的图像。为了克服这个限制，下一组幻灯片将讨论直接使用 H 采样并生成新图像的机制。
00:15:00 在本节中，讲师讨论了计算编码器在 H 上的分布积分以及每个 H 在 X 上的分布的挑战。由于编码器和解码器很复杂，因此无法以封闭形式计算该积分神经网络。为了解决这个问题，讲师建议使用单个样本来近似积分并通过从编码器采样产生 H，然后通过解码器的分布来近似生成的分布。近似是在训练中进行的，讲师强调这与常规自动编码器不同，因为有一个采样步骤需要仔细考虑才能计算梯度。
00:20:00 在视频的这一部分，演讲者解释了在训练生成网络（如变分自动编码器）时使用的重新排序技巧。编码器和解码器网络架构涉及采样步骤，这使得优化期间的梯度计算变得困难。为了解决这个问题，引入了一个固定的高斯分布来启用新变量 H 代字号的采样，它与编码器的输出 H 相乘，以获得潜在变量的最佳均值和方差的分布。然后在解码器网络中使用转换后的 H 来生成重构的输出 X tilde。
00:05:00 演讲者讨论了生成模型的框架，包括生成对抗网络 (GAN) 和变分自动编码器 (VAE)，并介绍了规范化流作为替代方法。 GAN 和 VAE 都使用源分布和转换来生成合成示例或重建数据，但它们隐式而不是显式地表示密度函数。相反，归一化流给出了密度函数的明确表示，并根据概率质量守恒的原则工作。目标是学习将简单的源分布（例如高斯分布）转换为更复杂的目标分布以近似真实数据分布的转换。
00:10:00 Priyank Jaini 介绍了概率质量守恒的概念以及如何使用它来推导变量变化公式。他给出了区间 0-1 上随机变量的示例，并应用 Z 的函数 T，这导致概率密度为 1/3 的均匀随机变量。他解释说，变量变化公式用于根据源随机变量 Z 和函数 T 找到目标随机变量 X 的密度。他将公式扩展到多元情况，其中函数 T 是从 Rd 中学习的到 Rd，公式变为 QX = PZ 乘以 T 的梯度的行列式乘以倒数。
00:15:00 演讲者解释了规范化流的概念，它涉及学习将给定输入向量 X 映射到另一个向量 Z 的函数。该函数表示为 D，由单变量函数 T1 到 TD 组成，它接受 X 的分量并输出 Z 的分量。目标是使用简单的源密度 PZ 来近似输入数据集的密度 QX，并使用变量的变化最大化数据点的可能性公式。然而，某些问题出现了，包括函数 D 需要是可逆的和双射的。
00:45:00 讲师讨论了平方和 (SOS) 流的属性，它们是先前在计算机科学和优化中探索的多项式平方和的概括。与其他方法不同，SOS 流使用高阶多项式，可以控制目标分布的高阶矩，例如峰度和偏度，而对系数没有任何限制。 SOS 流更容易训练，可以捕获任何目标密度，使其具有通用性，并在随机模拟中得到应用。讲师还介绍了一种名为“Glow”的架构，它使用可逆单交叉卷积和仿射耦合层来生成可以将人脸插入旧版本的图像。
00:50:00 Priyank Jaini 解释了规范化流的架构以及它们如何用于图像生成。该算法通过使用具有多个表达式和随机旋转矩阵 W 的仿射耦合层来工作。它们通过使用 LU 分解固定矩阵的行列式。利用这一点，他们可以通过将输入图像转换为潜在表示，然后在潜在空间内向特定方向移动以获得预期结果，从而在老年人和年轻人的图像之间进行插值。结果表明生成的图像清晰，与先前假设使用对数似然生成的图像会模糊的假设相矛盾。
01:00:00 讲师讨论了在规范化流中捕获具有大量参数的高维转换的挑战。虽然 GAN 使用瓶颈来克服这个问题，但规范化流需要两个维度相同才能实现精确表示。讲师强调，归一化流实验中使用的数据集维度很高，这使得学习相关参数变得困难。讲师还回答了有关规范化流如何捕获多峰分布以及神经网络权重训练如何隐式训练网络参数的问题。
01:05:00 Priyank Jaini 解释说，他提供了大约一百行代码来实现线性仿射变换，这是他从 Eric Jack 的教程中学到的。他提到训练这些网络是一个简单的过程，并为感兴趣的人提供了代码。
本讲座涵盖机器学习中的梯度提升、装袋和决策森林。梯度提升涉及将基于损失函数负梯度的新预测变量添加到先前的预测变量中，从而提高回归任务的准确性。本讲座还探讨了如何使用正则化和提前停止训练过程来防止过度拟合和优化性能。此外，该讲座还介绍了 bagging，它涉及子采样和组合不同的基础学习器以获得最终预测。还讨论了使用决策树作为基础学习器和随机森林的创建，并给出了使用随机森林进行动作识别的 Microsoft Kinect 的真实示例。讨论了并行计算的集成方法的好处，并强调了理解机器学习系统中权重更新的重要性。本讲座涵盖了在神经网络或隐马尔可夫模型中组合预测变量时平均权重的潜在问题，建议通过多数表决或平均方法来组合预测。这位教授还推荐了滑铁卢大学提供的各种相关课程，优化和线性代数的几门研究生课程，以及专注于人工智能、机器学习、数据系统、统计和优化主题的本科数据科学课程。该讲座强调了算法方法与统计学重叠的重要性，以及与一般计算机科学学位相比数据科学主题的专业化。
CS480/680 第十五讲：深度神经网络
CS480/680 第十五讲：深度神经网络
该视频涵盖了深度学习的基础知识，包括深度神经网络的概念、梯度消失问题以及深度神经网络在图像识别任务中的演变。讲师解释了如何使用深度神经网络更简洁地表示函数，以及它们如何计算随着网络变得更深而变得越来越高级的特征。解决了梯度消失问题的解决方案，包括使用线性修正单元 (ReLU) 和批量归一化。本讲座还涵盖了最大输出单元及其作为允许多个线性部分的 ReLU 泛化的优势。
关于深度神经网络的讲座讨论了有效深度学习需要解决的两个问题：由于多层网络表现力导致的过度拟合问题以及训练复杂网络对高计算能力的要求。讲师在训练时提出了正则化和dropout等解决方案，在计算时提出了并行计算。该讲座还详细介绍了如何在测试期间通过缩放输入和隐藏单元的大小来使用丢失。最后，讲座以深度神经网络在语音识别、图像识别和机器翻译中的一些突破性应用作为总结。
CS480/680第16讲：卷积神经网络
CS480/680第16讲：卷积神经网络
该视频介绍了卷积神经网络 (CNN)，并解释了它们作为具有关键属性的特定类型神经网络在图像处理中的重要性。讲师讨论了如何将卷积用于图像处理，例如边缘检测，以及 CNN 如何以类似的方式检测特征。解释了卷积层的概念及其参数，以及使用具有共享权重的反向传播和梯度下降训练 CNN 的过程。讲师还提供了创建有效 CNN 架构的设计原则，例如在每次卷积后使用更小的滤波器和非线性激活。
在本次关于卷积神经网络 (CNN) 的讲座中，演讲者讨论了残差连接的概念，以解决深度神经网络面临的梯度消失问题。这些跳过连接允许缩短网络路径并忽略无用的层，同时在需要时仍然能够使用它们以避免产生接近于零的输出。还引入了批量归一化技术的使用，以减轻梯度消失的问题。此外，演讲者指出，CNN 可以应用于序列数据和二维以上的张量，例如视频序列，并且 3D CNN 也有可能用于某些应用。 TensorFlow 框架被强调为专为使用多维数组进行计算而设计。
CS480/680 第十七讲：隐马尔可夫模型
CS480/680 第十七讲：隐马尔可夫模型
本讲座介绍了隐马尔可夫模型 (HMM)，这是一种概率图形模型，用于利用序列数据中的相关性来提高准确性。模型假设涉及平稳过程和马尔可夫过程，其中隐藏状态仅取决于先前状态。 HMM 中的三种分布是初始状态分布、过渡分布和排放分布，根据数据类型使用后一种分布。该算法可用于监控、预测、过滤、平滑和最可能的解释任务。 HMM 已被用于语音识别和机器学习，例如根据一系列输入和隐藏状态预测最可能的输出序列，供老年人使用步行器设备进行稳定性相关。进行了一项涉及在助行器上修改传感器和摄像头的实验，以根据收集的退休设施中老年人的活动数据自动识别老年人的活动。还讨论了活动识别背景下监督和无监督学习的演示。
本讲座重点介绍高斯发射分布在隐马尔可夫模型 (HMM) 中的使用，该模型通常用于收集的数据是连续的实际应用中。讲师解释说，这种方法涉及计算与数据的经验均值和方差相对应的均值和方差参数，并使用它们计算初始分布和过渡分布的解。过渡分布对应于相对频率计数，并使用最大似然来获得解决方案。这种方法类似于高斯混合的解决方案，其中还使用了初始分布和发射分布。
CS480/680第18讲：递归和递归神经网络
CS480/680第18讲：递归和递归神经网络
在本讲座中，演讲者介绍了循环和递归神经网络作为适用于没有固定长度的顺序数据的模型。由于某些节点将输出反馈为输入，循环神经网络可以处理任何长度的序列，并且每个时间步的 H 的计算方式是通过使用相同的函数 f，这涉及权重共享。然而，它们可能会受到一些限制，例如不记得早期输入的信息和预测漂移。讲师还解释了双向循环神经网络 (BRNN) 架构和编码器-解码器模型，该模型利用两个 RNN（一个编码器和一个解码器），适用于输入和输出序列不自然匹配的应用。此外，讲师描述了长短期记忆 (LSTM) 单元的好处，它可以缓解梯度消失问题，促进长程依赖性，并有选择地允许或阻止信息流。
本次关于递归和递归神经网络的讲座涵盖了一系列主题，包括使用长短期记忆 (LSTM) 和门控递归单元 (GRU) 单元来防止梯度问题，以及注意机制在机器翻译中的重要性用于保留句子含义和单词对齐。讲师还讨论了如何将递归神经网络泛化为序列、图形和树的递归神经网络，以及如何使用解析树解析句子和生成句子嵌入。
正在做。隐藏状态是使用一个函数计算的，该函数采用先前的隐藏状态和输入，而输出是使用另一个将隐藏状态作为输入的函数获得的。最终，目标是使用此计算来计算概率或识别活动。
CS480/680第19讲：注意力和变压器网络
CS480/680第19讲：注意力和变压器网络
在本讲座中，介绍了神经网络中注意力的概念，并讨论了它在 Transformer 网络发展中的作用。注意力最初是在计算机视觉中研究的，它允许识别关键区域，类似于人类自然地关注特定区域的方式。将注意力应用于机器翻译导致了变压器网络的创建，它仅使用注意力机制并产生与传统神经网络一样好的结果。 Transformer 网络比递归神经网络具有优势，可以解决与远程依赖、梯度消失和爆炸以及并行计算相关的问题。本讲座探讨了变压器网络中的多头注意力，确保每个输出位置都关注输入。讨论了 transformer 网络中掩码、归一化层和 Donora 层的使用，并探讨了使用注意力作为构建块的概念。
在本次关于注意力和转换器网络的讲座中，演讲者解释了归一化对于不同层中梯度解耦的重要性，以及位置嵌入对于保留句子中词序的重要性。演讲者将 transformer 网络的复杂性估计与递归和卷积神经网络进行了比较，强调了 transformer 网络捕获远程依赖和同时处理单词的能力。还讨论了 transformer 网络在提高可扩展性和减少竞争方面的优势，以及 GPT、BERT 和 XLNet 等 transformer 网络的引入，这些网络在准确性和速度方面表现出令人印象深刻的性能，引发了对递归神经网络未来的质疑。
CS480/680 第 20 讲：自动编码器
CS480/680 第 20 讲：自动编码器
自动编码器是指与编码器-解码器密切相关的一系列网络，不同之处在于自动编码器采用输入并产生相同的输出。它们对于压缩、去噪、获得稀疏表示和数据生成很重要。线性自动编码器通过将高维向量映射到较小的表示来实现压缩，同时确保没有信息丢失，并使用权重矩阵来计算从输入到压缩表示并返回的线性变换。此外，深度自动编码器允许进行复杂的映射，而概率自动编码器在中间表示和输入上生成条件分布，可用于数据生成。自动编码器对非线性函数的使用利用了非线性流形，即在低维空间上的投影，捕获数据的内在维度，从而实现输入的无损压缩。
CS480/680 第 21 讲：生成网络（变分自动编码器和 GAN）
CS480/680 第 21 讲：生成网络（变分自动编码器和 GAN）
本讲座重点介绍生成网络，它允许通过变分自动编码器 (VAE) 和生成对抗网络 (GAN) 等网络生成数据作为输出。 VAE 使用编码器将数据从原始空间映射到新空间，然后使用解码器恢复原始空间。讲师解释了 VAE 背后的概念以及计算训练所需分布积分的挑战。 GAN 由两个网络组成 - 一个生成器和一个鉴别器 - 其中生成器网络创建新的数据点，而鉴别器网络试图区分生成的和真实的数据点。讨论了 GAN 实施中的挑战，包括确保网络优势与实现全球融合之间的平衡。讲座以生成的图像示例和下一课的预览结束。
CS480/680 第22讲：集成学习（bagging和boosting）
CS480/680 第22讲：集成学习（bagging和boosting）
该讲座讨论了集成学习，其中多种算法相结合以提高学习效果。审查的两种主要技术是 bagging 和 boosting，演讲者强调了结合假设以获得更丰富的假设的重要性。该讲座详细介绍了加权多数投票的过程及其出错概率，以及提升如何提高分类准确性。演讲者还介绍了提升学习和集成学习的优势，并指出了集成学习对许多类型问题的适用性。最后，该视频以 Netflix 挑战赛为例，展示了集成学习在数据科学竞赛中的应用。
在这个关于集成学习的讲座中，演讲者强调了结合来自不同模型的假设以获得准确性提升的价值，这种方法在从已经相当好的解决方案开始时特别有用。他讨论了对预测进行加权组合的重要性，并指出必须小心，因为两个假设的平均值有时可能比单独的假设更糟糕。演讲者还解释说，可能需要对权重进行归一化，具体取决于任务是分类还是回归。
CS480/680 第 23 讲：标准化流程（Priyank Jaini）
CS480/680 第 23 讲：标准化流程（Priyank Jaini）
在本次讲座中，Priyank Jaini 讨论了规范化流作为密度估计的一种方法，并介绍了它们与其他生成模型（例如 GAN 和 VAE）的区别。 Jaini 解释了概率质量守恒的概念，以及如何使用它来推导标准化流中变量公式的变化。他进一步解释了通过使用变换族和置换矩阵的概念在规范化流中构建三角形结构的过程。 Jaini 还引入了平方和 (SOS) 流的概念，它使用高阶多项式并且可以捕获任何目标密度，使其具有通用性。最后，Jaini 讨论了潜在空间及其在基于流的图像生成方法中的优势，并要求听众反思基于流的模型的潜在缺点。
在 Priyank Jaini 的规范化流讲座中，他讨论了捕获具有大量参数的高维转换的挑战。规范化流需要两个维度相同才能实现精确表示，这与 GAN 使用瓶颈来克服此类问题不同。 Jaini 强调，在规范化流实验中使用高维数据集学习相关参数可能很困难。他还解决了有关规范化流如何捕获多峰分布的问题，并提供了用于实现线性仿射变换的代码。
CS480/680 第 24 讲：梯度提升、装袋、决策森林
CS480/680 第 24 讲：梯度提升、装袋、决策森林
本讲座涵盖机器学习中的梯度提升、装袋和决策森林。梯度提升涉及将基于损失函数负梯度的新预测变量添加到先前的预测变量中，从而提高回归任务的准确性。本讲座还探讨了如何使用正则化和提前停止训练过程来防止过度拟合和优化性能。此外，该讲座还介绍了 bagging，它涉及子采样和组合不同的基础学习器以获得最终预测。还讨论了使用决策树作为基础学习器和随机森林的创建，并给出了使用随机森林进行动作识别的 Microsoft Kinect 的真实示例。讨论了并行计算的集成方法的好处，并强调了理解机器学习系统中权重更新的重要性。本讲座涵盖了在神经网络或隐马尔可夫模型中组合预测变量时平均权重的潜在问题，建议通过多数表决或平均方法来组合预测。这位教授还推荐了滑铁卢大学提供的各种相关课程，优化和线性代数的几门研究生课程，以及专注于人工智能、机器学习、数据系统、统计和优化主题的本科数据科学课程。该讲座强调了算法方法与统计学重叠的重要性，以及与一般计算机科学学位相比数据科学主题的专业化。