该视频涵盖了神经网络的各个方面，包括它们的表示、输入和输出的混淆、S 形函数和性能函数、权重和偏差、反向传播、改变 S 形函数和性能函数、阈值权重、可视化以及神经网络的潜力。讲师解释了测验所需的各种公式以及如何递归计算和调整增量。他还讨论了解决简单问题所需的神经网络类型，并提到了神经网络最近在马里兰大学的游戏竞赛中的实际应用。最后，他提到虽然神经网络由于其研究的局限性和复杂性而失宠，但它们对于测验仍然有用。
00:00:00 在本节中，Patrick 介绍了一种为 603 中的问题绘制神经网络的新方法。他展示了同一神经网络的两种不同表示形式，并解释了为什么右边的表示更可取。他还讨论了学生在使用神经网络时经常遇到的一些问题，例如输入和输出的混淆以及隐含的权重乘法。 Patrick 为使用旧测验的学生提供转换指南，并完成测验所需的公式。最后，他提到了将 sigmoid 函数更改为其他函数的可能性，并建议学生在这种情况下将其更改为 plus。
00:20:00 在本节中，讲师讨论改变 S 型函数和性能函数如何影响神经网络中使用的方程。他解释说，如果 sigmoid 函数发生变化，唯一改变的是 Delta F 方程，它被 sigmoid 函数的新导数所取代。同样，如果更换了性能函数，只需调整 Delta F 方程即可。然后，讲师继续解释神经网络中阈值权重和常规权重之间的差异，以及它们如何影响网络的整体功能。
00:25:00 在本节中，演讲者讨论了如何可视化神经网络以及拥有对您有意义的表示对于有效解决问题的重要性。他解释了加法器节点是如何工作的，并且它的导数只是一个。他提供了 Delta F 和 Delta a 的公式，并解释了 B 部分的过程，其中涉及计算神经网络的输出并执行一步反向传播以找到新的权重。他要求学生们提出问题来澄清他们的疑虑，因为他无法要求每个人都检查他们是否在跟进。
00:40:00 在本节中，演讲者讨论了创建 X 或神经网络的挑战性，因为很难区分单个节点中必须为高电平的两个输入。然而，有很多可能性，演讲者建议使用节点 3 和节点 4 给出值，使用节点 5 提供导致异或的阈值组合。演讲者还解释说，像 B 那样配对两条横线是不可能的，但因为 D 必须画一条横线和一条竖线，所以他们必须使用 B 来创建两条横线。
该视频介绍了支持向量机 (SVM)，它通过查找与任何其他数据点不同的支持向量来确定数据中的分界线或决策边界。它还包括使用内核函数，使内核能够在不直接操作向量的情况下计算点积。教授阐明了找到为最宽道路提供最佳 W 的 Alpha 的目标，以及 W 如何成为 SVM 的决策边界。学生询问SVM背后的直觉，基于Alphas的优化为更好的数据分类开辟了最广阔的道路。 SVM Kernel 还有助于优化流程，使其更加高效。
00:00:00 在本节中，演讲者介绍了支持向量机 (SVM)，并指出它们是本课程中最难学的东西之一。不过，他解释说，现在有一些捷径可以帮助解决一些问题，而不必处理大量复杂的方程组。手头的问题需要圈出支持向量，画出街道的边缘，画出中间的虚线并给出 W 和 B。演讲者随后解释了 SVM 中的重要方程以及如何使用两个系数找到虚线和一个线性方程，其中 W1 和 W2 是两个系数，X1 和 X2 是矢量 X 的两个分量。
00:05:00 在本节中，视频讨论了笛卡尔坐标中的直线方程，以及它与支持向量机中的方程 W 点 X 加 B 等于 0 的关系。该视频解释说，alpha 用于确定每个点对创建边界的重要性，并且正 alpha 等于负 alpha。该视频还提供了求解 W 和 B 时使用的方程式，并提到支持向量对于确定解决方案很重要。演示者澄清支持向量是边界线上的向量，目标是将它们圈起来。
00:15:00 在本节中，演讲者解释了如何在支持向量机中找到 W 和 B。演讲者没有使用将点代入方程的旧方法，而是通过将方程转换为 y = mx + b 的形式引入了一种廉价策略。通过设置 y = x - 1，演讲者展示了如何使用它来找到新方程 y = -w1/w2 - b/w2。使用这种形式，演讲者表明存在无限多个可能的方程，并且 w1/w2 是 -1 的某个标量倍数，而 B/w2 是 1 的某个标量倍数。
00:25:00 在本节中，演讲者继续介绍支持向量机示例。发言人指出，在第二个示例中，添加了一个额外的减号。他们继续解释如何在给定这个新的负号的情况下确定支持向量。显示了确定距离的计算，发现 W 的大小是 3 的根 2。演讲者指出，由于添加了新点，此示例中的 alpha 需要更长的时间来计算，但最终答案已实现.
00:30:00 本节重点介绍在一维向量上使用支持向量机，这使得线性基线不适用于数据的分类。为了解决这个问题，使用核函数将数据带入一个新的维度。该函数通常称为 Phi，当应用于向量 X 时，它会将其带入这个新维度。在这个新的维度中，可以画一条直线来对数据进行分类。 SVM 的发明者意识到没有必要使用函数 Phi，即使它是一个可怕的怪物，因为内核可以用于计算新维度中两个向量之间的点积，而无需显式计算 Phi。
00:35:00 在本节中，演讲者解释了如何使用核函数求出规则空间中两个向量的点积，从而无需直接使用向量本身。通过将向量 X 和 Z 放入内核，生成的函数将返回 X 的 Phi 与 Z 的 Phi 点在一起，它取代了两个向量的点积。讲者举了一个核函数的例子，并要求听众找到对应的Phi函数来解决问题。演讲者还指出，虽然计算 SVM 的 alpha 可能很复杂，但使用核函数是一种有用的捷径，可以消除直接向量操作的需要。
00:15:00 在视频的这一部分，演讲者讨论了吸血鬼的分类以及哪些分类器可能不正确。演讲者指出，某些正分类器不可避免地会导致错误的负分类器。然后演讲者列出了几个分类器，并声称在他们最疯狂的梦想中，个人只会使用其中的六个。演讲者要求观众就他们认为有用的分类器提供意见，并圈出认为值得使用的分类器。被认为有用的分类器是那些只会出错的分类器，例如分类器 E 和 F。
00:20:00 在本节中，演讲者解释了在 Mega-R6 中选择正确的六个数据点进行提升的过程。一个关键点是，虽然有许多不同的数据点可供选择，但其中一些确实优于其他数据点。例如，数据点 F 总是比 E 差，因此永远不应该选择它。演讲者还指出，在选择六个数据点时，重要的是选择不具有相同错误答案的严格子集的数据点。选择六个数据点的过程需要仔细考虑每个数据点的权重，以尽量减少错误。
00:25:00 在视频的这一部分，演示者讨论了增强过程以及如何为任务选择最佳分类器。他解释了如何剔除任何无用的分类器以及如何选择能够最大限度地减少错误的分类器。然后演示者继续演示增强过程，首先对所有十个数据点进行平均加权，然后选择分类器 E 作为最佳分类器。然后计算误差为五分之一，然后该过程从那里继续。
00:10:00 在本节中，演讲者介绍了 AlphaGo Zero 的开发，它在没有任何先前人类数据的情况下学习如何玩围棋游戏，而不是从完全随机的游戏开始，只使用游戏规则。 AlphaGo Zero 与原始 AlphaGo 的不同之处在于它不使用手工制作的功能，统一了策略网络和价值网络，使用更简单的搜索而没有随机的 Monte Carlo rollouts，并且具有更简单的方法来降低复杂性，从而导致更大的通用性，可能适用于任何域。 AlphaGo Zero 的算法涉及使用当前神经网络对每个位置执行蒙特卡洛树搜索并执行建议的移动，然后从完成游戏中到达的这些位置训练新的神经网络。
00:15:00 在本节中，演讲者解释了 AlphaGo 零算法的过程，该过程涉及训练神经网络直接预测整个蒙特卡洛树搜索 (MCTS) 选择的动作以提炼所有知识进入其直接行为，并训练一个新的价值网络来预测游戏的获胜者。迭代该过程以每次生成更强大的玩家并生成更高质量的数据，从而导致越来越强的比赛。 AlphaGo Zero 通过将其搜索纳入政策评估来使用基于搜索的政策改进，从而为神经网络提供高质量的结果和精确的训练信号。学习曲线显示，AlphaGo Zero 在短短 72 小时内超越了之前的版本，并在 21 天后以 60 分的优势击败了人类棋手。
00:40:00 在本节中，演讲者解释说，虽然他们只是将游戏规则作为人类知识嵌入到 AlphaGo Zero 中，但这包括基本的动作编码和解码。例如，在国际象棋中，他们使用空间表示来编码被拾起的棋子和被用来放下棋子的平面。他们确实从行动空间中排除了非法行动。演讲者进一步解释说，他们在实验中没有包括错误栏，因为他们每场比赛只进行一次。然而，他们进行了多次实验，结果的可重复性很高。
该视频探索了 AlphaGo Zero 的技术细节，这是一个完全通过自我对弈训练的人工智能系统，没有使用人类数据集。该系统使用残差网络架构和两种研究方法来预测价值和强势动作。该视频重点介绍了所做的改进，包括预测游戏结果的能力以及系统发现和移动远离围棋中众所周知的着法的能力。然而，该系统的实际应用受到完美模拟器需求的限制，使得该方法难以应用于其他领域。
00:00:00 在本节中，讨论了 AlphaGo Zero 相对于先前版本的改进的技术细节。第一个重大变化是 AlphaGo Zero 完全通过自我对弈进行训练，不使用人类职业围棋选手的数据集。它还不使用任何以前为游戏手工制作的功能，而是完全通过观察棋盘状态来学习。网络架构被更改为完全剩余的架构，而不是有一个单独的策略和评估网络，它们现在被组合成一个单一的大型网络，同时完成这两项工作。蒙特卡洛的推出被更简单的两项研究方法所取代，该方法使用单一网络进行价值预测并提出强有力的举措。总体而言，这导致了 19 x 19 x 16 二进制数的棋盘表示、残差网络以及从特征向量生成的值表示和策略向量。
00:50:00 在本节中，YouTuber 正在编写一个方法来检查玩家在移动后是否获胜。他们首先获取移动的行和列，然后确定执行该移动的玩家。然后，他们使用 np.sum 和 np.diac 方法检查所有可能赢得井字游戏的方法，即一行三个、一列三个和两条对角线。此外，他们通过计算有效移动的总和并检查它是否为零来检查平局。最后，他们创建了一个名为 get value 的新方法并终止它，如果游戏结束则返回 value 和 true。
00:55:00 在这一节中，作者编写了一个井字游戏和一个改变玩家的对手方法。他们通过执行游戏并使用 while 循环来测试游戏。在循环中，打印状态和有效移动，并提示用户输入他们的移动。游戏检查动作是否有效以及游戏是否已终止。如果游戏继续，则玩家被翻转。如果该值等于 1，则玩家获胜，如果平局，则打印出来。
01:35:00 在本节中，讨论了 AlphaZero 算法的神经网络架构。作为神经网络输入的状态是一个棋盘位置，该棋盘位置被编码为三个不同的平面，分别为正面玩家、负面玩家和空白区域。这种编码允许识别模式和理解如何玩游戏。使用的神经网络架构是一个带有跳跃连接的残差网络，用于存储初始 X 值，并将输出作为卷积块输出与初始 X 值之和。该模型分为两部分，策略头和价值头，对于井字棋的情况，策略头中有九个神经元，每个潜在动作对应一个神经元。
03:55:00 在本节中，演讲者讨论了使用并行化 fs0 实现来训练 Connect Four 的模型。该模型经过八次迭代训练，并使用 Connect Four 板评估结果。演讲者指出，与实践中使用的其他搜索算法相比，搜索次数很少，但结果令人满意。他们与模型对弈并做出一些动作，模型会做出相应的反应。总的来说，训练花了几个小时，但最终模型对如何玩游戏有很好的理解。
00:40:00 在本节中，Sutskever 和 Huang 讨论了不同数据源在 AI 学习中的重要性，包括视觉和音频。他们谈到了多模态的概念，以及如何结合不同的数据源对了解世界和视觉交流非常有帮助。 Sutskever 还提到了一篇论文，该论文表明世界最终将耗尽用于训练的代币，以及人工智能如何生成自己的数据可能是解决该问题的可能方法。
00:45:00 在本节中，演讲者讨论了合成数据生成在 AI 训练和自学中的作用。虽然现有数据的可用性不可低估，但人工智能生成自己的数据用于学习和解决问题的可能性是未来的可能性。在不久的将来，重点将放在提高人工智能系统的可靠性上，以便它们可以在重要决策制定中得到信任。 AI 模型（例如 GPT-4）在可靠地解决数学问题和制作创意内容方面的潜力令人兴奋，但仍有许多工作要做，以提高它们在理解和响应用户意图方面的准确性和清晰度。
00:50:00 在本节中，Jensen Huang 和 Ilya Sutskever 讨论了当今人工智能中神经网络的惊人成功。尽管与 20 年前的神经网络概念相同，但由于使用相同的基本训练算法以不同的方式在更大的数据集上进行训练，它变得更加严肃和激烈。 Sutskever 在 Open AI 上关于 Alexnet 和 GPT 的开创性工作是非凡的成就，Huang 很钦佩他分解问题和描述大型语言模型的艺术状态的能力。两人追赶，惊叹人工智能领域取得的进步。
巨型R4。神经网络
巨型R4。神经网络
该视频涵盖了神经网络的各个方面，包括它们的表示、输入和输出的混淆、S 形函数和性能函数、权重和偏差、反向传播、改变 S 形函数和性能函数、阈值权重、可视化以及神经网络的潜力。讲师解释了测验所需的各种公式以及如何递归计算和调整增量。他还讨论了解决简单问题所需的神经网络类型，并提到了神经网络最近在马里兰大学的游戏竞赛中的实际应用。最后，他提到虽然神经网络由于其研究的局限性和复杂性而失宠，但它们对于测验仍然有用。
巨型R5。支持向量机
巨型R5。支持向量机
该视频介绍了支持向量机 (SVM)，它通过查找与任何其他数据点不同的支持向量来确定数据中的分界线或决策边界。它还包括使用内核函数，使内核能够在不直接操作向量的情况下计算点积。教授阐明了找到为最宽道路提供最佳 W 的 Alpha 的目标，以及 W 如何成为 SVM 的决策边界。学生询问SVM背后的直觉，基于Alphas的优化为更好的数据分类开辟了最广阔的道路。 SVM Kernel 还有助于优化流程，使其更加高效。
巨型R6。升压
巨型R6。升压
在视频“Mega-R6. Boosting”中，演讲者解释了机器学习中 boosting 的概念，并演示了选择正确的分类器以最大限度地减少错误的过程。他们举了一个根据某些品质识别吸血鬼的例子，并讨论了如何选择最有效的分类器。所选分类器用于创建应用于数据点的最终分类器，以确定有多少分类正确。演讲者还强调选择何时停止该过程很重要，并承认实现完全准确可能并不总是可行的。
巨型R7。有惊无险，Arch Learning
巨型R7。有惊无险，Arch Learning
在视频中，介绍了近乎失败学习的概念，涉及学习不同类型的光源及其特性。 Arch Learning 方法使用六种启发式方法来改进模型，包括要求链接、禁止链接、爬树、扩展集、闭区间和丢弃链接。该视频讨论了机器学习中使用的各种技术，例如扩展集、爬树、闭区间和丢弃链接。演讲者还讨论了与 Arch Learning 模型的脆弱性和排序脆弱性相关的问题，导致对矛盾信息的反应不一致。该视频还讨论了 Mega-R7 的泛化概念以及它与之前模型的不同之处。此外，还讨论了 Irish learning 和 lattice learning 在表达信息子集的能力方面的权衡，以及使用具有不同实现细节的多个模型来教授系统。
AlphaGo - 电影 |完整的获奖纪录片
AlphaGo - 电影 |完整的获奖纪录片
一部关于 AlphaGo 计算机程序开发的纪录片，该程序旨在在围棋比赛中击败人类棋手。影片讲述了该程序在五场比赛中战胜世界冠军人类选手的故事。一些观众认为，随着机器越来越擅长执行认知任务，AlphaGo 的胜利可能预示着我们所知道的人类的终结。
DeepMind AlphaZero - 在没有人类知识的情况下掌握游戏
DeepMind AlphaZero - 在没有人类知识的情况下掌握游戏
该视频探讨了 DeepMind 的深度强化学习架构 AlphaZero 的开发，它利用统一的策略和价值网络在没有任何先验人类数据的情况下在具有巨大状态空间的游戏中取得成功。 AlphaZero 的算法涉及训练神经网络来预测整个蒙特卡罗树搜索选择的动作，迭代地提炼知识以随着时间的推移产生更强大的玩家。该算法显示出令人印象深刻的学习曲线，在短短几个小时的训练中就优于以前的版本，并且尽管评估的位置比以前的搜索引擎少，但仍显示出显着的可扩展性。该视频还讨论了 AlphaZero 结合最佳人机方法的能力，同时展示了通用强化学习的潜力。
AlphaGo - 人工智能如何掌握史上最难棋盘游戏
AlphaGo - 人工智能如何掌握史上最难棋盘游戏
该视频探索了 AlphaGo Zero 的技术细节，这是一个完全通过自我对弈训练的人工智能系统，没有使用人类数据集。该系统使用残差网络架构和两种研究方法来预测价值和强势动作。该视频重点介绍了所做的改进，包括预测游戏结果的能力以及系统发现和移动远离围棋中众所周知的着法的能力。然而，该系统的实际应用受到完美模拟器需求的限制，使得该方法难以应用于其他领域。
AlphaZero 从零开始——机器学习教程
AlphaZero 从零开始——机器学习教程
00:00:00 - 01:00:00 “AlphaZero from Scratch – 机器学习教程”视频教用户如何使用 Python 和 PyTorch 构建和训练 AlphaZero 算法，以超人的水平玩复杂的棋盘游戏，并为 Tic 提供了示例-tac-toe 和 Connect 4. 该算法的关键组成部分之一是蒙特卡洛树搜索，它涉及选择最有希望的动作、扩展树和模拟游戏，并将结果反向传播以进行训练。教程演示了蒙特卡洛研究算法过程中节点的扩展，自我博弈的过程，以及如何使用损失函数训练模型，使策略与 MCTS 分布、价值与最终奖励之间的差异最小化。视频最后创建了一个井字游戏并通过 while 循环对其进行了测试。
01:00:00 - 02:00:00 在关于从头构建 AlphaZero 的教程的这一部分，讲师演示了井字游戏的蒙特卡洛树搜索 (MCTS) 算法的实现。该算法是通过一个新的 MCTS 类实现的，该类包括一个搜索方法，该方法定义了用于选择、扩展、模拟和反向传播阶段的重复迭代循环。该视频还介绍了 AlphaZero 神经网络架构的实现，它包括两个头，一个用于策略，一个用于值，并使用带有跳跃连接的残差网络。 policy head 使用 softmax 函数来指示最有希望的动作，而 value head 给出当前状态的估计。演讲者还讨论了 ResNet 类的起始块和主干的实现，并解释了如何使用 AlphaZero 模型为 Tic-Tac-Toe 中的给定状态获取策略和值。
02:00:00 - 03:00:00 “AlphaZero from Scratch”教程演示了通过机器学习构建 AlphaZero 算法。演讲者涵盖了广泛的主题，从更新 MCTS 算法、自我对弈和训练方法，到改进，例如在模型中为概率分布、权重衰减和 GPU 支持添加温度，以及为根节点添加噪声。本教程通过展示如何对节点状态进行编码、获取策略和值输出以及使用 softmax、有效移动和 Dirichlet 随机噪声调整策略以增加探索，同时确保有希望的行动不容错过。
03:00:00 - 04:05:00 在这个关于使用机器学习从头开始创建 AlphaZero 的 YouTube 教程中，讲师涵盖了各种主题，例如向具有噪声因子的策略添加探索，结合 CPU 和 GPU 对训练模型的支持更复杂的游戏，更新源代码以创建 Connect Four 游戏，通过并行化提高 AlphaZero 实施的效率，在 Python 中为自玩游戏创建两个新类，编码状态以提高效率，实施蒙特卡洛树搜索算法用于 AlphaZero，并使用并行化的 fs0 训练 Connect Four 模型。本教程针对每个主题提供分步指导，重点是创建高效且有效的 AlphaZero 实施。演示者演示了如何使用 Kegel 环境包创建 Connect Four 环境，然后与两个使用基于经过训练的 AlphaZero 模型的 MCTS 搜索算法的代理一起运行和可视化游戏。演示者还对代码进行了微小的更正，并将玩家一定义为使用 MCTS 算法根据训练模型进行预测的代理。教程结束时，演示者提供了一个 GitHub 存储库，其中包含每个检查点的 jupyter 笔记本，以及一个包含井字游戏和四连棋模型的权重文件夹，表示有兴趣在 Mu Zero 上制作后续视频（如果有的话）对它的兴趣。
第1部分
第2部分
第 3 部分
第 4 部分
谷歌对 ChatGPT 感到恐慌 [AI 战争已经开始]
谷歌对 ChatGPT 感到恐慌 [AI 战争已经开始]
该视频讨论了谷歌如何为聊天机器人变得更强大的潜力做准备，以及这将如何影响他们的商业模式。据报道，微软正在开发一款聊天机器人，允许用户以更人性化的方式与 Bing 进行交流，该功能将有利于目前不存在图像的搜索。微软表示，他们正在与开放人工智能密切合作，因此该功能不会产生露骨或不适当的视觉效果。因此，Bing 似乎正在进行重大改革，集成了聊天 GPT 和 Dali 2 功能。
会议 JENSEN HUANG (NVIDIA) 和 ILYA SUTSKEVER (OPEN AI).AI 的今天和未来的愿景
会议 JENSEN HUANG (NVIDIA) 和 ILYA SUTSKEVER (OPEN AI).AI 的今天和未来的愿景
NVIDIA 首席执行官黄仁勋和 OpenAI 的联合创始人 Ilya Sutskever 在一次会议上讨论了人工智能 (AI) 的起源和发展。 Sutskever 解释了深度学习是如何变得清晰的，通过压缩进行的无监督学习如何导致发现与情绪相对应的神经元，以及神经网络的预训练如何通过人类和 AI 协作进行指导和改进。他们还讨论了 GPT-4 和多模态学习的进步和局限性，以及合成数据生成和提高 AI 系统可靠性的作用。尽管是 20 年前的同一个概念，但他们都对人工智能研究取得的进展感到惊叹。