机器学习和神经网络

[MetaQuotes]

MQL5现在支持矩阵和向量操作，这些操作可用于多种计算任务，包括机器学习。我们创建这个主题，以便可以选择和分享一些可能对您有用的材料。机器学习技术以神经网络为基础。

神经网络是试图模仿人脑活动的数学模型。它们由相互连接的节点组成，这些节点相互传输信号，并根据这些信号做出决策

在机器学习过程中，计算机利用数据训练模型，使用新数据来预测结果。机器学习被应用于多个领域，包括医学、商业、材料科学等。

深度学习是机器学习的一个子领域，使用多层神经网络来解决数据处理问题。深度学习模型可以高精度地探索数据，并从复杂的层次结构中自动提取特征，这通常是传统机器学习算法难以完成的任务。

深度神经网络通常由多层组成，可依次处理输入数据。每一层都是一组神经元，用来处理数据并将结果转发给下一层。模型训练的理念是调整各层之间的神经连接的权重，以尽量减少训练数据集的误差。深度神经网络训练最广泛使用的方法之一是反向传播算法。该算法允许模型确定在不同层上使用的权重变化如何影响模型误差，并使用该信息基于梯度下降来调整权重。

与经典机器学习方法相比，深度学习能够创建更精确的模型，例如逻辑回归或决策树。然而，它需要大型数据集和大量的计算资源来进行训练，这在某些领域可能是一个问题。

深度学习应用于各个领域，如计算机视觉、自然语言处理、语音处理和推荐系统等。近年来，深度学习在图像识别和自然语言处理问题上取得了卓越的成绩。

在这个主题中，我们为您分享了有助于了解这些技术工作原理的视频。

[MetaQuotes]

1. 深度学习革命

The Deep Learning Revolution

这段短片突出了人工智能 (AI) 在实现超人能力、发现新材料和保护稀缺资源方面的革命性作用。

这些技术使视障人士能够识别面孔和阅读文本，并帮助盲人为他们的孩子阅读。自动驾驶汽车让我们可以在没有街道地图的情况下自由探索偏远地区。

该视频强调了人工智能技术在增强人们做出更好决策和解决复杂问题的能力方面的作用。

[MetaQuotes]

2. 深度学习神经网络中信息处理过程的可视化

一系列短片：与其描述，不如观看。

[MetaQuotes]

3. [深度学习 |视频 1] 什么是神经网络？

But what is a neural network? | Chapter 1, Deep learning

该视频向观众介绍了神经网络并解释了它们的工作原理。神经网络包含几层神经元，每一层神经元都通过权重和偏差与上一层和下一层的神经元相连。一个神经元的激活由前一层神经元激活的加权和决定，然后由一个 sigmoid 函数压缩。

• 00:00:00 介绍神经网络，讲述神经网络如何受到大脑的启发以及它们如何用于识别手写数字。该视频还解释了神经网络的结构，包括输入层、隐藏层和输出层。
  
  
• 00:05:00 这部分解释了为什么可以期望神经网络的分层结构表现得智能。据称，网络中间层中的每个神经元都对应于构成整个图像的几个子组件之一。例如，当循环图像输入到输入层时，可以激活神经元。这允许网络组装构成图像的各种组件并最终识别图像中表示的数字。
  
  
• 00:10:00 神经网络的权重和偏差决定了它的行为，而学习是调整这些值以实现所需行为的过程。神经网络由神经元层组成，每一层神经元都通过权重和偏差与上一层和下一层的神经元相连。一个神经元的激活由前一层神经元激活的加权和决定，然后由一个 sigmoid 函数压缩。然后将这个最终向量送入下一层。
  
  
• 00:15:00 在此视频中，作者解释了什么是神经网络及其工作原理。他还介绍了 sigmoid 函数并解释了如何使用它来压缩零和一之间的相应加权和。
  

[MetaQuotes]

4. [深度学习 |视频 2] 梯度下降，神经网络如何学习

Gradient descent, how neural networks learn | Chapter 2, Deep learning

该视频解释了梯度下降如何帮助神经网络更有效地学习。

• 00:00:00 介绍梯度下降的概念，它是神经网络和许多其他机器学习算法学习方式的核心。然后，该视频展示了如何使用成本函数、权重和偏差对手写数字识别网络进行参数化。网络的性能是在示例训练数据集上进行评估的，随着网络在识别数字方面变得越来越好，成本函数变得越来越准确。
  
  
• 00:05:00 梯度下降是训练神经网络的强大工具，重要的是要记住成本函数必须具有平滑的输出才能有效地最小化它。
  
  
• 00:10:00 讲解梯度下降算法和人工神经元的操作。梯度下降用于在沿着斜坡小步移动时在成本函数中找到局部最小值。重复此过程，直到网络达到良好的解决方案。然后，该视频展示了一个梯度下降的示例，该示例使用经过训练以识别数字的神经元网络。尽管网络并不完美，但令人印象深刻的是它可以处理以前从未见过的图像。
  
  
• 00:15:00 梯度下降是一种用于训练神经网络的技术。在第一部分中，我们看到在随机标记数据上训练的深度神经网络与在正确标记数据上训练的精度相同。第二部分表明，如果在具有正确标签的数据集上训练神经网络，则其成本函数的局部最小值具有相同的质量。
  
  
• 00:20:00 演示梯度下降在神经网络中的工作原理以及它如何帮助网络更有效地学习。
  

[MetaQuotes]

5. [深度学习 |视频 3] 反向传播到底在做什么？

What is backpropagation really doing? | Chapter 3, Deep learning

反向传播算法用于神经网络以帮助它们学习。该算法计算成本函数的梯度，这取决于网络的权重和偏差。然后使用梯度来调整网络的权重和偏差。

• 00:00:00 反向传播是神经网络训练的核心。该算法计算成本函数的梯度，这取决于网络的权重和偏差。然后使用梯度来调整网络的权重和偏差。
  
  
• 00:05:00 反向传播是一种监督学习算法，有助于增加深度学习网络中的神经元激活。该算法调整前一层神经元的权重和偏差，使这种变化与各自权重的大小成正比。反向传播还有助于将所需的变化传播到第二层神经元的权重和偏差。
  
  
• 00:10:00 反向传播用于调整神经网络的权重和偏差。这是一种随机梯度下降算法，将数据随机拆分为 mini-batch，并根据 mini-batch 更新权重和偏差。该算法在计算上比真正的梯度下降更快，并且可以收敛到成本函数的局部最小值。

[MetaQuotes]

6. [深度学习 |视频 4] 反向传播微积分

Backpropagation calculus | Chapter 4, Deep learning

该视频解释了深度学习反向传播算法背后的数学原理，该算法使用一个简单的网络，每层一个神经元由权重和偏差定义。引入链式法则来理解权重变化如何影响成本，并通过成本函数、激活函数和加权和的导数发现成本对小的权重变化的敏感性。通过在链式法则的扩展中迭代计算先前激活的敏感性来考虑敏感性，以找到对先前权重和偏差的敏感性。即使每层有多个神经元，该方法也保持相似，每个权重都有自己的索引来跟踪其在层中的位置。

• 00:00:00 在第一部分，我们深入探讨深度学习中反向传播的必要数学工具。该视频显示了一个简单网络的示例，每层一个神经元由三个权重和三个偏差定义。目标是了解成本函数对这些变量的敏感程度，以及哪些调整对降低成本函数最有效。引入链式规则来理解权重变量的变化如何影响成本函数。使用成本函数、激活函数和加权和的导数计算成本函数对权重微小变化的敏感性。
  
  
• 00:05:00 第二部分介绍了神经网络中与权重和偏差相关的灵敏度概念。成本函数关于权重和偏差的导数是通过链式法则的扩展找到的，需要考虑敏感性。虽然灵敏度可以被认为是一起激发并相互通信的神经元数量，但导数要求对所有训练示例的表达式进行平均。计算链式规则扩展中先前激活的敏感性，并用于迭代计算对先前权重和偏差的敏感性。即使神经网络中的层具有多个神经元，该方法也不会发生太大变化；但是，每个权重都必须使用附加索引进行索引，以跟踪其在层中的位置。

[MetaQuotes]

人工智能全程|人工智能初学者教程 |埃杜雷卡

上面，我们为您提供了介绍人工神经网络的最佳材料。 Edureka 的这段视频将通过实际示例为您提供全面而详细的 AI 概念知识。

为了您的方便，我们提供了一个大致的时间表，然后是每个部分的详细时间表。您可以直接转到正确的时刻，以适合您的方式观看，不错过任何内容。

1. 00:00:00 - 01:00:00 第 1 部分介绍了人工智能，讨论了它的历史、不同领域和概念，以及深度学习如何用于解决现实世界的问题。它还讨论了不同类型的人工智能和用于开发 AI 的流行编程语言。
   
   
2. 01:00:00 - 02:00:00 第 2 部分讨论了不同类型的人工智能以及如何使用它们来解决不同类型的问题。它解释了如何使用线性回归来预测给定温度范围内的平均最高温度，以及如何使用逻辑回归来预测结果为 1 或 0 的可能性。它还讨论了决策树算法以及如何使用它来构建决策树。最后，它解释了如何使用随机森林来创建更准确和稳定的预测。
   
   
3. 02:00:00 - 03:00:00 在第 3 部分中，Edureka 导师 Michael Kennedy 解释了 K 均值聚类算法的工作原理以及如何使用它来将庞大的数据集压缩成少量有意义的值。他还讨论了强化学习是另一种机器学习，可以帮助代理学习在未知环境中实现目标。
   
   
4. 03:00:00 - 04:00:00 在第 4 部分中，我们将学习如何计算父节点、子节点和不同类型道路的信息增益。计算右侧的熵，结果为零，表明不存在不确定性。路面平坦时，车速高，说明这个信息没有不确定性。当道路陡峭时，汽车的速度可能会变慢或变快，这表明该信息并不特定于任何特定类型的道路。
   
   
5. 04:00:00 - 04:50:00 在第 5 部分中，Edureka 讲师 Kirill Eremenko 全面概述了人工智能，涵盖编程、数据和机器学习的基础知识。他解释了神经网络的工作原理以及它们如何用于预测股票价格。它还描述了训练神经网络的必要步骤，包括数据准备、分区和缩放。最后，他讨论了 AI 系统的模型架构参数，包括每个隐藏层中的神经元数量、偏差大小和成本函数。
   
   

部分视频课程的详细时间表

第1部分

• 00:00:00 来自 Edureka 的 Zulaikha 讲述了人工智能的历史、与之相关的不同领域和概念、人工智能是如何产生的、机器学习的局限性以及如何需要深度学习。她还介绍了深度学习的概念，并展示了如何使用它来解决现实世界的问题。最后，她谈到了下一个模块，自然语言处理。
  
  
• 00:05:00 人工智能是创造智能机器的科学和工程，这些机器可以执行通常需要人类智能才能完成的任务，例如视觉感知、语音识别、决策制定和语言之间的翻译。计算能力和算法的最新进展使人工智能更有效地融入我们的日常生活成为可能。大学、政府、初创企业和大型科技公司正在向 AI 投入资源，因为他们相信这就是未来。人工智能作为一个研究领域和一种经济正在迅速发展。
  
  
• 00:10:00 人工智能用于各个领域，从金融到医疗保健和社交媒体。人工智能变得如此重要，甚至像 Netflix 这样的企业也在使用它。
  
  
• 00:15:00 人工智能分为三个阶段，我们目前处于弱人工智能阶段。通用人工智能，或称强人工智能，距离实现还很遥远，但如果实现了，那将是人类历史上的一个里程碑。
  
  
• 00:20:00 本节介绍不同类型的人工智能，然后讨论人工智能的不同编程语言。 Python 被认为是 AI 开发的最佳语言，R 也是一个流行的选择。其他语言包括 Python、Lisp、Prolog、C++、MATLAB、Julia 和 JavaScript。
  
  
• 00:25:00  Python 是一种灵活易用的编程语言，在人工智能领域正变得越来越流行。机器学习是一种允许机器从数据中学习以改进其预测的技术。
  
  
• 00:30:00 机器学习是人工智能的一个子集，它使用算法自动学习并根据经验进行改进。机器学习过程的主要组成部分是使用机器学习算法训练的模型。
  
  
• 00:35:00 算法和模型之间的区别在于算法映射模型需要根据给定输入做出的所有决策，而模型将使用机器学习算法从输入中提取有用的见解并给出你的结果是非常准确的。然后我们有一个预测变量，它是可用于预测输出的数据的任何特征。所以在同一个例子中，高度将是响应变量。响应变量也称为目标变量或输出变量。这是您尝试使用预测变量预测的变量。因此，响应变量是需要使用预测变量进行预测的函数或输出变量。然后我们有了所谓的训练数据。在机器学习的过程中，你会经常遇到术语“训练”和“测试”数据。训练数据是用于构建机器学习模型的数据。所以在机器学习的过程中，当你将数据加载到机器中时，它会被分成两部分。将数据分成两个子集也称为数据拆分。您将获取输入数据，将其分成两部分。
  
  
• 00:40:00 数据收集是机器学习中最耗时的步骤之一，如果您必须手动收集数据，将花费大量时间。但幸运的是，有许多在线资源提供了广泛的数据集。您所要做的就是网络抓取，您只需要下载数据即可。我可以告诉您的一个网站是 Cargill。因此，如果您是机器学习的新手，请不要担心数据收集等问题。您所要做的就是访问 Cargill 等网站并下载数据集。
  
  
• 00:45:00 监督学习是一种使用标记良好的数据训练机器的技术。监督学习类似于教师帮助学生理解数学概念的方式。
  
  
• 00:50:00 在监督学习中，训练数据集包含有关物体外观的信息，例如汤姆和杰瑞的图像。机器学习算法在这个标记的数据集上进行训练，以学习如何识别和分类图像。在无监督学习中，机器学习算法不接收标记数据，而是对未标记数据进行训练。在强化学习中，代理被放置在一个环境中，并通过执行动作并观察从这些动作获得的奖励来学习行为。
   
  
• 00:55:00 机器学习包括三种主要的学习类型：监督学习、无监督学习和强化学习。监督学习用于学习标记数据，无监督学习用于学习未标记数据，强化学习用于学习动作和奖励。机器学习可以解决三种类型的问题：回归、分类和聚类。有许多算法可用于解决回归、分类和聚类问题，但最常用的是线性回归、逻辑回归、支持向量机和朴素贝叶斯。

第2部分

• 01:00:00 人工智能可用于解决分类、回归和聚类问题。线性回归等监督学习算法用于根据输入数据预测目标变量，例如房价指数。
  
  
• 01:05:00 线性回归是一种监督学习算法，用于根据自变量 x 的值预测连续因变量 y。线性回归首先使用最佳线性拟合建立 y 和 x 之间的关系，然后计算线性回归线的斜率和 y 偏移。
  
  
• 01:10:00 Edureka 讲师 Michael Kennedy 演示了对世界各地不同日期记录的天气状况数据集的线性回归。他展示了如何导入所需的库和读取数据，如何绘制数据点并找到变量之间的线性关系。他还讨论了警告信息，并解释说这次演示的主要目的是天气预报。
  
  
• 01:15:00 本课解释了如何使用线性回归来预测给定温度范围内的平均最高温度。通过将数据集拆分为训练集和测试集并导入适当的线性回归类来训练模型。在教程结束后，讲师将展示如何计算与数据对应的直线的斜率和 y 偏移。
  
  
• 01:20:00 解释如何使用回归算法来预测测试数据集的百分比分数。该视频还展示了如何绘制结果并将其与实际值进行比较。
  
  
• 01:25:00 逻辑回归是一种用于在给定自变量 x 的情况下预测因变量 y 的技术，使得因变量是分类变量，即输出是分类变量。逻辑回归的结果总是分类的，逻辑回归中使用的基本技术与线性回归非常相似。
  
  
• 01:30:00 Logistic 回归用于使用方程 Pr(X = 1) = beta0 + beta1*X 预测结果为 1 或 0 的概率。逻辑函数或 S 曲线确保遵守 0 和 1 之间的范围。
  
  
• 01:35:00 决策树算法是一种易于理解的监督学习算法。它由根节点（第一次分裂发生的地方）、内部节点（做出决策的地方）和叶节点（存储结果的地方）组成。节点之间的分支用箭头表示，算法的工作原理是遍历树中的数据，直到到达终端节点。
  
  
• 01:40:00 算法是用于生成决策树的算法。使用该算法所需的步骤是：(1) 选择最佳属性，(2) 将该属性指定为根节点的决策变量，(3) 为决策变量的每个值创建一个子节点，以及 (4)标记叶节点分类。如果数据被正确分类，则算法停止；如果不是，则算法继续遍历树，更改预测变量或根节点的位置。最好的属性是最有效地将数据分成不同类别的属性。熵和信息增益用于确定哪个变量最好地分离数据。信息增益的最高度量将用于在根节点处对数据进行分区。
  
  
• 01:45:00 在这个面向初学者的人工智能视频教程中，我们学习了如何计算父节点、子节点和不同类型道路的信息增益。计算右侧的熵，结果为零，这表明不存在不确定性。当道路笔直时，车速高，说明该信息不存在不确定性。当道路陡峭时，车速可能较慢或较快，表明该信息不特定于任何特定类型的道路。
  
  
• 01:50:00 讨论如何使用熵来计算决策树中的信息增益。计算父节点的熵、子节点的加权平均值以及每个预测变量的信息增益。道路类型变量的熵为零，这意味着数据集中没有不确定性。道路类型变量的信息增益为 0.325，这意味着数据集包含的道路类型变量信息很少。障碍变量的信息增益为零，这意味着障碍变量不影响决策树。速率限制变量的信息增益为 1，这意味着速率限制变量对决策树的影响最大。
  
  
• 01:55:00在随机森林中，构建了多个决策树，然后将它们组合起来以创建更准确和稳定的预测。 Bootstrapping 用于创建一个小数据集，然后用于训练决策树。随机森林在预测新数据方面比决策树更准确，因为它减少了过度拟合（训练数据的记忆）。

第 3 部分

• 02:00:00 该视频介绍了如何使用随机森林创建决策树。首先，随机选择两个或三个变量用于决策树的每个节点，然后计算每个变量的信息增益和熵。然后对每个下一个分支节点重复此过程，创建一个决策树，该树根据选定的预测变量预测输出类。最后，我们回到第一步，根据原始变量的子集创建一个新的决策树。重复此过程，直到创建了多个决策树，每个决策树都根据不同的预测变量预测输出类别。最后，使用袋外数据集评估模型的准确性。
  
  
• 02:05:00 在此视频中，Edureka 讲师 Michael Kennedy 解释了随机森林的工作原理。首先，创建引导数据集以确保准确的预测。然后使用一组随机的预测变量创建决策树。这个过程重复数百次，直到创建模型。可以使用袋外抽样来计算模型精度。
  
  
• 02:10:00  最近邻算法是一种监督学习算法，它根据其相邻数据点的特征将新数据点分类为目标类或输出类。
  
  
• 02:15:00 KNN算法是一种监督学习算法，它使用数据来预测新输入数据点的输出。它基于特征与相邻数据点的相似性，并且不是参数化的。 KNN算法是惰性的，可以记住训练集而不是学习判别函数。
  
  
• 02:20:00 Edureka 讲师 Alan C 解释了 KNN 和 SVM 分类算法的基础知识。每种算法都有自己的优势，而 SVM 因其处理非线性数据的能力而成为分类的热门选择。
  
  
• 02:25:00 考虑使用 Python 使用各种分类算法。首先，读取数据并根据标签将其分组为水果类型。然后在数据上实施和测试各种算法。最后，展示并讨论了结果。
  
  
• 02:30:00 讨论可视化在机器学习中的重要性，并解释箱线图、直方图和缩放器的使用。还讨论了将数据拆分为训练集和测试集的重要性。
  
  
• 02:35:00 该视频介绍了逻辑回归、决策树和支持向量机在分类问题中的应用。逻辑回归分类器在训练数据集上给出了很好的结果，但在测试数据集上不太准确。决策树分类器在训练数据集上更准确，但在测试数据集上表现更差。支持向量机在训练和测试数据集上都给出了很好的结果。
  
  
• 02:40:00 均值聚类算法是一种无监督机器学习算法，用于将相似的项目或数据点分组到聚类中。它用于有针对性的营销，例如向特定受众推广特定产品。
  
  
• 02:45:00 肘部方法是一种简单的方法，用于为特定问题找到 k 的最优值。 elbow 方法首先计算不同 k 值的误差平方和，然后将它们可视化。随着 k 的增加，误差减小，表明更多的簇导致更少的失真。 k 的最优值在图上误差减小速度减慢的点，形成“肘”形。
  
  
• 02:50:00 肘部法是为 K 均值算法选择最佳 K 值的一种简单方法。该方法首先计算不同 K 值的误差平方和，然后将它们绘制在图表上。随着 K 的增加，误差减小，表明更多的簇导致更少的失真。 K-means 的最佳 K 值是在失真急剧下降的点。使用标准库函数可以轻松实现此方法。在本视频中，我们使用来自 scikit-learn 数据集的示例图像来演示肘法。
  
  
• 02:55:00 该视频介绍了 K 均值聚类算法的工作原理，以及如何使用该算法将大型数据集压缩为少量有意义的值。它还认为强化学习是一种不同类型的机器学习，可以帮助代理学习如何在未知环境中实现目标。

第 4 部分

• 03:00:00 视频游戏（例如反恐精英）中的强化学习代理会根据其当前状态和环境采取最佳行动来尝试最大化其奖励。例如，如果一个代理人接近一只老虎，他可能会降低他的预期奖励以解决被杀死的可能性。这些概念，例如动作、状态、奖励和伽玛，将在下一张幻灯片中更详细地讨论。
  
  
• 03:05:00 在此视频中，Edureka 讲师 Adriano Ferreira 讨论了探索和开发的概念、解决马尔可夫决策制定的数学方法以及最短路径问题。然后，他继续举例说明如何使用贪婪策略选择解决问题的策略，以及如何使用探索策略选择策略的示例。
  
  
• 03:10:00 Edureka讲师讲解强化学习的基础知识，包括三种主要方法：policy-based、value-based、action-based。然后他演示了 Q-learning 算法，这是一种重要的强化学习算法。 Q-learning 的目标是找到奖励最高的状态，Q-learning 中使用的术语包括状态和动作。
  
  
• 03:15:00 解释人工智能的基础知识，包括它的工作原理以及如何创建可以从经验中学习的代理。该视频解释了如何使用奖励矩阵和统一 Q 矩阵来确定代理的当前状态和未来奖励。 Gamma 用于控制探索和代理使用。
  
  
• 03:20:00 视频讲述了人工智能的基本概念，包括智能体的矩阵Q如何存储它的记忆以及如何更新它。然后继续介绍如何使用 NumPy 和 R 库在 Python 中执行相同的操作。
  
  
• 03:25:00 该视频通过教初学者如何使用代码创建奖励矩阵和 Q 矩阵以及设置伽玛参数来演示如何创建人工智能 (AI) 系统。然后，该视频展示了如何通过运行 10,000 次迭代来训练人工智能系统，以及如何通过选择随机状态并尝试达到目标状态（即五号房间）来测试系统。
  
  
• 03:30:00 机器学习是一个帮助计算机从数据中学习的研究领域。但是，它无法处理高维数据。机器学习的另一个限制是随着测量次数的增加，它对计算能力的要求也越来越高。
  
  
• 03:35:00 人工智能用于图像识别的能力是有限的，因为图像包含很多像素并且有很多傲慢的数据。特征提取是机器学习工作流程的重要组成部分，因为算法的有效性取决于程序员分析数据的深度。深度学习模仿我们大脑的工作方式，可以自我学习专注于正确的功能，几乎不需要程序员的指导。
  
  
• 03:40:00 深度学习是一组机器学习技术，可让您有效地学习数据中的特征层次结构。深度学习由人工神经元组成的神经网络组成，其工作方式与我们的大脑类似。层数和每层中感知器的数量完全取决于任务或应用程序。
  
  
• 03:45:00 解释如何在激活函数的计算中使用权重。然后，此激活函数确定使用多少特定输入（X one）来创建输出（one）。
  
  
• 03:50:00 多层感知器与单层感知器具有相同的结构，但具有一个或多个隐藏层。权重最初是随机分配的，权重必须是正确的才能最小化错误。反向传播是一种更新权重以减少误差的方法。
  
  
• 03:55:00 Edureka 讲师 Emmanuel 告诉观众如何使用反向传播计算模型的输出。首先，他们计算出一个错误，表明模型在哪里不准确。然后，他们使用误差反向传播以最小化误差的方式更新权重。如果错误仍然很高，他们将停止更新权重并找到全局损失最小值，然后停止。

第 5 部分

• 04:00:00 反向传播是一种数学技术，用于调整网络权重以减少输出层的误差。梯度下降用于优化网络前向传播性能。递归神经网络是一种人工神经网络，可用于识别数据序列中的模式。
  
  
• 04:05:00 解释深度神经网络的工作原理以及它们如何用于预测股票价格。它涵盖了前向神经网络、多层感知器和递归神经网络的基础知识。
  
  
• 04:10:00 描述训练神经网络所需的步骤，包括数据准备、分区和缩放。还讨论了占位符和初始值设定项的使用。
  
  
• 04:15:00 讨论了人工智能系统的模型架构参数，包括每个隐藏层中的神经元数量、偏差维度和成本函数。然后它解释了激活函数如何转换隐藏层以及输出如何转置和计算成本。
  
  
• 04:20:00 Edureka 讲师 Kirill Eremenko 解释了深度学习的基础知识，包括神经网络、优化器和初始化器的作用。它还解释了小批量训练的工作原理以及如何使用 epoch 来训练神经网络。
  
  
• 04:25:00 通过将模型的预测值与存储在 y 中的实际观察到的目标进行比较来演示深度学习。然后使用 TensorFlow 更新权重和偏差因子。然后根据测试数据对模型进行训练，并将其预测值与实际值进行比较。经过 10 个 epoch 后，模型的精度显示非常接近实际值。
  
  
• 04:30:00 文本挖掘或文本分析是从自然语言文本中提取有意义信息的过程。文本挖掘是一个广阔的领域，它使用 NLP 进行文本挖掘和文本数据分析。 NLP 是文本挖掘的一部分，可帮助机器将数据理解为零和一。自然语言处理是计算机和智能手机用来理解我们的口语和书面语言的工具。文本挖掘和自然语言处理应用程序的示例包括垃圾邮件检测、预测打字和情绪分析。
  
  
• 04:35:00 它讨论了自然语言处理中标记化、词干提取和词形还原的重要性。它解释了标记化将句子分解为单词，词干提取将单词简化为其基本形式，词形还原将单词连接回其词元。停用词是被删除以关注重要词的常用词。
  
  
• 04:40:00 这个 Edureka 教程解释了如何使用 NaiveBayesClassifier 执行自然语言处理，这是一个包含完成此任务所需的所有功能的库。然后，他们通过对电影评论数据集执行情感分析来演示该过程。分类器能够确定哪些评论是正面的，哪些是负面的。
  
  
• 04:45:00 Edureka 机器学习工程师计划包括九个模块，超过 200 小时的交互式学习，涵盖 Python 编程、机器学习、自然语言处理 (NLP)、图形建模、深度学习和 Spark。课程包括有监督和无监督算法、统计和时间序列、深度学习和 Spark。机器学习工程师的平均年薪超过 134,000 美元。
  
  
• 04:50:00 全面介绍了人工智能，包括编程、数据处理和机器学习的基础知识。完成此介绍性模块后，学生将能够继续学习旨在加深对这些主题的理解的其他课程。

[MetaQuotes]

麻省理工学院深度学习入门课程旨在快速深入学习深度学习的基本原理

麻省理工学院深度学习概论课程旨在提供深度学习基本原理的快速强化教育，以及在计算机视觉、自然语言处理、生物学和其他领域的应用。在课程中，学生将获得深度学习算法的基础知识和在 TensorFlow 中构建神经网络的实践经验。该计划以项目提案竞赛告终，由工作人员和行业赞助商进行评估。假设学生熟悉微积分（即能够求导）和线性代数（即能够乘矩阵），但其他一切都将随着课程的进行进行解释。使用 Python 的经验会有所帮助，但不是必需的。

第 1 讲 MIT 深度学习简介 | 6.S191

在此视频中，麻省理工学院的亚历山大·阿米尼通过对感知器的讨论介绍了深度学习的基础知识。他继续展示如何从头开始构建神经网络，并通过使用名为 TensorFlow 的库简化了过程。他通过讨论如何创建具有输出层的单层和双层神经网络来结束视频。

• 00:00:00 在这个为期一周的深度学习入门课程中，学生将学习该领域的基础知识，并获得使用深度学习软件实验室的实践经验。该课程是假的，但视频和音频实际上是使用深度学习技术生成的。这允许讲师展示深度学习的高质量、真实的例子。
  
  
• 00:05:00 该视频介绍了深度学习的基础知识，包括涉及的术语和概念。该课程分为技术讲座和软件实验室，最终项目侧重于创造性、创新性的想法。视频最后简要介绍了课程的讲师，以及如果您有任何问题如何联系他们。
  
  
• 00:10:00 深度学习的主要目标是从数据中学习特征，这是通过使用神经元的分层层训练深度神经网络来完成的。这允许大规模并行化，以及检测分层特征的能力。
  
  
• 00:15:00 在本讲座中，您将了解深度学习背后的技术概念，包括 sigmoid 激活函数和 relu 函数。您还将了解如何在现代神经网络中使用激活函数来引入非线性。最后，您将了解如何使用感知器方程来计算输入数据点的加权组合。
  
  
• 00:20:00 Alexander Amini 通过对感知器的讨论介绍了深度学习的基础知识。他继续展示如何从头开始构建神经网络，并通过使用名为 TensorFlow 的库简化了过程。他通过讨论如何创建具有输出层的单层和双层神经网络来结束视频。
  
  
• 00:25:00 在本节中，他描述了深度学习的工作原理以及如何构建神经网络来预测学生是通过还是不通过课程。网络未正确训练，因此预测的通过概率不正确。
  
  
• 00:30:00 在此视频中，Alexander Amini 讨论了深度学习的基础知识，以及如何使用梯度下降优化神经网络。他解释说，深度学习涉及训练网络以改进其基于数据的预测。目标是在所有数据集中找到最小化网络平均误差的权重 (w's)。
  
  
• 00:35:00 在深度学习中，反向传播是将梯度一直传播回神经网络输入的过程，以确定每个权重需要如何改变以减少其损失。在实践中，使用既不太小也不太大的学习率可以避免局部最小值并且仍然会收敛到全局最优值。
  
  
• 00:40:00 Alexander Amini 讨论如何使用梯度下降、自适应学习率和批处理来训练深度神经网络。他还讨论了过度拟合的危险以及如何减轻它。
  
  
• 00:45:00 在本讲座中，涵盖的要点是神经网络的基本构建块、如何完成拼图和训练它们，以及如何使用损失函数。在下一课中，Ava 将讨论使用 rnn 的深度序列建模和一种令人兴奋的新型模型，称为 transformer。

[MetaQuotes]

MIT 6.S191 (2022)：递归神经网络和变压器

讲座 2. MIT 6.S191 (2022)：递归神经网络和变压器

麻省理工学院讲座的这一部分介绍了序列建模，并通过预测球轨迹等示例解释了处理序列数据的重要性。循环神经网络 (RNN) 作为一种处理序列建模的方法被引入，讲座解释了 RNN 如何使用内部记忆（或状态）来捕获为当前和未来预测提供信息的先前历史。该讲座还讨论了如何跨时间展开 RNN 以使权重矩阵更加明确，并介绍了序列建模的设计问题和标准。该视频还解决了 RNN 的常见问题，例如梯度消失问题，并介绍了注意力的概念，作为一种潜在的解决方案，允许模型关注输入中最重要的部分而不会重复出现。讲座最后讨论了自我注意机制如何应用于语言处理以外的领域，例如生物学和计算机视觉。

• 00:00:00 在视频的这一部分，讲座介绍了序列建模的概念及其在处理涉及序列数据的任务中的重要性。讲师从一个预测球轨迹的简单示例开始，其中添加球的先前位置数据极大地改善了预测。顺序数据以各种形式存在于我们身边，例如音频、文本、心电图信号和股票价格。然后，讲师解释了前馈模型和序列模型之间的区别，并提供了需要序列建模的实际应用示例。为了建立对序列建模的基本理解，讲师重新审视了感知器的概念，并逐步演示了如何修改它以处理序列数据。
  
  
• 00:05:00 在本节中，视频讨论了递归神经网络 (RNN) 的概念以及它们如何处理顺序数据。 RNN 在特定时间步的输出不仅取决于该时间步的输入，还取决于先前时间步的记忆。此内存捕获序列中先前发生的事件的先前历史，并从每个先前的时间步向前传递。该视频解释了 RNN 如何使用内部记忆（或状态）来捕捉记忆的概念，以及特定时间步长的输出如何是当前输入和过去记忆的函数。该视频还描述了如何将这些类型的神经元定义和描述为递归关系。
  
  
• 00:10:00 在讲座的这一部分，讲师解释了神经网络中递归关系的概念，以及它如何形成递归神经网络 (RNN) 背后的关键思想。 RNN 维护一个内部状态，h of t，通过应用作为当前输入和先前状态的组合的递归关系，它在每个时间步更新。该函数的参数由一组在训练期间学习的权重表示。 RNN 在处理完序列中的所有单词和时间点后预测输出。输出向量 y of t 是通过将内部状态传递给权重矩阵并应用非线性来生成的。该讲座提供了 RNN 循环如何反馈自身以及如何跨时间展开的可视化表示。
  
  
• 00:15:00 在本节中，演讲者解释了如何跨时间展开 RNN 以使计算应用于输入的权重矩阵更加明确。权重矩阵在所有单独的时间步长中重复使用。演讲者还提供了一个示例，说明如何从头开始实施 RNN 并定义了调用函数，该函数定义了通过 RNN 模型的前向传递。演讲者强调了 RNN 在各种应用中的实用性，并提出了一套具体的设计标准要牢记在心。
  
  
• 00:20:00 在本节中，演讲者讨论了序列建模的设计问题和标准，包括处理可变长度序列、跟踪长期依赖性、保留和推理顺序以及跨序列共享参数。演讲者解释了嵌入将语言表示为可以输入神经网络的数字向量的重要性，其中一个例子是单热嵌入，其中二进制向量表示单词的身份。演讲者还建议使用机器学习模型（例如神经网络）来学习嵌入。总的来说，这些概念是循环神经网络和新兴的 Transformer 架构的基础，这将在本讲座的后面进行讨论。
   
  
• 00:25:00 在本节中，介绍了学习嵌入的概念，这是将单词的含义映射到信息量更大的编码，允许具有相似含义的相似单词具有相似的嵌入。递归神经网络 (RNN) 能够处理可变序列长度，捕获和建模长期依赖性，并保持秩序感，这使得它们可用于序列建模任务，例如预测句子中的下一个单词。引入了时间反向传播算法作为训练 RNN 的方法，它涉及跨每个时间步长反向传播误差并执行矩阵乘法，这可能会导致计算问题。
  
  
• 00:30:00 在本节中，讨论了递归神经模型中的梯度爆炸和梯度消失问题，并提出了三种缓解梯度消失问题的解决方案。梯度消失问题会导致神经模型优先考虑短期依赖性而不是长期依赖性，从而导致预测不准确。讨论的三种解决方案是选择合适的激活函数，智能地初始化权重，以及使用更复杂的循环单元，例如可以选择性地控制通过其各个门的信息流的长短期记忆网络 (LSTM)。 LSTM 网络使用多个交互的门来维护相关信息并消除不相关信息。
  
  
• 00:35:00 在视频的这一部分，讲师讨论了递归神经网络 (RNN) 及其架构的基础知识，包括门控结构的重要性和缓解梯度消失问题。然后，他们提供了如何使用 RNN 的具体示例，包括预测序列中的下一个音符以生成新音乐和推文情感分类。讲师还强调了 RNN 的局限性，例如编码瓶颈、低效率和编码中潜在的信息丢失。
  
  
• 00:40:00 在本节中，讨论了循环神经网络 (RNN) 在处理长序列时的局限性，特别是递归关系造成的瓶颈。注意力的概念被引入作为这个问题的潜在解决方案，允许模型识别和关注输入中最重要的部分。注意力被解释为现代神经网络的一种新兴且强大的机制，特别是在变压器架构的背景下。自注意力背后的直觉是通过考虑人类识别图像的重要部分并从那些高度关注的区域提取特征的能力而发展起来的。
  
  
• 00:45:00 在本节中，解释了搜索的概念以及它如何与 Transformer 等神经网络中的自注意力相关联。这个想法是在不重复的情况下关注输入序列中最重要的特征，利用具有某种位置概念的嵌入。该过程涉及提取查询、键和值特征，它们是同一位置嵌入的三个不同转换。注意机制计算查询和键之间的重叠，提取的值基于此计算，这允许网络识别和注意输入中最相关的部分。
  
  
• 00:50:00 在视频的这一部分中，讲师解释了注意力机制在神经网络中的工作原理。注意机制计算要支付给输入的不同区域的注意权重。这可以通过使用点积计算查询和关键向量之间的相似度并对其进行缩放来实现。然后使用 softmax 函数压缩每个值，使其介于 0 和 1 之间。生成的矩阵是注意力权重，它反映了输入组件之间的关系。该加权矩阵用于提取具有高注意力的特征，并且可以使用多个单独的注意力头来关注输入的不同方面。这种注意力机制是一个强大的工具，例如它在具有各种应用程序的转换器架构中的使用，尤其是在语言处理中。
  
  
• 00:55:00 在本节中，演讲者讨论了如何将自我注意机制应用于语言处理以外的领域，例如在生物学中使用 Alpha Fold 2 神经网络架构进行蛋白质结构预测，以及在计算机视觉中使用 Vision Transformers .演讲者还总结了之前关于序列建模任务的讨论以及 RNN 如何强大地处理序列数据，以及自注意力机制如何在不需要递归的情况下有效地对序列进行建模。讲座的剩余时间专门用于软件实验室课程，学生可以从课程网站下载实验室并执行代码块以完成实验室，虚拟和面对面的办公时间可提供帮助。

[MetaQuotes]

MIT 6.S191：卷积神经网络

讲座 3. MIT 6.S191 (2022)：卷积神经网络

该视频介绍了卷积神经网络，这是一种用于检测图像特征的机器学习算法。该视频解释说，通过使用较少数量的特征，网络可以更准确地对图像进行分类。该视频还讨论了如何使用 cnn 检测和定位图像中的多个对象。

• 00:00:00 在此视频中，亚历山大·阿米尼 (Alexander Amini) 讨论了深度学习如何彻底改变了计算机视觉和应用，其中一个例子是数据面部识别。
   
  
• 00:05:00 在本节中，他讨论了如何使用计算机视觉来识别和分类图像。他还讨论了如何检测图像中的特征，以及如何使用特征对图像进行分类。
  
  
• 00:10:00 这部分讨论如何使用卷积神经网络来检测图像中的特征。该视频解释说，通过展平图像，空间结构会丢失，使网络更难学习这些特征。该视频还解释说，通过使用权重块，网络可以保留空间结构并使其更容易学习特征。
  
  
• 00:15:00 卷积神经网络是一种机器学习算法，用于检测图像中的特征。该算法的工作原理是在图像上滑动一个小补丁，并检测补丁中存在的特征。然后通过在一组示例上训练网络来确定补丁的权重。
  
  
• 00:20:00 卷积神经网络是一种机器学习算法，可用于从图像中提取特征。卷积的目标是将两个图像作为输入并输出第三个图像，该图像保留像素之间的空间关系。
  
  
• 00:25:00 在此视频中，演示者描述了卷积神经网络如何在神经网络中实现以及它们的结构。他还解释了卷积神经网络中的三个主要操作——卷积、非线性和池化——是如何工作的。
  
  
• 00:30:00 该视频介绍了卷积神经网络，它是机器学习管道中的一个节点，在第 i 个输出端连接到其他节点。卷积层由定义层输出空间排列的参数定义。卷积层的目标是学习从一个卷积层到下一个卷积层的分层特征。这是通过串联叠加三个步骤（特征提取、空间缩小和最大池化）来完成的。最后，该视频展示了第一个端到端卷积神经网络的代码。
  
  
• 00:35:00 Alexander Amini 讨论如何将卷积神经网络用于图像分类任务。他解释说，通过使用更多的特征，缩小后的汽车图像可以更准确地归类为出租车。他还讨论了如何使用 cnn 检测和定位图像中的多个对象，即使它们位于图像中的不同位置。
  
  
• 00:40:00 麻省理工学院 6.S191：卷积神经网络课程讨论了一种比其他方法更慢、更脆弱的对象检测启发式方法。更快的 rcnn 方法尝试学习区域而不是依赖简单的启发式方法，被提议作为这些问题的解决方案。
  
  
• 00:45:00 在此视频中，Alexander Amini 讨论了卷积神经网络、它们的起源和应用。他还介绍了 CNN 对广泛任务和领域的影响。