使用生成对抗网络 (GAN) 进行图像生成时，有几个注意事项。在这种情况下，GAN 既有优点也有缺点。一个重要的优势是 GAN 自然地强制生成的分布与目标分布相似，而不需要复杂的损失函数。这是通过生成器和鉴别器之间的 mini-max 博弈实现的。 GAN 提供了一种通过学习底层分布来编码逼真图像的好方法。然而，在实践中，训练系统时通常需要额外的损失。
有多种类型的 GAN 用于不同的目的。条件 GAN 允许根据条件概率分布生成数据。这意味着生成器可以以特定信息为条件，而不是从单个概率分布生成。其他 GAN 变体，例如 Pix2Pix 和 CycleGAN，专注于图像到图像的翻译任务。这些模型可以将图像从一个域转换到另一个域，从而实现风格转换或图像合成等任务。
训练 GAN 可能具有挑战性，有一些技巧可以帮助改进训练过程。重要的是不要轻易放弃，因为 GAN 通常需要多次迭代才能收敛。在 -1 和 1 之间归一化图像输入通常是有益的，并且可以应用标签平滑来提高训练稳定性。使用高斯噪声而不是均匀分布的噪声作为生成器的输入也很有帮助。还有许多其他技巧可用于训练 GAN，GitHub 存储库等资源可以提供全面的列表。
为了说明 GAN 的实际使用，让我们看一个使用 CycleGAN 进行图像到图像转换的示例。该模型旨在将图像从一个域转换到另一个域，而不需要明确配对的训练样本。相反，使用来自每个域的图像池，目标是学习两个转换：一个从域 X 到域 Y，另一个从域 Y 到域 X。引入循环一致性项以确保应用前向图像的反向变换返回原始图像。该模型结合了多种损失，包括 GAN 损失和循环一致性损失，以训练生成器和鉴别器。
可以通过各种方法对结果进行评估。可以进行 Mechanical Turk 研究，要求人工评估人员区分真实图像和生成图像。此外，与原始地图相比，可以使用特定的评估指标（如联合交集（IoU））来衡量生成的分割图的准确性。
值得注意的是，虽然 GAN 已经显示出令人鼓舞的结果，但在训练它们时仍然存在挑战。模式崩溃，其中生成器产生有限的变化，颜色保存问题是可能出现的困难之一。研究人员不断探索和改进 GAN 模型以获得更好的图像生成结果。
已探索的另一种改进 GAN 训练的方法称为渐进式增长。在传统的 GAN 训练中，生成器和判别器在整个训练过程中同时在相同分辨率的图像上进行训练。然而，渐进式增长采用不同的方法。
Before we begin, let's take a quick poll to see who here has been actively working with deep learning for less than a year. Raise your hand if you fall into this category. Now, how about those who have been working with deep learning for less than six months? Great! And finally, who among you has been using deep learning for a longer period, more than a year? Excellent, we have a few experienced individuals here as well.
Now, I'd like to start by sharing a little story of my own journey. I have been working on deep learning for about a week, which was around the time when Daniel initiated this group. I remember he encouraged everyone to present their work, and even though I didn't have much to show at that point, I decided to participate anyway. Fast forward to today, and I can proudly say that I have made significant progress in just one week. I want to share my experiences and what I have accomplished during this time. This will be interesting for those who are new to deep learning and also for those who are curious about PyTorch.
So, what have I been doing in the last week? To begin, I started by familiarizing myself with the basics of deep learning using a simple CIFAR-10 example. For those who don't know, CIFAR-10 is a dataset consisting of ten different classes of images. It serves as a straightforward introduction to deep learning. The goal is to train a neural network to predict the class of an image. I will walk you through some code to explain the process and highlight what we are actually doing.
Let's take a look at the code. The first thing I want to mention is how concise it is. This file contains just 140 lines of Python code, which is quite impressive considering it covers everything we need for training on CIFAR-10. Previously, I had been working with low-level C and CUDA, so coming across PyTorch was a revelation. The structure of the code is straightforward. We have some basic data transformations, a train set, and a train loader, which are conveniently provided by the torch vision module. This module allows us to download the CIFAR-10 dataset effortlessly. We define our network, which consists of convolutional and fully connected layers. PyTorch takes care of the backpropagation and provides built-in optimizers. With just a few lines of code, we can start training the model on CIFAR-10.
Moving on, I want to discuss reinforcement learning and its application to deep learning. Reinforcement learning differs from traditional classification or regression tasks because it involves interactive environments and agents that take actions to maximize rewards. Instead of having labeled training data, we receive reward signals based on our actions in the environment. To demonstrate this concept, let's look at the DQN (Deep Q-Network) example using the Cartpole environment.
The Cartpole environment simulates a pole balanced on a cart, and the goal is to keep the pole upright for as long as possible. We receive a reward when the pole remains balanced and a penalty when it falls. This is a classic reinforcement learning problem. In the code, we use a replay memory to store past experiences and sample from them during training. This helps overcome the issue of correlated observations that can disrupt the backpropagation process. Our network architecture is defined similarly to the CIFAR-10 example, but now we focus on predicting future rewards given a state-action pair. We select actions based on the estimated rewards and update our model accordingly.
Finally, I want to share my own quick example that I worked on just yesterday. I created a simple environment where a player navigates towards a reward. The player receives a reward based on its distance to the goal.
In this example, I created a grid-based environment where a player navigates towards a reward. The player's objective is to reach the goal position and receive a high reward while avoiding obstacles and penalties. The player's current position is represented by coordinates (x, y) on the grid.
To implement this, I used a 2D array to represent the environment. Each cell in the array corresponds to a position on the grid and holds a value indicating the type of that cell (e.g., obstacle, reward, penalty, empty space). Initially, the player is randomly placed in the environment, and the goal position is set to a specific coordinate.
I then defined a neural network that takes the player's current position as input and predicts the best action to take (i.e., move up, down, left, or right) to reach the goal. The network is trained using a variant of the Q-learning algorithm, where the Q-values represent the expected rewards for each action in a given state.
During training, the player explores the environment by taking actions and receiving immediate rewards based on its position. These rewards are used to update the Q-values and improve the network's predictions. The training process continues until the player consistently reaches the goal position and receives high rewards.
Once the training is complete, we can test the trained network by letting the player navigate the environment using the learned policy. The player uses the network's predictions to select the best actions at each step, gradually moving closer to the goal.
This example demonstrates the application of deep reinforcement learning in a custom environment. It showcases how a neural network can learn to navigate a complex space, make decisions based on rewards and penalties, and achieve a specific goal.
为了说明这个概念，作者提出了一个名为“寻找比尔博”的引人入胜的示例问题。在这种情况下，由于树的部分遮挡，常规神经网络在第三张和第四张图像中定位 Bilbo 时遇到困难。然而，人类可以利用时间信息来推断比尔博很可能位于树后面。具有固有记忆能力的递归神经网络为这个问题提供了解决方案。作者继续解释循环神经网络如何随时间展开，从而使信息从一个时间步传递到下一个时间步。此功能使网络能够保留 Bilbo 的位置信息。
在能源领域，人工智能和认知计算将优化能源消耗和分配，有效降低全球能源使用量。在医疗保健领域，这些技术将有助于设计新药和疫苗、诊断疾病以及提供个性化医疗服务。在运输和物流领域，由人工智能驱动的自动驾驶汽车将大大减少事故和交通拥堵，同时彻底改变电子商务交付。教育将受益于人工智能和认知计算促进的个性化和优化的培训体验。通过人工智能减少犯罪、提高公共安全以及打击欺诈和身份盗窃的能力，安全和保障将得到加强。就业部门将利用人工智能来确定候选人和职位之间的最佳匹配，从而提高工作满意度。智能家居和家庭机器人将自动执行任务、监控设备并提供住家机器人助手，促进老年人和残疾人独立生活。人工智能和认知计算还将通过推荐体验和帮助人们找到新朋友和社交圈来彻底改变娱乐和社交。环境倡议将受益于 AI 带来的改进的废物处理、回收和污染减少。在商业中，人工智能将实现流程自动化、优化利润、促进创新并加强决策制定。
现在我们了解了使用 Jupyter Notebooks 的好处，让我们讨论如何在 Google Cloud 和 Microsoft Cloud 中免费创建它们。
Google Cloud 和 Microsoft Cloud 都提供 Jupyter Notebook 服务作为其云平台的一部分。这些服务为您提供了一个预配置的环境来创建和运行 Jupyter 笔记本。
在 Google Cloud 中，您可以使用 Google Colab（Colaboratory 的缩写），这是一个运行在 Google 基础设施上的免费 Jupyter Notebook 环境。它提供对 GPU 和 TPU 的访问以加速机器学习计算。
要在 Google Colab 中创建 Jupyter Notebook，您只需访问 Google Colab 网站 (colab.research.google.com)，使用您的 Google 帐户登录，然后启动一个新笔记本。您可以选择创建空白笔记本或从 Google Drive 或 GitHub 打开现有笔记本。
贝叶斯超参数优化
贝叶斯超参数优化
大家好，我是Aaron，今天我将讨论贝叶斯超参数优化。我将分享的信息基于多伦多大学罗杰格罗斯教授的工作。虽然我对这个话题还比较陌生，但我认为有必要强调自动方法对超参数调整的重要性。我最近看到了 DeepMind 的一篇关于语言建模的论文，该论文证明了仔细调整超参数的重要性。他们的结果优于其他最先进的模型，仅仅是因为他们在超参数优化上投入了更多精力。作为研究人员，精通超参数调整以准确评估和比较不同模型至关重要。
超参数调整不足的陷阱：超参数调整不是人类固有的技能。如果没有适当的调整，人们可能会无意中发布并不真正优于基线结果的模型。为了避免这种情况，有必要在超参数优化上投入时间和精力。而且，只有掌握了这项技能，才能发挥出最佳的性能。首先，以开放的心态进行超参数调整至关重要。与其对参数值做出先入为主的判断，不如探索各种可能性。我从经验中了解到，过早地限制参数空间会导致时间浪费和模型无效。
网格搜索的问题：不推荐使用网格搜索这种流行的超参数优化方法。当考虑过程的实用性时，它的缺陷就变得很明显。现实世界的模型通常有许多超参数，其中一些比其他的更有影响力。如果采用网格搜索，则可能会在相关超参数的子空间中生成相同点的副本。这些重复项仅在不相关的参数方面有所不同，从而导致冗余工作。因此，在确定哪些参数不相关时，网格搜索可能效率非常低。另一方面，随机搜索提供了一种简单的替代方法。通过随机选择超参数值，研究人员可以减轻这种冗余并改进他们的优化过程。高级方法确实存在，但与随机搜索相比，它们通常只提供边际改进。因此，在随机搜索上投入更多的时间可以产生可比的结果。
有效超参数优化的技巧：除了使用随机搜索之外，还有一些其他策略可以有效优化超参数。一种方法是消除可以根据先验知识或其他程序确定或设置的超参数。通过减少参数数量，优化过程变得更易于管理。还值得注意的是，大多数已发表的论文通常都没有正确调整。实现精确调谐需要进行大量实验，这可能非常耗时。因此，研究人员应该准备好投入大量时间来取得最好的结果。
贝叶斯超参数估计：现在让我们深入探讨用于超参数调整的贝叶斯参数估计主题。超参数包含无法作为模型本身的一部分学习的所有变量，包括模型大小、正则化、学习率和训练持续时间等。通常，验证集用于选择参数，并相应地评估它们的性能。然而，由于这个过程缺乏梯度，它不同于使用反向传播解决的主要学习问题。此外，由于评估每个实验的计算费用，在选择超参数组合时必须具有战略性。
贝叶斯回归作为工具：贝叶斯回归是一种有用的工具，有助于量化与超参数空间的不同区域相关的预期性能和不确定性。通过将概率分布拟合到可能的函数，贝叶斯回归提供了一种比简单地将单条线拟合到数据更细微的方法。最初，在没有观察的情况下，样本函数显得分散。然而，随着进行更多的观察，函数的分布变窄，反映出确定性增加。
超参数优化的另一个重要方面是需要消除尽可能多的超参数。如果有一种方法可以根据一些先验知识或通过另一个过程来确定超参数的值，那么相应地设置它是个好主意。您拥有的超参数越多，有效优化它们的难度就越大。通过减少超参数的数量，您可以简化优化过程并使其更易于管理。
还值得注意的是，该领域发表的大部分论文都没有正确调整。实现适当的调谐需要进行大量实验，远远超过研究人员通常进行的实验。如果您真的想观察模式并收集支持特定参数值的证据，请准备好在调整过程中投入大量时间。
现在让我们回到 Roger Gross 的幻灯片。演示的重点是用于调整超参数的贝叶斯超参数估计。超参数是指所有不能作为模型的一部分学习的变量，描述所选模型，例如模型大小、正则化、学习率和训练持续时间。选择合适的超参数对于实现最佳模型性能至关重要。
不推荐使用传统的超参数调整方法网格搜索，因为它效率低下。网格搜索通常会导致对超参数组合进行冗余评估，并且无法说明每个超参数的相关性。相反，建议更有效地探索超参数空间。随机搜索可以是网格搜索的简单替代方法，但还有更高级的方法可用，我们将对此进行讨论。
演讲者强调了以开放的心态开始并考虑所有可能的超参数值的重要性。对超参数范围做出预先判断可能会导致次优结果和浪费时间。必须避免将网格搜索作为超参数搜索方法，因为它会重复工作并且无法准确识别相关超参数。随机选择超参数可能是一个合理的选择，因为它提供了一个很好的基线。
但是，更高级的方法（例如贝叶斯回归）可以提供更好的结果。贝叶斯回归允许对超参数空间进行建模并估计与每个超参数设置相关的预期性能和不确定性。回归模型考虑了所有可能的超参数值，而不是关注单个点，从而做出更明智的决策。
为了选择下一组要探索的超参数，演示者介绍了采集函数的概念。获取函数量化了性能的预期改进和超参数空间中的不确定性。它平衡了探索和开发，旨在找到可能不错但还未探索的超参数设置。
演讲者强调，虽然幻灯片描述的是一维示例，但超参数空间通常维数更高，这使得可视化具有挑战性。贝叶斯回归可以使用高斯过程等技术应用于高维空间。存在不同的建模方法，选择应基于计算成本和手头的具体问题等考虑因素。
为了评估各种超参数优化方法的性能，进行了实验，并且以最少的实验实现最佳性能的方法被认为是最有效的。与人类专家的猜测和随机搜索进行比较，其中先进的方法始终优于这些基线。
总之，贝叶斯超参数优化提供了一种通过有效探索超参数空间来提高模型性能的强大方法。它有助于避免网格搜索的陷阱，并允许研究人员根据预期性能和不确定性估计做出更明智的决策。然而，在选择合适的超参数优化方法时，必须仔细考虑计算成本、超参数相关性和研究的总体目标。
请记住，此演示文稿基于 Roger Gross 的见解，并就超参数优化的重要性和贝叶斯技术的优势提供了宝贵的指导。建议参考原始论文或该领域的进一步研究，以更详细地了解这些方法及其实施。
GANs
GANs
使用生成对抗网络 (GAN) 进行图像生成时，有几个注意事项。在这种情况下，GAN 既有优点也有缺点。一个重要的优势是 GAN 自然地强制生成的分布与目标分布相似，而不需要复杂的损失函数。这是通过生成器和鉴别器之间的 mini-max 博弈实现的。 GAN 提供了一种通过学习底层分布来编码逼真图像的好方法。然而，在实践中，训练系统时通常需要额外的损失。
有多种类型的 GAN 用于不同的目的。条件 GAN 允许根据条件概率分布生成数据。这意味着生成器可以以特定信息为条件，而不是从单个概率分布生成。其他 GAN 变体，例如 Pix2Pix 和 CycleGAN，专注于图像到图像的翻译任务。这些模型可以将图像从一个域转换到另一个域，从而实现风格转换或图像合成等任务。
训练 GAN 可能具有挑战性，有一些技巧可以帮助改进训练过程。重要的是不要轻易放弃，因为 GAN 通常需要多次迭代才能收敛。在 -1 和 1 之间归一化图像输入通常是有益的，并且可以应用标签平滑来提高训练稳定性。使用高斯噪声而不是均匀分布的噪声作为生成器的输入也很有帮助。还有许多其他技巧可用于训练 GAN，GitHub 存储库等资源可以提供全面的列表。
为了说明 GAN 的实际使用，让我们看一个使用 CycleGAN 进行图像到图像转换的示例。该模型旨在将图像从一个域转换到另一个域，而不需要明确配对的训练样本。相反，使用来自每个域的图像池，目标是学习两个转换：一个从域 X 到域 Y，另一个从域 Y 到域 X。引入循环一致性项以确保应用前向图像的反向变换返回原始图像。该模型结合了多种损失，包括 GAN 损失和循环一致性损失，以训练生成器和鉴别器。
可以通过各种方法对结果进行评估。可以进行 Mechanical Turk 研究，要求人工评估人员区分真实图像和生成图像。此外，与原始地图相比，可以使用特定的评估指标（如联合交集（IoU））来衡量生成的分割图的准确性。
值得注意的是，虽然 GAN 已经显示出令人鼓舞的结果，但在训练它们时仍然存在挑战。模式崩溃，其中生成器产生有限的变化，颜色保存问题是可能出现的困难之一。研究人员不断探索和改进 GAN 模型以获得更好的图像生成结果。
已探索的另一种改进 GAN 训练的方法称为渐进式增长。在传统的 GAN 训练中，生成器和判别器在整个训练过程中同时在相同分辨率的图像上进行训练。然而，渐进式增长采用不同的方法。
在渐进式增长中，训练从低分辨率图像开始，并随着时间的推移逐渐增加分辨率。这种方法背后的想法是让模型首先学习基本结构，然后随着分辨率的增加逐渐细化细节。这有助于稳定训练过程，并能带来更好的结果。
在渐进式 GAN 的训练过程中，使用了多种分辨率，并且随着分辨率的增加，新层被添加到生成器和鉴别器网络中。这些模型以分层方式进行训练，首先训练低分辨率层，然后添加和训练高分辨率层。
通过从低分辨率图像开始，模型可以学习全局结构并生成粗略的细节。随着分辨率的提高，模型可以专注于捕捉更精细的细节并生成更逼真的图像。这种循序渐进的训练过程有助于避免训练不稳定和模式崩溃，这是 GAN 训练中的常见挑战。
渐进式增长已被证明可以有效地生成跨各个领域的高质量图像，例如人脸、风景和物体。它允许生成具有更逼真的纹理、更清晰的细节和更好的整体视觉质量的图像。
除了渐进式增长之外，还有其他技术和技巧可用于改进 GAN 训练。其中一种技术是使用正则化方法，例如权重归一化、谱归一化和梯度惩罚，这有助于稳定训练并防止模式崩溃。
另一个重要的考虑因素是损失函数的选择。虽然对抗性损失是 GAN 训练的关键组成部分，但它通常辅以额外的损失函数来指导学习过程。这些额外的损失可能包括感知损失、特征匹配损失或重建损失，具体取决于具体任务和期望的输出。
此外，网络架构、激活函数和优化算法等架构选择也会影响 GAN 的训练。为了获得最佳结果，通常需要对这些选择进行实验和微调。
总体而言，训练 GAN 是一项复杂且具有挑战性的任务，需要仔细考虑各种因素。虽然 GAN 在生成逼真的图像方面取得了显着的成功，但实现稳定和高质量的结果仍然是一个活跃的研究领域。训练技术、正则化方法和损失函数的进步不断突破 GAN 可以实现的界限。
快速卷积算法
快速卷积算法
我叫 Tanner，Dan 邀请我在他的深度学习和实践研讨会上发言。然而，我很快意识到我对深度学习的了解并不多。尽管如此，我还是决定专注于该主题的实际方面。因此，我将我的演讲命名为“我如何学会停止担心并热爱 CDNN”或“我的卷积如何变得如此之快？”我想强调事物的实际方面。
首先，我介绍了一个有趣的事实，与会者可以在他们的下一次深度学习聚会上分享。事实证明，comnet 实际上并不执行卷积；他们执行相关性。这是一个细微的差别，不会对讨论产生重大影响。
接下来，我介绍了一些我会在整个演讲中使用的符号。在典型的卷积中，您有一个批量大小 (n)，表示一起处理的图像数量。还有一个内核大小，为简单起见，我们假设它是正方形的。此外，还有输出宽度和高度，这取决于输入维度和内核大小。此外，还有输入通道 (c) 和输出通道 (d)。
然后我继续解释朴素卷积算法，这是最直接的实现。该算法由七个嵌套的 for 循环组成。虽然前四个循环可以并行化，但其余循环（五到七个）提出了挑战，因为它们修改了相同的输出值。即使在使用 GPU 时，由于相关的内存访问，并行化这些循环也不是微不足道的。
为了说明这个概念，我提供了一个带有 3x3 卷积的 4x4 输入的小示例，从而产生 2x2 的输出。每个输出元素需要九次乘法，计算所有四个输出值需要 36 次乘法。
接下来，我介绍了问题的托普利茨矩阵形式，它以矩阵形式表示卷积计算。这种形式展示了通过权重共享实现的参数节省以及由于选择性权重相互作用而出现的许多零点。然而，这种矩阵表示为较大的输入和输出引入了内存挑战。
为了解决这个问题，我讨论了 Cafe 使用的另一种方法，即复制输入而不是内核。通过创建输入的矩阵表示，可以使用矩阵乘法高效地执行卷积计算。这种方法的优点是它可以外包给像 CuBLAS 这样的库，它可以并行计算并利用优化的硬件。
我还强调了一种流技术，它将计算分成更小的块，允许计算和数据传输之间的重叠。这种方法有助于减轻内存限制并提高整体性能。
接下来，我通过回顾 1980 年代的论文讨论了计算机视觉方面取得的进展。从信号处理技术中汲取灵感，特别是算法强度降低，研究人员能够提高卷积的速度。
我解释了最小滤波理论的概念，该理论指出具有滤波器大小 (k) 和输出宽度 (w) 的一维卷积可以通过少至 w + k - 1 次乘法来实现。通过重新安排计算并引入允许更多加法而不是乘法的中间值，可以减少乘法。
我提供了一个 Weiner-Grassmann 算法的示例，它展示了如何组织一维卷积以最小化乘法。通过应用该算法，我们可以减少给定卷积所需的乘法次数。
这些概念也可以扩展到 2D 卷积，其中最小 1D 卷积可以嵌套在最小 2D 卷积中。我演示了这种嵌套并解释了不同输入和内核大小如何需要特定矩阵。
在这个特定的场景中，我们有一个三乘三的卷积和一个四乘四的输入，算法缩减方法的矩阵如下所示：
一个矩阵：
[ 0 1 1 0 0 -1 -1 0 ]
[ 0 1 -1 0 0 -1 1 0 ]
[ 0 0 0 1 -1 -1 1 0 ]
G矩阵：
[0 1 -1 0]
[-1 0 0 1]
[0 -1 1 0]
B矩阵：
[ 0 1 1 0 ]
[ 0 1 -1 0 ]
[ 0 0 0 1 ]
使用这些矩阵，我们可以使用矩阵乘法和加法计算输出。通过以这种方式重新安排计算，我们减少了所需的乘法次数。
因此，算法强度降低方法允许我们使用更少的乘法执行卷积，这可以显着提高速度。通过利用卷积运算的特性并应用信号处理技术，我们可以实现更快、更高效的计算。
值得注意的是，这些技术只是对深度学习和卷积神经网络广阔领域的一瞥。还有许多其他优化和改进可以提高卷积的速度和效率，例如使用 GPU 或 TPU 等专用硬件、实施并行化技术以及探索不同的算法方法。
总之，深度学习和卷积神经网络已经彻底改变了计算机视觉领域，并已成为广泛应用的必备工具。了解算法强度降低等基本原理和技术可以帮助我们优化和改进深度学习模型的性能，从而在未来实现更令人兴奋的进步。
Deep Reinforcement Learning
Deep Reinforcement Learning
Before we begin, let's take a quick poll to see who here has been actively working with deep learning for less than a year. Raise your hand if you fall into this category. Now, how about those who have been working with deep learning for less than six months? Great! And finally, who among you has been using deep learning for a longer period, more than a year? Excellent, we have a few experienced individuals here as well.
Now, I'd like to start by sharing a little story of my own journey. I have been working on deep learning for about a week, which was around the time when Daniel initiated this group. I remember he encouraged everyone to present their work, and even though I didn't have much to show at that point, I decided to participate anyway. Fast forward to today, and I can proudly say that I have made significant progress in just one week. I want to share my experiences and what I have accomplished during this time. This will be interesting for those who are new to deep learning and also for those who are curious about PyTorch.
So, what have I been doing in the last week? To begin, I started by familiarizing myself with the basics of deep learning using a simple CIFAR-10 example. For those who don't know, CIFAR-10 is a dataset consisting of ten different classes of images. It serves as a straightforward introduction to deep learning. The goal is to train a neural network to predict the class of an image. I will walk you through some code to explain the process and highlight what we are actually doing.
Let's take a look at the code. The first thing I want to mention is how concise it is. This file contains just 140 lines of Python code, which is quite impressive considering it covers everything we need for training on CIFAR-10. Previously, I had been working with low-level C and CUDA, so coming across PyTorch was a revelation. The structure of the code is straightforward. We have some basic data transformations, a train set, and a train loader, which are conveniently provided by the torch vision module. This module allows us to download the CIFAR-10 dataset effortlessly. We define our network, which consists of convolutional and fully connected layers. PyTorch takes care of the backpropagation and provides built-in optimizers. With just a few lines of code, we can start training the model on CIFAR-10.
Moving on, I want to discuss reinforcement learning and its application to deep learning. Reinforcement learning differs from traditional classification or regression tasks because it involves interactive environments and agents that take actions to maximize rewards. Instead of having labeled training data, we receive reward signals based on our actions in the environment. To demonstrate this concept, let's look at the DQN (Deep Q-Network) example using the Cartpole environment.
The Cartpole environment simulates a pole balanced on a cart, and the goal is to keep the pole upright for as long as possible. We receive a reward when the pole remains balanced and a penalty when it falls. This is a classic reinforcement learning problem. In the code, we use a replay memory to store past experiences and sample from them during training. This helps overcome the issue of correlated observations that can disrupt the backpropagation process. Our network architecture is defined similarly to the CIFAR-10 example, but now we focus on predicting future rewards given a state-action pair. We select actions based on the estimated rewards and update our model accordingly.
Finally, I want to share my own quick example that I worked on just yesterday. I created a simple environment where a player navigates towards a reward. The player receives a reward based on its distance to the goal.
In this example, I created a grid-based environment where a player navigates towards a reward. The player's objective is to reach the goal position and receive a high reward while avoiding obstacles and penalties. The player's current position is represented by coordinates (x, y) on the grid.
To implement this, I used a 2D array to represent the environment. Each cell in the array corresponds to a position on the grid and holds a value indicating the type of that cell (e.g., obstacle, reward, penalty, empty space). Initially, the player is randomly placed in the environment, and the goal position is set to a specific coordinate.
I then defined a neural network that takes the player's current position as input and predicts the best action to take (i.e., move up, down, left, or right) to reach the goal. The network is trained using a variant of the Q-learning algorithm, where the Q-values represent the expected rewards for each action in a given state.
During training, the player explores the environment by taking actions and receiving immediate rewards based on its position. These rewards are used to update the Q-values and improve the network's predictions. The training process continues until the player consistently reaches the goal position and receives high rewards.
Once the training is complete, we can test the trained network by letting the player navigate the environment using the learned policy. The player uses the network's predictions to select the best actions at each step, gradually moving closer to the goal.
This example demonstrates the application of deep reinforcement learning in a custom environment. It showcases how a neural network can learn to navigate a complex space, make decisions based on rewards and penalties, and achieve a specific goal.
学习可解释的表征
学习可解释的表征
大家好，我叫 Arun，在本次演讲中，我将讨论在深度网络中学习可解释表示的主题。事实证明，深度神经网络在计算机视觉、机器人技术和自然语言处理等各个领域都非常成功。然而，它们的缺点之一是缺乏可解释性。与更简单的模型不同，仅通过检查其激活并不容易理解深层网络。当我们想要深入了解网络实际学习的内容时，这就构成了挑战。
在许多情况下，深度网络中的中间表示没有意义或不可解释。虽然我们可以可视化卷积层的权重并在训练后获得一些理解，但大多数时候，这些网络被视为黑盒逼近器。但是如果我们真的关心可解释性呢？
在本次演讲中，我将重点介绍构建深度网络以生成可解释表示的方法。通过将有关问题域的先验知识纳入网络结构，我们可以获得更好的可解释性，这通常会提高泛化能力和数据效率。
有不同的方法来构建深度网络以增强可解释性。我将讨论五六篇探讨这个想法的论文。第一种方法涉及将特定操作显式引入网络体系结构。例如，卷积神经网络 (CNN) 通过对图像块使用局部操作在图像分析中取得了成功。通过包含卷积层，我们可以减少参数空间并获得有意义的表示。但是，请务必注意，网络可能仍会学习未明确训练的特征。
另一种方法是将数据的转换合并到网络结构中。例如，刚体变换可用于校正和对齐场景中的对象。通过对这些转换进行显式建模，我们可以提高网络理解数据底层结构的能力。此外，将基于动力学和物理的建模集成到深度网络中也可以增强可解释性。通过使用 OpenGL 渲染等技术，我们可以模拟逼真的交互并提高网络对物理世界的理解。
此外，我将讨论构建训练过程的工作，以鼓励更多可解释的表示。这涉及为中间表示分配意义并显式训练网络以预测数据的特定属性或特性。通过将这种结构纳入训练过程，我们可以引导网络学习更有意义的表征。
为了说明这些概念，我将举几个例子。一篇论文侧重于胶囊网络，旨在对场景中物体的高级信息进行编码。通过结合识别对象和预测对象属性的胶囊的输出，我们可以生成更准确和可解释的结果。
最近的另一篇论文介绍了空间变换器网络架构，它学习将输入数据变形为规范表示。通过预测转换参数并将它们应用于输入，网络可以纠正变化并对齐数据以便于处理和分类。
最后，我将讨论我自己在场景动力学建模方面的工作。通过明确地结合物理先验知识并使用旋转和平移对刚体运动进行建模，我们可以提高网络准确预测对象交互的能力。
总之，通过构建深度网络以产生可解释的表征，我们可以获得对其工作原理的宝贵见解，并提高它们在各种任务中的表现。包含先验知识、使用特定操作以及动态和转换的集成都是可以增强可解释性并导致更好的泛化和数据效率的策略。
循环神经网络
循环神经网络
作者深入研究了递归神经网络 (RNN) 和长短期记忆 (LSTM) 网络的复杂工作原理，阐明了它们的重要性和功能。与可以表示为有向无环图的传统神经网络不同，RNN 在其图形结构中具有循环。这种循环性质需要在处理数据时考虑输入的时间顺序。作者的主要关注点在于时间序列 RNN，它可以有效地处理多个时间步长的输入。
为了说明这个概念，作者提出了一个名为“寻找比尔博”的引人入胜的示例问题。在这种情况下，由于树的部分遮挡，常规神经网络在第三张和第四张图像中定位 Bilbo 时遇到困难。然而，人类可以利用时间信息来推断比尔博很可能位于树后面。具有固有记忆能力的递归神经网络为这个问题提供了解决方案。作者继续解释循环神经网络如何随时间展开，从而使信息从一个时间步传递到下一个时间步。此功能使网络能够保留 Bilbo 的位置信息。
训练递归神经网络涉及梯度随时间的反向传播。然而，这个过程可能会导致梯度爆炸或消失的挑战，尤其是当网络在多个时间步展开时。为了解决这个问题，作者引入了 LSTM 网络。 LSTM 网络专门用于缓解梯度爆炸或消失的问题。它们采用称为门的专门内部结构，可以有效地控制信息流并更新网络的记忆。作者进一步解释了 LSTM 的四个基本门：遗忘门、输入门、块输入和输出门。这些门协作选择性地忘记和记住网络记忆中的信息。
此外，作者还提到了几种常用的 LSTM 变体。这些包括合并一个明确的循环状态，使 LSTM 能够将以前的循环状态视为输入，并利用窥孔，这允许门在做出决定时考虑当前的单元状态。
换档，作者开始对 LSTM 进行详细解释，特别强调它们在水检测和跟踪方面的实用性。虽然由于水很容易区分，循环网络对于水检测可能不是必需的，但跟踪问题极大地受益于 LSTM 提供的时间信息。 LSTM 的循环特性允许随着时间的推移聚合和保留信息，事实证明这对于跟踪具有动态反射和折射的水等物体非常有价值。
作者接着介绍了比较不同网络在检测和跟踪任务中的性能的研究结果。研究结果表明，与循环 LSTM 网络相比，没有循环的常规卷积神经网络 (CNN) 在检测和跟踪水方面表现出较低的精度。作者还提到了另一个同时考虑多个帧但缺乏循环的网络。尽管该网络优于常规 CNN，但仍达不到 LSTM 所达到的精度。
扩展这个主题，作者对 LSTM 中的单元状态或循环状态的初始化提供了额外的见解。通常，这些状态被初始化为零。然而，替代选项包括使用训练数据中的平均细胞状态初始化它们或利用特定领域的知识进行初始化。
文本随后过渡到另一个说明性示例，深入研究了 Daniel 的作品和他的创作“re3”。这项工作围绕视频中的对象跟踪展开。作者解释了所采用的网络架构，具有两个内部 LSTM 层。通过结合之前和当前时间步中对象周围的图像裁剪，网络可以有效地跟踪对象随时间的移动。作者强调了 LSTM 在处理外观变化、遮挡和光照变化方面的卓越能力，使其成为对象跟踪的有力工具。
在结束讨论时，作者指出，基于 LSTM 的网络的性能取决于给定任务的具体要求。虽然这些网络证明对于涉及具有不同外观的对象的问题是有益的，但更简单的网络架构可能足以满足其他情况。
总而言之，本书全面探索了递归神经网络，尤其是 LSTM 网络。它阐明了它们的目的、机制和优势，同时阐明了它们在水检测和跟踪以及目标跟踪任务中的应用。此外，作者还强调了使用 PyTorch 实现 LSTM 的便利性，强调了其与其他框架相比的简单性。
分布式深度学习
分布式深度学习
今天标志着我们共同旅程的最后一次展示，我想深入探索分布式深度学习的迷人世界。虽然这个话题激起了我的好奇心，但我必须承认，直到现在我还没有对它进行过广泛的探索。然而，我认为值得讨论分布式深度学习的权衡和实际意义，因为它具有加快训练过程的巨大潜力。请记住，尽管我拥有一些系统知识并编写了大量代码，但我并不是该领域的专家。因此，当涉及到真实世界的分布式系统时，可能存在我无法完全理解的复杂性。话虽如此，让我们开始对分布式深度学习的探索。
当我们谈论分布式深度学习时，我们的主要目标是提高速度和效率。然而，在优化更快的训练时，我们会考虑几个相关但不同的因素。这些因素包括最小化训练时间、最大化吞吐量、最大化并发性、最小化数据传输、最大化批大小和最小化延迟。这些方面中的每一个都有助于实现更快、更高效的深度学习模型。
最小化训练时间和最大化批量大小是紧密交织的概念。增加批量大小可以提高学习率，最终加快训练速度。为了说明这一点，让我们假设从单个 GPU 和适度的批处理大小（例如 100 张图像）开始。当我们尝试将批量大小扩大到例如 200 张图像时，我们遇到了 GPU 内存方面的限制。解决方案在于利用多台机器或 GPU。通过将网络参数分布在多个 GPU 上，每个 GPU 处理 100 的批量大小，我们可以并行化前向和反向传播。之后，我们同步梯度并相应地更新模型。例如，Facebook 开发了能够容纳 256 个 GPU 的定制硬件，使他们能够在一小时内在 ResNet-50 模型上训练 ImageNet。虽然对于大多数应用程序而言，这种极端的可扩展性可能不是必需的，但了解所涉及的原则和权衡可能有利于该领域未来的努力或实习。
接下来，让我们逐步研究优化效率的概念。我们将讨论潜在的陷阱并提供实现正确性和速度的建议。
归一化损失函数：归一化关于总批量大小的损失函数是至关重要的。在跨多台机器或 GPU 复制网络时，梯度的求和或平均会产生不同的结果。通过确保损失函数被正确归一化，我们保持了不同批量大小的一致性，从而促进了准确高效的训练。
洗牌数据：当跨多个工作人员或机器分发数据时，洗牌变得必不可少。如果不进行改组，小批量可能会在很长一段时间内变得相关，从而降低训练的有效性。通过在每个时期开始时打乱数据，我们确保了随机性并防止相似的模式影响连续的小批量。
批量归一化：批量归一化在分布式环境中提出了独特的挑战。为了应对这些挑战，建议跨小批量执行批量归一化统计，通常限制为 GPU 批量的大小。这种方法允许并行性，而不会牺牲从分配工作负载中获得的好处。研究人员对这个问题进行了广泛的探索，我建议参考他们的工作以获得更详细的理解。
处理错误和监控进度：在追求分布式深度学习时，必须有强大的错误处理机制和进度监控系统。随着分布式系统复杂性和规模的增加，可能会出现错误和瓶颈。通过实施可靠的错误处理和监控工具，我们可以减轻潜在问题并确保平稳运行。
系统特定的注意事项：每个分布式系统都有其独特之处。
让我们继续探索分布式深度学习中特定于系统的注意事项：
A。通信开销：不同机器或 GPU 之间的通信是分布式深度学习中的一个重要因素。数据传输和同步所花费的时间会影响整体训练速度。优化通信模式并最大程度地减少不必要的数据移动至关重要。梯度压缩、梯度量化和梯度稀疏化等技术有助于减少通信开销并提高效率。
b.网络架构：网络架构的选择也会影响分布式深度学习的性能。一些架构本质上更适合分布式训练，而其他架构可能需要修改或额外的技术来实现高效的并行化。了解所选架构的特征及其与分布式训练的兼容性对于获得最佳结果非常重要。
C。数据分区和负载平衡：在多个工作人员之间分配数据时，必须以均匀平衡工作负载的方式对数据进行分区。不均匀的数据分布会导致负载不平衡和训练速度变慢。可以采用数据并行、模型并行、混合并行等技术，有效分配工作负载，实现负载均衡。
d.容错：分布式系统容易出现故障，因此引入容错机制以确保健壮性至关重要。检查点和自动恢复等技术可以帮助优雅地处理故障并在不造成重大中断的情况下恢复训练。
e.可扩展性：随着分布式系统规模的增长，可扩展性成为一个关键因素。该系统应该能够有效地处理越来越多的机器或 GPU，而不会显着降低性能。确保可扩展性需要仔细的系统设计、资源分配和通信优化。
F。同步和一致性：在分布式深度学习中，必须在不同工作人员之间同步模型和梯度以保持一致性。可以使用同步训练、异步训练和延迟更新等技术来平衡收敛速度和一致性。同步方法的选择取决于训练任务和系统架构的具体要求。
G。资源管理：有效的资源管理对于分布式深度学习有效利用可用资源至关重要。这包括管理 GPU 内存、优化 GPU 利用率以及根据工作负载动态分配资源。模型并行和梯度累积等技术可以帮助克服 GPU 内存限制并最大限度地提高资源利用率。
总之，分布式深度学习为加速训练和提高效率提供了重要机会。然而，它也提出了需要解决以实现最佳结果的挑战。通过考虑批量大小、规范化、洗牌、通信开销、特定于系统的考虑因素、容错、可扩展性、同步和资源管理等因素，我们可以驾驭分布式深度学习的复杂性并释放其全部潜力。
认知计算与人工智能简介
认知计算与人工智能简介
我是 Soper 博士，很高兴欢迎您观看这个关于认知计算和人工智能 (AI) 的综合系列的第一个视频。本系列旨在为有兴趣进一步了解这些令人兴奋的领域的个人提供知识和见解。无论您之前是否了解 AI 或认知计算系统，本系列都将涵盖基础知识并打下坚实的基础。
虽然我们中的许多人都在科幻小说或大片中遇到过人工智能，但这个视频系列将侧重于现实而不是虚构。我们的旅程将深入探究认知计算和人工智能的真正本质。我们将探索它们的定义、当今可用的不同类型的系统、它们的功能、现实世界的应用，以及它们将对我们生活的各个方面产生的变革性影响。
本系列的一个引人入胜的方面是，我们还将学习如何利用 Python 和 Jupyter Notebooks 来构建我们讨论的 AI 和认知系统。随着我们进行实际实施，这种实践体验无疑将成为本系列中最令人愉快的部分之一。
那么，让我们开始我们的教育冒险吧！
由于本课程是对人工智能和认知计算的介绍，因此定义这些术语至关重要。人工智能，简单来说，就是指机器所表现出的智能。它包括感知环境、采取行动或做出决定以实现目标的人造设备。人工智能系统的不同之处在于它们无需明确指示即可独立学习的能力。相反，他们可以自主确定解决问题或执行任务的最有效方法。
另一方面，认知计算是指承担传统上人类认知独有的任务或提供服务的人工智能系统。虽然所有认知计算系统都被视为人工智能，但并非所有人工智能系统都具有认知能力。认知计算包括广泛的应用，例如异常检测、情感分析、语言翻译、自然语言处理、语音识别和合成、图像和视频识别等。
在本系列中，我们将探索和实施四种不同类型的人工智能模型，它们是各种认知计算系统的基础。
首先，我们将深入研究 Thompson Sampling，这是一个相对简单的 AI 模型，可帮助系统解决探索-利用困境。这些系统可以自主学习选择能够最大化其预期回报的行动。
接下来，我们将深入探讨属于强化学习范畴的 Q-learning。 Q-learning 涉及在以状态和可能的动作为特征的环境中运行的代理。这些系统可以自动识别在任何给定状态下指导决策的最佳策略。
我们将介绍的第三个模型是深度学习，它围绕人工神经网络展开。这些网络类似于人脑，由相互连接的节点或神经元组成。深度神经网络是许多有趣的人工智能和认知系统的基础，包括语音识别、机器翻译、医学诊断等领域的系统。他们甚至展示了玩视频游戏、创作艺术品和创作音乐等任务的能力。
最后，我们将探索深度卷积神经网络。这些网络采用一种称为卷积的专门数学运算，使它们能够出色地处理图像和视频中的视觉信息。
现在，人工智能和认知计算将如何彻底改变世界？可能性几乎是无限的！到 2030 年，这些技术预计将为全球经济贡献约 16 万亿美元。企业、政府和个人的潜在利益是巨大的。
在能源领域，人工智能和认知计算将优化能源消耗和分配，有效降低全球能源使用量。在医疗保健领域，这些技术将有助于设计新药和疫苗、诊断疾病以及提供个性化医疗服务。在运输和物流领域，由人工智能驱动的自动驾驶汽车将大大减少事故和交通拥堵，同时彻底改变电子商务交付。教育将受益于人工智能和认知计算促进的个性化和优化的培训体验。通过人工智能减少犯罪、提高公共安全以及打击欺诈和身份盗窃的能力，安全和保障将得到加强。就业部门将利用人工智能来确定候选人和职位之间的最佳匹配，从而提高工作满意度。智能家居和家庭机器人将自动执行任务、监控设备并提供住家机器人助手，促进老年人和残疾人独立生活。人工智能和认知计算还将通过推荐体验和帮助人们找到新朋友和社交圈来彻底改变娱乐和社交。环境倡议将受益于 AI 带来的改进的废物处理、回收和污染减少。在商业中，人工智能将实现流程自动化、优化利润、促进创新并加强决策制定。
这些例子只是表面现象，因为人工智能和认知计算将继续推出无数更具变革性的应用。它们有可能增强决策制定、增强人类智能并释放认知资源用于其他任务。在不久的将来，认知机器和人工智能将无缝融入我们的生活，像智能手机、互联网或电力一样不可或缺。我们会想知道没有他们我们是如何生活的。
在下一课中，我们将探索 Jupyter Notebooks，这是一个强大的工具，将在整个系列中与 Python 结合使用，以构建和实施我们之前讨论的 AI 模型。即使您不熟悉 Jupyter Notebooks 或 Python，请放心，随着我们旅程的推进，您将获得使用这些工具的丰富经验。
我希望您发现这个关于认知计算和人工智能的介绍性课程内容丰富且引人入胜。直到下一次，祝你有美好的一天！
您的 AI 工具包 - 使用 Jupyter Notebooks
您的 AI 工具包 - 使用 Jupyter Notebooks
我是 Soper 博士，今天我很高兴向您介绍您的人工智能工具包。我们的主要重点将放在一种非常有用且用户友好的技术上，称为 Jupyter Notebooks。
但在我们深入探讨具体细节之前，让我们花点时间回顾一下您可以期望在本课中学到什么。
看完本视频，您将清楚地了解：
在本课中，我们将踏上构建、训练和测试人工神经网络的实践之旅。您会惊喜地发现这个过程是多么简单！
首先，让我们讨论一下为什么拥有 AI 工具包是必不可少的。
这一系列关于认知计算和人工智能的视频超越了理论和概念。您将学习如何构建各种类型的 AI 模型！
要构建任何人工智能或认知计算模型，我们都需要一套工具。这些工具包括 CPU、内存和文件存储等计算资源。我们还需要一个开发环境，我们可以在其中开展我们的 AI 项目。最后，我们需要一组指令来将我们想要的操作传达给计算机。
在工具方面，我们将在整个系列中学习 Python 编程语言，从下一个视频开始。
在计算资源和开发环境方面，云端托管的Jupyter Notebooks可以为我们的AI和认知计算项目提供。
现在，让我们探索什么是 Jupyter 笔记本。
Jupyter Notebook 是一种基于 Web 的交互式环境，由有序的单元格集合组成。 Jupyter Notebook 中的每个单元格都可以包含文本、编程代码、数学公式、图像或其他媒体元素。
这种多功能性使您可以将所有笔记、代码、图表、可视化效果以及来自 AI 和认知计算模型的输出保存在一个地方。
Jupyter 笔记本利用内核来运行编程代码并维护项目的当前状态。 Jupyter Notebooks 最令人印象深刻的功能之一是能够一次运行一个单元格。笔记本服务器会自动跟踪内存中项目的当前状态。
此功能允许您在一个单元格中编写代码、执行代码并观察结果。然后，您可以继续在后续单元格中编写其他代码，访问和利用先前单元格的结果。这种增量方法使您能够逐步构建和完善项目，而无需在每次进行更改时重新运行所有内容。
Jupyter Notebooks 另一个值得注意的方面是它们支持多种编程语言，例如 Julia、Python 和 R。“Jupyter”这个名字实际上来源于这三种语言的组合。
现在，您可能想知道为什么 Jupyter Notebook 优于其他开发平台。
虽然有替代方法可用，但 Jupyter Notebooks 为 AI 和认知计算项目提供了许多优势：
现在我们了解了使用 Jupyter Notebooks 的好处，让我们讨论如何在 Google Cloud 和 Microsoft Cloud 中免费创建它们。
Google Cloud 和 Microsoft Cloud 都提供 Jupyter Notebook 服务作为其云平台的一部分。这些服务为您提供了一个预配置的环境来创建和运行 Jupyter 笔记本。
在 Google Cloud 中，您可以使用 Google Colab（Colaboratory 的缩写），这是一个运行在 Google 基础设施上的免费 Jupyter Notebook 环境。它提供对 GPU 和 TPU 的访问以加速机器学习计算。
要在 Google Colab 中创建 Jupyter Notebook，您只需访问 Google Colab 网站 (colab.research.google.com)，使用您的 Google 帐户登录，然后启动一个新笔记本。您可以选择创建空白笔记本或从 Google Drive 或 GitHub 打开现有笔记本。
同样，在微软云中，你可以使用Azure Notebooks，这是微软提供的免费Jupyter Notebook服务。 Azure Notebooks 为数据科学和机器学习项目提供协作环境。
要在 Azure Notebooks 中创建 Jupyter Notebook，您可以使用您的 Microsoft 帐户登录 Azure Notebooks 网站 (notebooks.azure.com)。从那里，您可以创建一个新项目，默认情况下将包含一个 Jupyter Notebook。
Google Colab 和 Azure Notebooks 都提供熟悉的 Jupyter Notebook 界面，以及运行 AI 模型所需的计算资源。您可以安装其他库、上传数据集并与他人无缝协作。
在本课的下一部分中，我们将深入研究一个实际示例，并演示如何有效地利用 Jupyter Notebooks 来开发和执行 AI 和认知计算项目。
敬请期待，让我们继续探索 AI 和 Jupyter Notebooks 的世界！
Python 基础 - 第 01 部分
Python 基础 - 第 01 部分
我是 Soper 博士，今天我很高兴介绍关于 Python 编程语言基础的三门综合课程中的第一门。虽然不可能在几个视频中涵盖 Python 编程的每个细节，但在这三节课结束时，您将获得足够的知识来理解并开始您的 Python 编程之旅。
在这些课程中，我们将使用 Jupyter Notebooks，这是一种用于交互式编程和数据探索的强大工具。如果您不熟悉 Jupyter Notebooks，我强烈建议您观看本系列中的上一个视频，以便在深入学习 Python 编程之前熟悉此环境。
让我们首先概述您将在本课中学到的内容。到本视频结束时，您将获得有关 Python 的以下方面的知识：
显示文本：我们将学习如何使用 print() 函数在屏幕上显示文本。 Python 中的文本用单引号括起来，以区别于编程命令。
变量：变量是计算机内存中以符号命名的存储位置。它们包含可以根据需要更改的值。我们将探索如何创建变量并为它们赋值，无论它们是文本、整数还是浮点数。
算术运算符：Python 提供了各种算术运算符来对变量执行数学运算。我们将介绍加法、减法、乘法、除法、求幂和模运算。
比较运算符：比较运算符允许我们比较两个值并确定它们的关系。我们将学习诸如“等于”、“不等于”、“大于”、“小于”、“大于或等于”和“小于或等于”等运算符。
在整个课程中，我们将利用示例和演示来巩固您对这些 Python 技能和特性的理解。让我们首先讨论如何在 Python 中显示文本。为了展示一行文本，我们使用 print() 函数。我们要显示的文本作为参数传递给单引号内的 print() 函数。此外，我们可以使用“\n”符号包含换行符。由井号 (#) 表示的注释仅供人类使用，有助于解释代码部分。 Python 在执行代码时会忽略注释。
为了演示这些技术，让我们考虑 Jupyter Notebook 中的代码单元。代码单元使用 print() 函数显示文本“你好，我叫丹！”屏幕上。另一个示例展示了使用“\n”在单个 print() 函数调用中显示多行文本。
转到变量，它们被命名为计算机内存中的存储位置。变量可以保存任何类型的数据。要在 Python 中创建一个新变量，我们通过在等号左侧键入变量名并在等号右侧键入值来为其赋值。在代码单元中，我们可以声明变量，例如“product_name”的值为“Delicious Nachos”，“quantity_sold”的值为 33，“unit_price”的值为 12.99。然后我们可以使用 print() 函数和连接打印这些变量的值。
或者，我们可以使用 format() 函数通过变量值的占位符获得相同的结果。这允许我们定义所需的输出文本并在花括号内指示变量位置，从而简化了过程。为了演示算术运算符，我们使用“+”表示加法、“-”表示减法、“*”表示乘法、“/”表示除法、“**”表示求幂、“%”表示模运算等符号。这些运算符对变量执行数学计算。
我希望你们都度过了愉快的一天。我的名字是 Soper 博士，今天我很高兴介绍 Python 编程语言基础知识系列三课的第一部分。现在，需要注意的是，我无法在几个视频中涵盖 Python 编程的每一个细节。但是，当您完成这三节课时，您将获得足够的知识来理解和开始使用 Python 项目。
在这些课程中，我将使用 Jupyter Notebook 来执行所有示例。如果您不熟悉 Jupyter Notebooks，我强烈建议您在进入 Python 编程世界之前先观看本系列中的上一个视频。事不宜迟，让我们简要概述一下您将在本课中学到的内容。
到本视频结束时，您将对 Python 的以下几个方面有很好的理解：
我们将详细探讨这些主题中的每一个，并提供大量说明性示例和演示，以帮助您掌握 Python 编程语言的概念和功能。让我们从学习如何在 Python 中显示文本开始。要在 Python 中显示一行文本，我们使用 print() 函数。我们要显示的文本作为参数传递给 print() 函数，用单引号括起来。在 Python 中，通常将文本字符串括在单引号中。这有助于 Python 区分文本字符串和其他基于文本的编程命令。
在下面的示例中，您会注意到 print() 函数之前的一行以井号 (#) 开头。此行称为注释。评论仅供人类使用。它们帮助我们理解特定代码部分的用途，并使其他人更容易理解我们的代码。 Python 忽略注释，将它们视为不可执行的语句。因此，它们不会影响代码的功能。如果要在文本输出中包含换行符，可以使用转义序列 \n（新行）。这将在该点插入一个换行符。
现在，让我们看一下这些技术的演示。在本笔记本的第一个代码单元中，我们有一个使用 print() 函数在屏幕上显示一行文本的简单示例。当你点击运行按钮时，文本“你好，我叫丹！”将被显示。在下一个代码单元中，我们将使用 \n 换行符号来显示多行文本，只需调用 print() 函数一次即可。运行代码后，Python 会将两行文本打印到屏幕上。现在我们已经介绍了显示文本，让我们继续讨论 Python 中的变量。
变量是计算机内存中以符号命名的存储位置。每个变量都有一个名称和一个值，可以根据需要进行更改。变量对于跟踪程序中的数据非常有用。例如，您可以使用一个变量来存储音乐会售出的门票数量。每次售出额外的票时，您都可以更新变量的值以反映正确的计数。
在 Python 中，变量可以保存任何类型的数据，例如文本、整数或浮点数（带小数的数字）。要创建一个新变量，您只需为其分配一个名称和一个值。让我们看几个例子来更好地理解这个概念。在第一个示例中，我们声明了一个名为“x”的变量并为其赋值 33。在第二个示例中，我们声明了一个名为“current_price”的变量并为其赋值 42.99。
请注意，分配给变量的值可以是数字、文本或任何其他有效数据类型。一旦我们为变量赋值，我们就可以使用 print() 函数在屏幕上显示它们的值。在第三个例子中，我们使用 print() 函数来显示变量“x”的值。我们在第四个例子中对变量“current_price”做同样的事情。
您可以看到，通过打印变量，我们可以查看它们的值并根据需要使用它们。除了直接打印变量外，还有另一种方法可以将它们合并到文本输出中。我们可以使用 format() 函数，它简化了组合文本和变量值的过程。在这种情况下，您定义所需的输出文本并使用花括号 {} 作为占位符指示变量的位置。在 format() 函数内，您按所需顺序提供变量。
让我们看一个示例以了解实际情况。
在第五个示例中，我们有一个名为“product_name”的变量，其值为“Delicious Nachos”。我们想要显示一条包含产品名称的消息。我们定义文本“I love {}!”作为我们想要的输出，使用 {} 作为变量值的占位符。在 format() 函数中，我们提供变量“product_name”。运行代码后，Python 将占位符替换为变量值并打印结果，即“I love Delicious Nachos!”。此方法允许更大的灵活性和动态文本输出，尤其是在处理多个变量或更复杂的消息时。现在我们已经介绍了变量，让我们继续讨论 Python 中的算术运算符。
Python 提供了各种算术运算符，使我们能够对变量执行数学运算。
最常用的算术运算符是：
这些运算符可以与数值变量一起使用来执行计算。
在下面的示例中，我们将使用两个变量“a”和“b”来演示其中的一些算术运算符。
首先，我们声明一个名为“a”的变量并为其赋值 5。接下来，我们声明另一个名为“b”的变量并为其赋值表达式“a + 2”。表达式“a + 2”将“a”的值（即 5）与 2 相加，导致“b”的值为 7。然后我们可以使用 print() 函数显示“a”的值和屏幕上的“b”。
运行代码后，Python 将计算表达式并显示“a”和“b”的值，分别为 5 和 7。
除了加法，我们还可以使用减法运算符 (-) 来减去值，乘法运算符 (*) 来乘法运算，除法运算符 (/) 来除法运算，乘幂运算符 (**) 来增加值幂和模运算符 (%) 来计算除法运算的余数。这些算术运算符可以以各种方式组合和使用以执行复杂的计算。
最后，让我们简要讨论一下 Python 中的比较运算符。比较运算符允许我们比较两个值并确定它们的关系。
最常用的比较运算符是：
使用时，这些运算符返回一个布尔值 True 或 False，指示比较结果。
例如，如果“a”的值等于“b”的值，则表达式 a == b 返回 True，否则返回 False。在下面的示例中，我们将使用不同的比较运算符比较两个变量“a”和“b”的值。我们将使用 print() 函数在屏幕上显示这些比较的结果。运行代码后，Python 将评估每个比较表达式并显示相应的布尔值。您可以看到输出显示了每次比较的结果：True 或 False。
比较运算符可用于根据变量之间的关系有条件地执行代码的不同部分。
我们关于 Python 编程基础知识的第一课到此结束。在本课中，我们介绍了：
我希望本课为您提供了 Python 编程的坚实基础。在下一课中，我们将更深入地研究数据类型，包括字符串、整数和浮点数。
如果您对所涵盖的任何主题有任何疑问或需要进一步说明，请随时提问。感谢您的收看，我们下节课再见！