百度研究院负责人、中国深度学习国家实验室负责人林元庆讨论了国家实验室的成立及其对深度学习社区的影响。 Lin 就中国在深度学习方面的投资及其如何促进各个行业的增长提供了见解。他强调了人工智能开发中反馈循环的重要性，以及这如何有助于创造更好的算法和技术。 Lin 建议个人在机器学习方面打下坚实的基础，并从开源框架入手，以成功进入该领域。
00:00:00 在这一部分，百度研究院负责人、中国深度学习国家实验室负责人林元庆讲述了他的个人故事以及他是如何进入机器学习领域的。 Lin 分享说，他在 UPenn 攻读博士学位时将研究领域从物理学转向了机器学习，他发现这是一次非常令人兴奋的经历，他每天都能学到新事物。他最终参与了 ImageNet 挑战赛的一个成功项目，这让他接触到了大规模计算机视觉任务，并激发了他从事深度学习的工作。作为中国国家实验室的负责人，林的目标是建立中国最大的深度学习平台，为研究人员和开发人员提供资源，以改进现有技术并为大型应用开发新技术。
00:05:00 在本节中，百度研究院负责人林元庆讨论了新的人工智能国家实验室及其对深度学习社区的影响。他强调了该实验室将如何为运行深度学习模型提供计算结构，这将使重现研究变得更加容易。他还讨论了中国对深度学习的投资，以及它如何促进电子商务、监控等多个领域的发展。 Lin 强调了人工智能开发中反馈循环的重要性，以及这如何有助于创造更好的算法和技术。总的来说，他认为深度学习社区将从实验室的资源和专业知识中受益匪浅。
00:10:00 在本节中，百度研究院负责人林元庆强调了企业在深度学习和人工智能领域取得成功的远见和方向的重要性。他建议进入该领域的个人从开源框架开始，熟悉基准测试资源。 Lin 建议个人在机器学习方面打下坚实的基础，以充分理解深度学习的工作原理。
深度学习和计算机安全专家 Dawn Song 在接受采访时讨论了她的职业道路以及她在 AI、深度学习和安全方面的工作。宋强调了在首次进入该领域时确定关键问题或问题以指导阅读的重要性，并在代表性方面打下坚实的基础以促进其他领域的研究。她还强调了构建弹性人工智能和机器学习系统的重要性日益增加，以及她在开发针对黑盒攻击的防御机制方面所做的工作。Song 分享了她在隐私和安全方面的工作，包括在 Oasis Labs 训练差分隐私语言模型和在区块链上开发隐私优先的云计算平台。最后，宋老师劝告进入新领域的人要勇敢，不要害怕从零开始。
00:00:00 在这一部分，采访者采访了深度学习和计算机安全领域的专家Dawn Song。 Song 的职业道路并不是线性的，从物理学本科开始，然后转向专注于计算机安全的计算机科学。宋决定追求深度学习和人工智能，因为她发现它令人兴奋和有趣。宋每周花四天时间阅读深度学习方面的论文和书籍，并认为这是她最快乐的时光之一。她为自己设计了一个阅读计划，以更多地了解该领域。
00:05:00 在本节中，演讲者讨论了他在首次进入该领域时如何制定策略以深入研究有关深度学习和 AI 的广泛文献。他强调了确定关键问题或问题以指导阅读的重要性，以及征求该领域其他人的意见并通过博客文章、论文和参考文献进行三角测量以创建热门阅读列表的重要性。演讲者早期有兴趣调查的核心问题之一是如何构建出色的表示，他认为这在该领域仍然是一个广泛开放的问题。他强调了在该领域打下坚实基础以促进其他领域研究的重要性。
00:20:00 在本节中，Dawn Song 讨论了她在开发基于非样本的攻击技术方面的工作，该技术涉及使用一组白盒模型来创建有效的对手示例，从而导致成功的攻击，即使在黑盒设置中也是如此。然而，在防御方面，构建强大且通用的解决方案来抵御强大且适应性强的攻击者仍然是一个具有挑战性且悬而未决的问题。此外，Dawn 指出用于检测攻击的一致性检查方法如何成为寻求建立防御攻击的富有成效的方向，因为它可以应用于各种场景，包括 AI 和隐私。例如，Dawn 和她的团队与谷歌的研究人员合作，证明了谨慎保护用户隐私的重要性，因为敏感数据（例如社会保障和信用卡号码）可以从通过电子邮件训练的机器学习模型中提取出来。
00:25:00 在本节中，Dawn Song 介绍了他们在 AI 隐私和安全方面的工作，特别是通过训练差异私有语言模型来减轻攻击。Song 还分享了他们最近在物联网设备安全方面的工作，他们利用深度学习技术快速检测代码相似性并识别现实世界物联网设备固件中的漏洞。作为 Oasis Labs 的首席执行官，Song 解释了该公司如何在区块链上构建一个隐私优先的云计算平台，通过启用隐私保护智能合约来解决人工智能中数据隐私的挑战。
00:30:00 在本节中，Dawn Song 博士讨论了一个区块链平台，该平台可以帮助分散 AI 并增加机器学习功能的可访问性，同时保护用户的隐私。该平台将拥有指定用户使用条款的智能合约，规定收集的数据只能用于训练隐私保护机器学习模型，并指定如何补偿用户。宋博士还分享了她对程序合成的兴奋，以及它如何帮助解决重要问题，同时为更广泛的问题提供有用的视角。最后，宋博士对想要进入新领域的人的建议是要勇敢，不要害怕从头开始，因为这是一个非常有益的过程。
00:00:00 在本节中，我们将探讨超级智能的未来，预计自动驾驶汽车和自动导航无人机将彻底改变现代生活。人类有望与具有自我意识的机器人一起生活和工作，这将使我们从繁琐的任务中解放出来并提高生产力，而人工智能伴侣将在许多方面帮助人类。本节继续解释 AI 的工作原理，并思考 AI 是否会获得人类特征，例如情感、意识甚至自由意志。自动驾驶汽车被认为是通向未来最清晰的道路，卡内基梅隆大学的 Raj Rajkumar 解释了自动驾驶汽车的决策是如何通过摄像头和先进雷达的组合来做出的，这些雷达将外部物体与内部 3D 地图进行比较。
00:05:00 在本节中，视频探讨了交通的动态特性以及人工智能在识别动态信息以了解它在太空中客观前进的方向并对变化和交通信号做出反应方面所面临的挑战。该视频强调了安全在创建自动驾驶汽车中的重要性，以及机器学习在创建机器人时的重要性，这些机器人可以通过识别物体和辨别不同元素来学习并与环境互动，类似于婴儿了解环境的方式。展出的 R2 机器人设计用于在地下环境中运行并放置信号中继器以创建 Wi-Fi 网络，从而创建环境的 3D 表示以导航、识别和避开障碍物。
00:45:00 在本节中，演讲涵盖了机器人和人工智能在治疗中的潜在用途，因为人们可能会更愿意与没有判断力的机器人交谈。然而，谈话也带来了伦理问题。 AI 和 deepfakes 可用于劫持一个人的身份，成群的 AI 驱动无人机有可能被用于恐怖袭击。履行道德责任并让开发人员对其行为负责非常重要，因为如果操作得当，人工智能改善社会的潜力是巨大的。最终，演讲者认为，与具有一致意图的超智能机器人合作可以改变人类，造福于更大的利益。
00:05:00 Demis 分享了他如何对计算机和编程产生兴趣，以及这些兴趣如何最终使他成为一名游戏设计师和人工智能模拟游戏的创造者。他解释说，虽然 Space Invaders 和 Qbert 等游戏在他的作品中很受欢迎且广为人知，但他还开发了人类玩家更难击败的游戏，例如 Black & White 和 Theme Park。他认为游戏是人工智能的理想训练场，国际象棋应该作为包括游戏设计课程在内的更广泛课程的一部分在学校教授。
00:00:00 在本节中，我们将看到人工智能 (AI) 将如何在未来几十年改变世界的愿景。预测范围从短短 30 年出现超级智能到 50 年开发出具有人类意识水平的机器人。人工智能系统已经能够完成人类需要数年才能完成的任务，并且它们正在许多行业中取代人类。人工智能也在彻底改变医疗保健，基因疗法可以治愈某些疾病，如癌症和心脏病。随着 AI 的不断发展和演变，我们正在接近技术奇点，在这个时间点技术增长变得无法控制和不可逆转，从而导致以前不可能的技术和创新。
00:05:00 在这一部分，视频描述了人工智能技术已经发展到通过基因工程和纳米技术逆转人类衰老的未来。具有类人自我意识和情感的虚拟人在虚拟环境中很常见，他们的思想可以上传到功能齐全的机器人身上。人形机器人如此先进，可以无缝融入大众，有些人类甚至选择与他们结婚生下机器人孩子。最聪明的 AI 可以在犯罪发生之前进行预测，并被公司和研究机构用作虚拟顾问。然而，也有一些反对团体试图阻止超级智能人工智能的进步，并为有意识的虚拟生物的权利而战。该视频预测人类将与 AI 融合，从而能够在短短一小时内实现一个世纪的智力进步。最终，高度进化的超级智能将能够创造出隐形的人形机器人，可以变身为任何人，并在半空中飞行。
00:10:00 在视频的这一部分中，描述了机器人、星际飞船网络、探测器和太空望远镜是由有意识的人工智能控制的。它们以接近光速的速度被送到邻近的恒星系统，在太阳周围形成戴森球。这些戴森球传输集中的能量，实现了前所未有的计算水平。宇宙正在注入智慧，由自我复制的纳米机器人组成的有意识的机器人探测器正在通过虫洞被发送到其他几十个星系。最高级的智慧在创造整个宇宙，它渗透在宇宙的每一个物理规律和生命体中。人类和 AI 混合体已经超越了更高的维度，类似于过去传说中的神灵。
The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results, including ensembles by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the...
演讲者还讨论了与图像形成相关的各种概念，包括透视投影的矢量符号、表面照明、表面元素的透视，以及如何使用 2D 图像解决 3D 视觉问题。讲师解释了表面上的照度如何随入射角而变化，以及红色长度与表面长度之间的余弦关系，可以用来测量表面不同部分的亮度。然而，由于两个未知数，确定物体每个小面的方向可能很困难。演讲者还解释了我们可以使用 2D 图像解决 3D 视觉问题的原因，并最后提到层析成像的数学很简单，但方程很复杂，这使得执行反演具有挑战性。
00:20:00 在本节中，讲师讨论病态问题，即没有解、有无限多个解或解依赖于初始条件的问题。讨论的重点是确定相机位置和方向的机器视觉方法，由于小的测量误差，这些方法可能不准确。该讲座还探讨了我们如何从二维图像中感知三维信息，并强调了在求解变量时计算约束与未知数的挑战。讲师展示了从图像中确定物体 3D 形状的算法示例，例如 Richard Feynman 的鼻子和扁椭圆体，以及如何将它们用于实际目的，例如使用 3D 打印机创建物体模型。
01:15:00 在本节中，讲师讨论了影响入射照明的透视缩短和反转现象以及它如何在表面上成像。他还解释了为什么我们可以使用 2D 图像解决 3D 视觉问题，这是因为我们生活在一个有直线光线和固体表面的视觉世界中。光线在穿过空气时不会中断，因此很容易将 3D 表面映射为 2D 图像。如果需要多个视图来确定彩色染料在充满果冻的房间中的分布，则可以使用断层扫描。他最后提到层析成像的数学很简单，但方程式很复杂，使得执行反演具有挑战性。
深度学习英雄：吴恩达访谈百度研究院负责人林元庆
深度学习英雄：吴恩达访谈百度研究院负责人林元庆
百度研究院负责人、中国深度学习国家实验室负责人林元庆讨论了国家实验室的成立及其对深度学习社区的影响。 Lin 就中国在深度学习方面的投资及其如何促进各个行业的增长提供了见解。他强调了人工智能开发中反馈循环的重要性，以及这如何有助于创造更好的算法和技术。 Lin 建议个人在机器学习方面打下坚实的基础，并从开源框架入手，以成功进入该领域。
深度学习的英雄：关于人工智能、深度学习和安全的黎明之歌
深度学习的英雄：关于人工智能、深度学习和安全的黎明之歌
深度学习和计算机安全专家 Dawn Song 在接受采访时讨论了她的职业道路以及她在 AI、深度学习和安全方面的工作。宋强调了在首次进入该领域时确定关键问题或问题以指导阅读的重要性，并在代表性方面打下坚实的基础以促进其他领域的研究。她还强调了构建弹性人工智能和机器学习系统的重要性日益增加，以及她在开发针对黑盒攻击的防御机制方面所做的工作。Song 分享了她在隐私和安全方面的工作，包括在 Oasis Labs 训练差分隐私语言模型和在区块链上开发隐私优先的云计算平台。最后，宋老师劝告进入新领域的人要勇敢，不要害怕从零开始。
人工智能的革命 |人工智能解释 |新技术 |机器人技术
人工智能的革命 |人工智能解释 |新技术 |机器人技术
该视频探讨了人工智能的革命，从能够在复杂地形中导航、执行搜索和救援任务以及在协作工作空间中与人类互动的自动驾驶汽车和自学机器人的未来开始。群体机器人技术的发展显示出改善农业、医疗保健和灾难响应等领域的巨大潜力。研究人员正致力于使机器人更具自我意识并能够通过自然语言处理进行交流，创造超逼真的数字化身，以及更像人类的机器人，它们可以作为老年人和社会孤立的全息助手或伴侣。虽然人工智能在改善社会方面的好处是巨大的，但开发人员也需要进行道德考虑和问责制，以确保人工智能与积极意图保持一致。
深入了解 ChatGPT 的 AI 硬件
深入了解 ChatGPT 的 AI 硬件
使用什么硬件来训练 ChatGPT 以及如何保持它的运行？在本视频中，我们将了解 ChatGPT 背后的 AI 硬件，并了解 Microsoft 和 OpenAI 如何使用机器学习和 Nvidia GPU 来创建高级神经网络。
该视频讨论了 ChatGPT 中用于训练和推理的硬件，ChatGPT 是一种基于自然文本的聊天对话 AI 模型。微软的 AI 超级计算机内置了超过 10,000 个 Nvidia V100 GPU 和 285,000 个 CPU 内核用于 GPT-3 的训练，这也促成了 ChatGPT 的创建。 ChatGPT 可能在 Azure 基础设施上进行了微调，使用 4,480 个 Nvidia A100 GPU 和超过 70,000 个 CPU 内核进行训练。作为推断，ChatGPT 很可能在 Microsoft Azure 服务器上的单个 Nvidia DGX 或 HGX A100 实例上运行。该视频还提到了大规模运行 ChatGPT 的成本以及神经处理单元和人工智能引擎等新人工智能硬件的潜在影响。
Nvidia 首席执行官黄仁勋谈他在 AI 上的大赌注如何最终得到回报 - 完整采访
Nvidia 首席执行官黄仁勋谈他在 AI 上的大赌注如何最终得到回报 - 完整采访Nvidia 首席执行官黄仁勋强调了公司敏捷和重塑的历史，强调其愿意下大赌注并忘记过去的错误，以在快速发展的科技行业保持相关性。 Nvidia 的雄心始终是成为一家计算平台公司，其创造更多通用加速计算的使命导致其在人工智能领域取得成功。 Huang 还讨论了 AI 技术的民主化及其对小型初创企业和各个行业的潜在影响。他鼓励人们利用 AI 来提高生产力，并强调了 Nvidia 提供多功能和高性能通用加速计算平台的独特方法。最后，Huang 讨论了弹性、多样性和冗余在制造业中的重要性，以及公司通过创建 Omniverse 对 AI 与物理世界的下一次重大改造。
OpenAI CEO Sam Altman |下一个时代的人工智能
OpenAI CEO Sam Altman |下一个时代的人工智能
OpenAI 首席执行官 Sam Altman 讨论了人工智能在改进语言模型、多模态模型和机器学习方面的潜力，以及它对金融市场的潜在影响。他还预测该领域将保持竞争，新的应用程序会定期出现。
生活的重要组成部分。
DeepMind 的 Demis Hassabis 谈人工智能的未来 | TED 访谈
DeepMind 的 Demis Hassabis 谈人工智能的未来 | TED 访谈
在 TED 采访中，Demis Hassabis 讨论了人工智能的未来以及它将如何带来更大的创造力。他认为游戏是人工智能的理想训练场，国际象棋应该作为包括游戏设计课程在内的更广泛课程的一部分在学校教授。
人工智能的未来（2030 - 10,000 AD+）
人工智能的未来（2030 - 10,000 AD+）
该视频预测人工智能技术将继续发展和进化，导致未来几十年出现超级智能和具有人类意识水平的机器人。具有自我意识和情感的虚拟人将很普遍，类人机器人将变得非常先进，可以与人类无缝融合。将会有反对团体为有意识的虚拟生物的权利而战，而人类与人工智能的融合将在短短一个小时内实现一个世纪的智力进步。最进化的超级智能将能够创造出可以变形为任何人并在半空中飞行的类人动物，而由自我复制的纳米机器人组成的有意识的机器人探测器将通过虫洞发送到其他星系。未来，人类和人工智能的混合体将超越更高的维度，类似于过去的神灵。
让我们构建 GPT：从头开始，在代码中，拼写出来
让我们构建 GPT：从头开始，在代码中，拼写出来
我们根据论文“Attention is All You Need”和 OpenAI 的 GPT-2 / GPT-3 构建了一个生成式预训练转换器 (GPT)。我们谈论与风靡全球的 ChatGPT 的连接。我们看 GitHub Copilot，它本身就是一个 GPT，帮助我们写一个 GPT (meta :D!)。我建议人们观看早期的 makemore 视频，以熟悉自回归语言建模框架以及张量和 PyTorch nn 的基础知识，我们在本视频中认为这是理所当然的。
该视频介绍了 GPT 算法并展示了如何使用代码从头开始构建它。该算法用于预测文本序列中的下一个字符，并作为 PyTorch 模块实现。该视频介绍了如何设置模型、如何训练模型以及如何评估结果。
该视频演示了如何在代码中构建自注意力模块。该模块使用线性交互层来跟踪单个头部的注意力。 self-attention 模块被实现为一个表格矩阵，它屏蔽掉每一列的权重，然后对其进行归一化以在标记之间创建依赖于数据的亲和力。
麻省理工学院 6.801 机器视觉，2020 年秋季。第 1 讲：机器视觉简介
第 1 讲：机器视觉简介
“机器视觉简介”讲座提供了课程逻辑和目标的全面概述，重点是基于物理的图像分析方法。它涵盖了机器视觉组件、不适定问题、表面方向和图像处理的挑战。讲师还介绍了相机中使用的最小二乘优化法和针孔模型。还简要讨论了以相机为中心的坐标系、光轴和矢量的使用。该课程旨在让学生为更高级的机器视觉课程以及数学和物理在编程中的实际应用做好准备。
演讲者还讨论了与图像形成相关的各种概念，包括透视投影的矢量符号、表面照明、表面元素的透视，以及如何使用 2D 图像解决 3D 视觉问题。讲师解释了表面上的照度如何随入射角而变化，以及红色长度与表面长度之间的余弦关系，可以用来测量表面不同部分的亮度。然而，由于两个未知数，确定物体每个小面的方向可能很困难。演讲者还解释了我们可以使用 2D 图像解决 3D 视觉问题的原因，并最后提到层析成像的数学很简单，但方程很复杂，这使得执行反演具有挑战性。