00:45:00 在本节中，演讲者讨论了模型的预处理步骤，其中文本被标记化。他们展示了如何使用动态轴来允许不同的输入长度，以及他们如何使用分词器来预处理 C sharp 中的输入。他们还介绍了 Boat Tokenizer，这是一个开源项目，允许他们使用 C sharp 对 BERT 模型进行标记化，这对于基于 Python 的 transformers 包是不可能的。编码后的输入随后作为输入 ID 返回，输入 ID 是附加到模型中不同单词的不同标记。
00:50:00 在本节中，演示者讨论了通过创建控制台应用程序在 C# 中实现 BERT 模型。他们解释说，在试验模型的不同 C# 实现时，使用控制台应用程序很有帮助，如果需要，它可以集成到生产应用程序中。演示者演示了如何使用标记化来获取句子的实际标记，以及如何使用与标记关联的 ID 对输入进行编码。它们还展示了使用的大量词汇表以及它们如何转化为用于标记化的对象。
01:40:00 在本节中，AI Show Live 的主持人讨论了 Hugging Face 的 Optimum 项目，该项目实现了机器学习的优化，包括用于训练的加速器和在后端使用 ONNX 运行时的不同硬件集成。主持人还回顾了分词器的预处理步骤和为文本分类模型创建会话。他们探索一个句子的编码版本，并重用一些以前编写的代码来为他们的模型创建会话。
Microsoft 首席教育云倡导者 Jennifer Looper 在本视频中讨论了应用程序构建、机器学习和数据科学的融合。她建议为网络构建智能应用程序并探索各种 JavaScript API，包括 ml5.js、Magenta.js、PoseNet 和 Brain.js，以便将机器学习技术整合到应用程序中。 Looper 强调了 scikit-learn 对于经典机器学习的有用性，并推荐它作为一个强大的工具，无需神经网络的繁重解决方案。她还讨论了 Onnx 运行时，它通过定义一组用于构建机器学习和深度学习模型的通用运算符来优化训练和推理，并从 Kaggle 获取数据来解释使用监督式机器学习执行基本分类任务的过程。演讲者随后演示了如何使用机器学习模型构建推荐引擎，并建议访问 Microsoft 的在线资源以了解有关机器学习的更多信息。她得出结论，Onnx Runtime 适合作为课程一部分的初学者或任何想要了解更多机器学习知识的人。
00:00:00 在本节中，Microsoft 的首席教育云倡导者 Jen Looper 讨论了应用程序构建与机器学习和数据科学之间的融合。她解释了当今创建移动应用程序的挑战，特别是面对注入智能并在后台运行机器学习算法的新应用程序。 Looper 认为，这种对智能体验的新需求首先导致了独立应用程序开发人员面临的挑战。
00:05:00 在本节中，演讲者讨论了如何着手构建智能应用程序以及架构决策和技术堆栈将指导此过程的内容。选项包括构建本机应用程序、为 Web 构建或为桌面构建。演讲者建议坚持使用 Web 来构建智能应用程序，并解释说，尽管 Web 开发人员和机器学习工程师之间的技能组合存在差异，但这些领域仍有融合的方法。演讲者举例说明了开发人员和机器学习工程师之间的协作，引用了开发运维、数据采购和清理、培训和迭代的使用，以及确保准确交付和持续改进机器学习模型的 ML Ops 团队。
00:10:00 个人轶事，演讲者解释了弥合机器学习工程和创建网络应用程序方面的分歧如何比克服对桥梁的恐惧更容易令人生畏。演讲者介绍了用于将机器学习技术整合到 Web 应用程序中的各种工具，包括 TensorFlow.js、Brain.js 和 ONNX。她强调了每种工具的优势，并鼓励观众浏览 TensorFlow 网站以发现他们提供的精彩演示。她还专注于 ONNX Runtime 及其将基于 ONNX 的模型引入 Web 应用程序的能力。总的来说，演讲者旨在为应用程序开发人员提供可用工具的知识，以利用机器学习技术增强他们的应用程序。
00:40:00 在本节中，演示者讨论了使用监督机器学习和选择多类分类算法执行基本分类任务的过程。由于数据集的性质和本地训练，演示者提供了多类分类备忘单并排除了神经网络。剩下的两个多类分类算法是逻辑回归和决策森林。演示者选择逻辑回归并选择一个与其余的来处理多类分类。然后，演示者解释了选择正确求解器的重要性，并选择了 liblinear 求解器。演示者使用 lr fit 训练模型，并使用含有香菜、洋葱、豌豆、土豆、西红柿和植物油的食谱测试其准确性，报告的准确性为 71%。演示者还提供了 Scikit-learn 算法备忘单，以帮助根据可用的数据量和标签选择合适的算法。
00:45:00 在本节中，演讲者讨论了在构建机器学习模型时选择正确的分类算法的重要性。他们演示了他们如何使用不同的分类器和求解器进行实验，以查看哪种分类器和求解器的准确度最高。选择支持向量分类器 (SVC) 后，他们重建模型并测试其准确性。一旦他们对模型的准确性感到满意，他们就会将其转换为 Onyx 文件并使用 Onyx 运行时来构建 Web 应用程序。演讲者解释了他们如何创建一个带有一系列复选框的简单 Web 应用程序，以将成分数据提供给导入的模型，并使用异步函数启动推理。然后他们演示了网络应用程序并检查了模型的建议。
00:50:00 这部分视频演示了如何使用机器学习模型构建推荐引擎。通过输入成分列表，该模型可以建议人们可以制作哪种美食。此外，演讲者还邀请观众通过 Microsoft 的在线资源了解更多关于机器学习的信息，这些资源提供关于聚类、回归、分类、强化学习、自然语言处理和时间序列应用等各种主题的免费内容。演讲者鼓励观众提出问题并参与 mycommworld.com 网站上的内容。
00:55:00 本节提问 Onnx Runtime 是不是适合新手的好工具。答案是肯定的，因为其中一位演讲者是一位自学成才的 Web 开发人员，他相信只要足够努力，任何人都可以学到任何东西。因此，Onnx Runtime 适合作为课程一部分的初学者或任何想要了解更多机器学习知识的人。
00:25:00 开始一个新的部分，视频创作者探索如何使用 ONNX 在模型上加载和运行推理。他们讨论了创建推理会话并从模型路径加载模型。创建者计划将模型合并到 API 中，但不确定如何在处理程序中获取音频。他们考虑使用 base 64 的东西并创建一个新文件来测试它。然后他们继续讨论如何在不加载模型的情况下运行推理，并决定专注于此。
00:10:00 在本节中，演讲者讨论了如何在神经网络压缩框架中使用量化来优化抱脸模型。他们通过代码示例展示了如何使用 Optimum Intel 和 OV Config 在训练期间启用量化。他们还展示了一个集成了数据准备、模型训练、推理、部署和自动化的 AI 工作流程，以帮助开发人员和客户更高效地执行复杂的活动。演讲者演示了如何使用 Azure ML 来支持这些工作流以获得更好的性能。
00:05:00 在这一部分，演讲者谈到了不同人工智能框架之间的兼容性问题以及它如何影响业务。他以银行为例解释说，如果一家公司在一个 AI 框架上构建了系统，但随后一位新客户想使用不同的框架，那么该公司将不得不从头开始完全重建系统，从而使他们付出代价时间和金钱。然后他讨论了 Onex 运行时，它允许企业将其现有框架和模型转换为兼容格式，而无需完全重建。演讲者还提到了可用于分析和优化这些转换模型的工具。
00:10:00 在本节中，演讲者解释了如何使用 Azure AI 和 ONNX 运行时轻松跨不同平台部署机器学习模型。通过为其平台和语言选择适当的选项，企业可以使用该软件加载其神经网络的 0 和 1 序列，并利用他们选择的平台和语言导出系统以便于部署。该会议还介绍了如何使用 Onex 优化整个开发过程中的培训，从而更快、更准确地获得结果。演讲者还介绍了英特尔 serrandello 的 GPU 和 CPU 自动优化系统，使模型开发更加精简。
00:15:00 在本节中，演讲者讨论了他们的 ML 环境的创建以及基于萼片和花瓣的长度和宽度的植物物种分类器的开发。演讲者指出，过去创建 ML 环境需要购买服务器集群并手动配置所有内容，但现在他们无需硬件即可创建自己的 ML 环境并启动自己的工作室。他们的 ML 环境包括一个普通的虚拟机和用于保存 TensorFlow 模型的 ONNX。然后，演讲者演示了如何创建一个简单的神经网络来根据给定的参数对植物物种进行分类。
使用 ONNX、Triton 和 Seldon 大规模加速 ML 推理 | PyData 全球 2021
使用 ONNX、Triton 和 Seldon 大规模加速 ML 推理 | PyData 全球 2021
在视频“使用 ONNX、Triton 和 Seldon 大规模加速 ML 推理 | PyData Global 2021”中，Seldon Technologies 的 Alejandro Saucedo 讨论了扩展机器学习推理的挑战以及如何使用 ONNX 和 Triton 来优化和生产模型。使用 GPT-2 TensorFlow 模型作为用例，该会话涵盖预处理、选择最佳令牌以及使用 Tempo 和 Triton 推理服务器部署模型。 Saucedo 强调需要抽象基础设施的复杂性并促进轻松部署，同时确保可重复性和合规性。演讲以与开源项目的端到端培训和部署组件合作结束。
AI Show Live - 第 62 集 - 使用 ONNX 运行时进行多平台推理
AI Show Live - 第 62 集 - 使用 ONNX 运行时进行多平台推理
在 AI Show Live 的“Multiplatform Inference with the ONNX Runtime”一集中，主持人展示了如何使用 ONNX Runtime 框架在多个平台上部署超分辨率模型和对象检测模型。他们讨论了移动和网络平台的预处理和后处理步骤，展示了使用单一解决方案的好处，解释了将 PyTorch 模型转换为 ONNX 模型的过程，并展示了如何预处理数据以使用 ONNX 进行推理运行。此外，他们还演示了使用 C# 中的 Onnx Runtime 实现 BERT 自然语言处理模型。代码和开源模型可用于定制用户的解决方案。
在 AI Show Live 的第二部分，演示者涵盖了与使用 ONNX Runtime 运行推理相关的各种主题。他们使用 ONNX 推理示例中的示例演示文本分类的过程，并探索在 C# 中构建 BERT 分类模型所需的包和工具的安装。他们还讨论了 IntelliCode 与 VS 2022 的使用，并介绍了准备模型推理的步骤，包括创建张量、配置 ONNX 运行时推理会话以及对输出进行后处理。此外，他们还谈到了咨询模型文档和选择正确的分词器以获得准确结果的重要性。
使用 ONNX 运行时应用机器学习
使用 ONNX 运行时应用机器学习
Microsoft 首席教育云倡导者 Jennifer Looper 在本视频中讨论了应用程序构建、机器学习和数据科学的融合。她建议为网络构建智能应用程序并探索各种 JavaScript API，包括 ml5.js、Magenta.js、PoseNet 和 Brain.js，以便将机器学习技术整合到应用程序中。 Looper 强调了 scikit-learn 对于经典机器学习的有用性，并推荐它作为一个强大的工具，无需神经网络的繁重解决方案。她还讨论了 Onnx 运行时，它通过定义一组用于构建机器学习和深度学习模型的通用运算符来优化训练和推理，并从 Kaggle 获取数据来解释使用监督式机器学习执行基本分类任务的过程。演讲者随后演示了如何使用机器学习模型构建推荐引擎，并建议访问 Microsoft 的在线资源以了解有关机器学习的更多信息。她得出结论，Onnx Runtime 适合作为课程一部分的初学者或任何想要了解更多机器学习知识的人。
以前所未有的方式将 ONNX 的强大功能引入 Spark
以前所未有的方式将 ONNX 的强大功能引入 Spark
在此视频中，来自华为的 Shivan Wang 解释了如何将 ONNX 的强大功能引入 Spark 进行推理。他讨论了在 Spark 上部署 DL 模型的挑战，以及 Spark 社区如何发起名为 Spip 的提案来简化流程。演讲者还讨论了华为的人工智能处理器、Ascent 和包括多个 Ascent 处理器模型和 Atlas 硬件的 Ascent AI 生态系统。他建议在下一个运行时添加 Con 作为新的执行提供者，以直接在 Ascent 硬件上使用 ONNX 模型，而无需模型转换。最后，他提到将 ONNX 的强大功能引入 Spark 的 POC 代码已基本完成，欢迎有兴趣的用户留言讨论，并可能提供资源用于测试目的。
Builders Build #3 - 使用 ONNX 从 Colab 到生产
Builders Build #3 - 使用 ONNX 从 Colab 到生产
该视频演示了使用 ONNX 将项目从 Colab 部署到生产环境的过程。演示者涵盖了各个方面，例如预处理信号、修改部署代码、在 AWS Lambda 上创建处理程序、在网站上接受音频输入、将函数上传到 S3 以及为 ONNX 部署依赖项。尽管遇到了一些困难，演讲者还是成功地在 AWS 上部署了他们的模型，并建议他们可以使用浏览器加载 base64 文件对象或声音文件读取片段以用于未来的步骤。
此外，该视频还展示了使用 SimCLR 模型在音频中进行对比学习，通过将歌曲输入模型来构建歌曲目录，并使用 PyTorch 对其进行训练以在 k=1 时实现零损失和召回。演示者讨论了在生产中使用 PyTorch 的挑战，并提出了 ONNX 作为解决方案。该视频演示了如何导出和加载 ONNX 格式的 PyTorch 模型并执行推理。它还展示了如何使用 Torch Audio 和 Numpy 库处理音频文件，并在设置 PyTorch 模型进行部署时解决问题。该视频提供了有关如何将模型从 Colab 笔记本中的开发转移到生产环境的见解。
结合 Optimum、OpenVINO™、ONNX Runtime 和 Azure 的强大功能
结合 Optimum、OpenVINO™、ONNX Runtime 和 Azure 的强大功能
该视频展示了 Optimum、OpenVINO、ONNX Runtime 和 Azure 的组合，以简化开发人员的工作流程并提高模型的准确性和速度。演讲者演示了如何使用辅助函数、ONNX Runtime 和 OpenVINO Execution Provider 来优化深度学习模型。他们还展示了如何使用神经网络压缩框架中的量化来优化拥抱面部模型，并说明了使用 Azure ML、Optimum、ONNX Runtime 和 OpenVINO 的训练和推理过程。该演示突出了这些工具在提高模型性能同时最大限度地减少准确性损失方面的强大功能。
ONNX 模型的更快推理 |面向开发人员的边缘创新系列 |英特尔软件
ONNX 模型的更快推理 |面向开发人员的边缘创新系列 |英特尔软件
本视频讨论了 ONNX 运行时的 OpenVINO 执行提供程序。它是一个跨平台机器学习模型加速器，允许在一系列英特尔计算设备上部署深度学习模型。通过使用针对英特尔硬件优化的 OpenVINO 工具包，并在代码中将提供程序设置为 OpenVINO Execution Provider，开发人员可以使用高级优化技术加速 ONNX 模型的推理。该视频强调了使用所讨论的工具所需的修改的简单性。
使用 ONNX 运行时从云端到客户端进行更快、更轻的模型推理
使用 ONNX 运行时从云端到客户端进行更快、更轻的模型推理
在此视频中，来自 Microsoft 云和 AI 组的 Emma 解释了开放式神经网络交换 (ONNX) 和 ONNX 运行时，这是一种用于在不同硬件上推理 ONNX 模型的高性能引擎。 Emma 讨论了 ONNX 运行时 INT8 量化可以提供的显着性能提升和模型大小减少，以及准确性的重要性。她演示了 ONNX 运行时 INT8 量化的端到端工作流程，并展示了使用 PyTorch 量化的基线模型的结果。此外，Emma 还讨论了 ONNX Runtime 优化从云到客户端的模型推理的能力，以及它如何在默认情况下在 Android 和 iOS 平台上实现小于 300 KB 的大小。
具有 ONNX 转换和量化的快速 T5 变压器模型 CPU 推理
具有 ONNX 转换和量化的快速 T5 变压器模型 CPU 推理
通过将 T5 transformer 模型转换为 ONNX 并实施量化，可以将模型大小减小 3 倍，并将推理速度提高多达 5 倍。这对于在具有亚秒级延迟的 CPU 上部署问题生成模型（例如 T5）特别有用。此外，Gradio 应用程序为模型提供了一个视觉上吸引人的界面。使用了 Huggingface 的 T5 transformer 模型，并使用 FastT5 库进行 ONNX 和量化。实施这些优化可以显着节省这些系统的生产部署成本。
Azure AI 和 ONNX 运行时
Azure AI 和 ONNX 运行时
本书涵盖了机器学习及其部署的各个方面。它讨论了数据科学的发展、框架兼容性的挑战、使用 Azure AI 和 ONNX Runtime 进行模型部署、ML 环境的创建以及 ONNX Runtime 的局限性。演讲者强调了 ONNX 的标准化及其对多种框架的支持，使其更容易针对不同的硬件进行优化。该视频还提到缺乏硬件偏好基准以及需要使用多种工具来克服 ONNX 的局限性。