This session outlines the recently rolled out Hypefactors' MLOps infrastructure designed for billions NLP inferences a day. The workload serves media intelli...
Integrating machine learning into enterprises requires building and deploying ML models in the environment's enterprises build their software in. Frequently ...
In many companies, Java is the primary language for the teams to build up services. To have ONNX model onboard and integration, developers faced several tech...
00:00:00 ビデオのこのセクションでは、プレゼンターが FlexFlow のフロントエンド サポート、特に Python API を紹介します。 FlexFlow ランタイムは、Legion ランタイムの上に構築されています。Legion ランタイムは、スタンフォード大学、NVIDIA、およびロス アラモスの研究者によって開発されたタスクベースのプログラム システムです。 Python API は cffi ライブラリを介して C++ API を呼び出し、Python API の薄いレイヤーは C++ API を使用するのと同じパフォーマンスを提供します。次に、プレゼンターは FlexFlow Python API を使用してモデルを作成する手順について説明します。これには、最初に構成ファイルを作成し、次に入力テンソルを NCHW 形式で作成することが含まれます。さらに、Keras と ONNX のサポートが導入されました。
00:05:00 ビデオのこのセクションでは、TensorFlow Keras、PyTorch、および ONNX をサポートする FlexFlow Python API を使用してモデルを作成およびトレーニングするプロセスについて講演者が説明します。スピーカーは、モデルに演算子を追加する方法を説明することから始めます。たとえば、常に入力テンソルを取り、出力テンソルを返す畳み込み 2D 演算子などです。次のステップは、モデルをコンパイルすることです。これにより、テンソルが割り当てられ、並列化戦略とモデルの融合が最適化されます。次に、データ ローダーが作成され、モデルが初期化され、fit 関数またはカスタマイズされたトレーニング手順を使用してトレーニングされます。講演者はまた、Python API と C++ API の類似点を強調し、要求に応じて新しい演算子を実装する機能を備えた、FlexFlow でサポートされている演算子のリストを提示します。最後に、講演者は FlexFlow での Keras および PyTorch モデルのサポートについて説明し、ハンズオン演習で予定されているデモを行います。
We are excited to announce the first FlexFlow bootcamp, 9:00-13:00 PDT December 11th 2020. The bootcamp is designed for people interested in using FlexFlow t...
ONNX is a open format to represent deep learning models that is supported by various frameworks and tools. This format makes it easier to interoperate betwee...
This video goes over ONNX and how to read and write an ONNX model using ML.NET.Code - https://github.com/jwood803/MLNetExamples/blob/master/MLNetExamples/Onn...
00:40:00 このセクションでは、スピーカーは、scikit-learn ML モデル、具体的にはロジスティック回帰モデルを ONNX を使用して .NET エコシステムと統合するための空のソリューションを Visual Studio 2022 で作成することから始めます。次に、スピーカーはソリューションで Azure 関数を作成し、HTTP トリガーとして .NET 6 を使用して実装するためのボイラープレート コードを取得します。 Insomnia を使用して、JSON 形式の入力機能を備えた新しい要求を作成します。この要求は解析され、システムの統合に使用されます。スピーカーは、NuGet から Microsoft ML ONNX ランタイム パッケージをインストールし、入力機能セットを説明するクラスを作成します。次にスピーカーは、コード スニペットを使用して統合プロセスを高速化します。
00:45:00 このセクションでは、スピーカーは、ML モデルへの入力として送信するために、JSON コンバーターを使用して API からリクエスト本文を取得して逆シリアル化する方法について説明します。これらは、LSLead Scoring Model パラメーター クラスのオブジェクトを作成し、逆シリアル化された要求本文からそれに値を割り当てます。また、入力テンソルを実装し、入力データをテンソルの TensorFlow オブジェクトに変換して、推論セッションに組み込むことができるようにすることの重要性についても説明しています。最後に、ONNX ランタイムを使用して推論セッションを作成し、セッション出力を取得して ML モデルを実行します。
00:50:00 このセクションでは、プレゼンターは ONNX を使用して scikit-learn ML モデルを ML.NET と統合する方法を示そうとしますが、Visual Studio で技術的な問題に遭遇します。問題の修正を試みた後、プレゼンターはコード スニペットを表示して、統合に必要なパッケージと入力テンソルについて説明します。挫折にもかかわらず、プレゼンターは、視聴者が自分でアクセスして試すために、デモで使用されている関数と入力機能セットへのリンクを提供することができます.
A look at the technical approach addressing the challenge of converting and deploying machine learning models from Python and Scikit-learn to the .NET ecosys...
Most machine learning models are trained in Python using frameworks like PyTorch and TensorFlow. You might expect that an application that runs the trained m...
ONNX defines a common set of operators and a common file format to enable AI developers to use models with a variety of frameworks, tools, runtimes, and comp...
Join us to learn how to get started building deep learning models with PyTorch & ONNX. Community Links: https://www.theurlist.com/mlnet-standup-2021-10-13Fea...
ONNX と DJL を使用した JVM での数十億の NLP 推論
ONNX と DJL を使用した JVM での数十億の NLP 推論
メディア インテリジェンス企業の CTO が、機械学習パイプラインの NLP トークン化に JVM と DJL、Hugging Face を使用して、さまざまなユース ケースのメディア ランドスケープをマイニングする方法について説明します。彼らの製品機能がそれに向けて推進されているため、機械学習とモデリング システムは、CPU では十分ではない規模に達しているため、すべてを実行し続けるために不可欠な要素になっています。 32 ビット浮動小数点モデルの使用から 16 ビットに切り替えた結果、有効性が 3% 向上しましたが、プロセス中に変換エラーやまれにメモリ リークが発生したため、いくつかの実装を置き換えることで解決しました。 GPU を利用した CI を追加し、さまざまな推論のレイテンシとトークン化のレイテンシを監視する高度な Prometheus ロジック スタックをセットアップすることで、堅牢性に投資しました。彼らの将来の計画には、GPU 効率の向上と、マルチ GPU セットアップを作成することによるシステムへのモデルの追加が含まれます。
ONNX と JVM
ONNX と JVM
Java 仮想マシン (JVM) での ONNX サポートは、事実上すべてのアプリケーションで ML モデルがより顕著になっているため、非常に重要です。 Java は、ライブ ソフトウェア アプリケーションの構築に使用される最大のプラットフォームの 1 つであるため、Java や C# などのプログラミング言語内でサポートを提供することが不可欠です。オラクルは、Java で ONNX ランタイム C API を提供することを目指しており、C API で Java API の薄いレイヤーを使用することにより、パフォーマンスへの影響を最小限に抑えて簡単に展開できるようにします。スピーカーは、Java から ONNX モデルを作成するためのオープンソース ライブラリについても説明し、ロジスティック回帰グラフの例を紹介し、ONNX メタデータ形式の標準化の欠如について説明しながら、Trippo での ONNX エクスポート スタッフへの貢献を呼びかけます。
DJL と ONNX ランタイムを使用して高性能モデル推論ソリューションを構築する
DJL と ONNX ランタイムを使用して高性能モデル推論ソリューションを構築する
Deep Java Library (DJL) は、Java 上に構築された機械学習ライブラリであり、ディープ ラーニング ライブラリを抽象化し、Apache MXNet、TensorFlow、PyTorch などの複数のバックエンドを提供します。このライブラリには、さまざまなタスク用に事前にトレーニングされたモデルのセットがあり、メモリ使用量を制御しながら最高のパフォーマンスを保証するための厳格なテストを受けており、サービスの準備が整っています。スピーカーは、両方のエンジンを一緒にロードするハイブリッド エンジンのコンセプトも紹介し、推論のためにエンジン間の移行をよりスムーズにします。さらなる開発には、ARM サーバーのサポート、Android デバイスでの ONNX ランタイムの実行、ハイブリッド エンジン ソリューションのエッジ デバイスへの導入が含まれます。
[FlexFlow Bootcamp 2020] FlexFlow フロントエンドのサポート: TensorFlow Keras、PyTorch、ONNX など
[FlexFlow Bootcamp 2020] FlexFlow フロントエンドのサポート: TensorFlow Keras、PyTorch、ONNX など
ビデオのこのセクションでは、スピーカーは、TensorFlow Keras、PyTorch、および ONNX をサポートする FlexFlow Python API について説明します。モデルの作成とトレーニングのプロセスには、モデルへの演算子の追加、モデルのコンパイル、データ ローダーの作成、fit 関数またはカスタマイズされたトレーニング手順を使用したモデルの初期化/トレーニングが含まれます。講演者は、FlexFlow での Keras および PyTorch モデルのサポート、および ONNX 中間表現を介して既存のモデルをインポートする機能についても説明します。ただし、FlexFlow のビルドに使用されるライブラリと ONNX Python パッケージのビルドに使用されるライブラリとの間の一貫性を確保することが重要です。
.NET、PyTorch、ONNX ランタイムによる機械学習の学習
.NET、PyTorch、ONNX ランタイムによる機械学習の学習
.NET、PyTorch、および ONNX ランタイムを使用した機械学習の学習に関するこのビデオでは、スピーカーが ONNX ランタイムを紹介し、機械学習モデルをトレーニングするためのさまざまな手順について説明します。また、深層学習のために .NET で ONNX 形式を使用する方法を示し、正確なモデル予測のためのハイパーパラメーターと最適化方法を理解することの重要性について説明します。講演者は、ONNX ランタイムを使用してモデルをロードして予測を行う方法、およびセッションの実行時に try ブロックで潜在的なエラーを処理する方法も示します。さらに、不確実性ベクトルを使用して AI の予測における不確実性を示すことについても説明し、不正検出や推奨システムなど、AI が使用されているいくつかの業界について言及しています。
ML.NET で ONNX モデルを読み書きする方法
ML.NET で ONNX モデルを読み書きする方法
ビデオは、異なるフレームワーク間での機械学習モデルの交換を可能にする Microsoft と Facebook によって作成されたオープン フォーマットである ONNX の紹介から始まります。プレゼンターは、オープンソースでクロスプラットフォームの機械学習ライブラリである ML.NET が ONNX モデルをどのようにサポートしているかを説明します。その後、ビデオは、ONNX ランタイム パッケージを使用して、ML.NET モデルを作成し、ONNX ファイルにエクスポートする方法を示します。 ONNX モデルが作成されたら、それを使用して ML.NET の新しいデータを予測する方法をビデオで説明します。全体として、このビデオは、機械学習アプリケーションのために ML.NET で ONNX モデルを使用する方法に関する包括的なガイドを提供します。
ONNX を使用して scikit-learn ML モデルを ML.NET と統合する - 実用的な ML.NET ユーザー グループ 2022 年 2 月 18 日
ONNX を使用して scikit-learn ML モデルを ML.NET と統合する - 実用的な ML.NET ユーザー グループ 2022 年 2 月 18 日
このビデオでは、講演者が ONNX を使用した Scikit-learn 機械学習モデルと .NET エコシステムの統合について説明しています。彼らは、クライアント システムの機械学習モデルを構築、展開、およびテストする方法の実践的な例として、デジタル マーケティング分野でのリード スコアリングを使用しています。プレゼンターは、リード スコアリング プロセスについて説明し、マーケティング チームとセールス チームの効率を最大化する自動化ツールを構築することの重要性を強調します。講演者は、クライアント システムに機械学習モデルを展開する際の課題について説明し、ソリューションとして ONNX を紹介します。これらは、ONNX を使用して Scikit-learn ML モデルを ML.NET と統合するために使用されるツール、パッケージ、および手法の概要を提供します。スピーカーは、Azure Functions を使用して .NET エコシステムと統合する前に、ロジスティック回帰モデルを構築してシリアル化し、ONNX 形式に変換して ONNX モデルを実行する方法を示します。全体として、このビデオは、ONNX を使用して Scikit-learn ML モデルを .NET エコシステムに統合しようとしている開発者向けの実用的なガイドとして役立ちます。
この実用的な ML.NET ユーザー グループ セッションでは、プレゼンターが ONNX 形式を使用して、ドット ネット エコシステムに組み込むことができるリード スコアリング ONNX モデルを作成する方法を示します。この実装は ML.NET と並行して使用でき、ML.NET を使用して機械学習を実行しながら、ONNX ランタイムを使用して ONNX モデルを実行できます。プレゼンターは、ONNX モデルを構築するために使用される手法、ライブラリ、および段階的な手順を含む GitHub リポジトリを共有します。 ONNX 形式を使用すると、クロスプラットフォームのランタイム エンジンが可能になり、データ サイエンティストとアプリケーション開発者の間のギャップを埋めることができます。セッションの価値は、他のアルゴリズムで使用できる概念実証システムの実用的な実装にあります。
ONNX と .NET を使用した機械学習モデル | .NET カンファレンス 2022
ONNX と .NET を使用した機械学習モデル | .NET カンファレンス 2022
.NET Conf 2022 の「ONNX と .NET を使用した機械学習モデル」ビデオでは、ディープ ラーニングと従来のプログラミングの違いなど、AI と機械学習の概念を視聴者に紹介しています。プレゼンターは、Azure Machine Learning、PyTorch、および ONNX の概要を説明し、Azure Machine Learning を使用してパイプラインを作成し、ONNX および .NET で機械学習モデルをトレーニングする方法を示します。また、機械学習モデルを .NET Maui アプリケーションに統合する方法についても説明し、モバイル デバイス用の ONNX モデルのサイズを縮小する手法についても説明します。このセクションの最後に、アクセシビリティについて話し合う次の講演者 Rory を紹介します。
On .NET Live - ONNX、C# および Pokemon を使用した ML モデルの運用化!
On .NET Live - ONNX、C# および Pokemon を使用した ML モデルの運用化!
この On.NET Live ビデオでは、ホストが ONNX を使用した機械学習モデルの運用化について話し合い、特別ゲストとして Cassie Kozyrkov を迎えます。 Kozyrkov はメンターシップの重要性を強調し、データ サイエンティストとソフトウェア エンジニアの間のギャップを埋める方法として ONNX を使用することについて説明しています。この会話では、自然言語処理を使用した機械学習モデルの作成やデータ変換の重要性から、目に見えないデータを使用したテストや Azure Functions を介したモデルのデプロイまで、さまざまなトピックがカバーされています。また、講演者は、Azure Machine Learning と、ONNX と機械学習モデルをより幅広く探求することに関心のあるユーザーが利用できるリソースについても説明します。
On.NET Live ビデオでは、ONNX、C#、および (お楽しみとして) Pokemon を使用した ML モデルの運用化について説明しています。最初のプレゼンターは、さまざまなフレームワーク間でモデルを保存およびロードできる機械学習形式である ONNX と、.NET を使用してモデルを運用化する方法について話します。 2 番目のプレゼンターは、ML.NET を使用して Pokemon 画像分類子を作成し、それを展開用に運用化する方法について説明します。全体として、このビデオでは、ONNX と C# を使用して機械学習モデルを操作する方法の優れた概要が説明されています。
機械学習コミュニティ スタンドアップ - PyTorch ONNX によるディープ ラーニング
Machine Learning コミュニティ スタンドアップ - PyTorch と ONNX によるディープ ラーニング
「Machine Learning Community Standup - Deep Learning with PyTorch & ONNX」ビデオでは、機械学習、PyTorch、および ONNX に関連するさまざまなトピックを取り上げています。 1 つのセクションでは、オーバーフィッティングと、ドロップアウトとクロス検証を使用してニューラル ネットワークでそれを防ぐ方法について説明します。主催者は、さまざまなコミュニティ ベースの機械学習プロジェクトと、機械学習で .NET を使用することに関する今後のイベントについても取り上げます。ビデオでは、コンピューター ビジョンや自然言語処理に使用される一般的な機械学習ライブラリである PyTorch も紹介されており、トーチ ビジョンやトランスフォームなどのさまざまな組み込みモジュールが組み込まれています。講演者は、機械学習モデルを表すための ONNX 形式と、推論とトレーニングを複数の言語で実行するためのそのランタイムについて説明します。このチュートリアルでは、PyTorch のモデル ズーで事前に構築されたモデルを使用する方法についても説明し、Jupyter Notebook と Anaconda を使用して Python パッケージと環境をデバッグおよび管理する方法についても説明します。さらに、このチュートリアルでは、ONNX を使用した PyTorch モデルのトレーニングとエクスポートの詳細について説明します。これは、モデルのパフォーマンスを向上させるために ONNX ランタイムで使用できます。
このビデオでは、機械学習と深層学習に関連するさまざまなトピックについても説明しています。講演者は、Xamarin での画像処理に SkiaSharp を使用することと、サイズによるオンデバイス モデルの制限について話しますが、オンデバイス モデルを持つことの利点に注意してください。また、Andrew Ng Coursera クラスや、ツールやライブラリを使用して機械学習モデルを作成するための高度な情報を提供する応用機械学習クラスなど、機械学習の理論を学習するためのさまざまなリソースも提案しています。機械学習を学ぶ上で目標を持ち、学習を仕事に取り入れることの重要性についても言及されています。最後に、講演者は聴衆が興味を持ちそうな今後のコンテンツを示唆します。