取引のためのONNXの学習 - ページ 11

[MetaQuotes]

MCU 上の ONNX

MCU 上の ONNX

Rohit Sharma が、マイクロコントローラーで ONNX モデルを実行する際の課題と機会について語ります。彼は、これらのデバイスには高性能サーバーのリソースが不足している一方で、ハードウェア リソースの改善とモデル サイズを縮小する AI コミュニティの取り組みにより、小型デバイス向けの機械学習アプリケーションの数が増えていることを強調しています。 Sharma は、マイクロコントローラーに機械学習を簡単に実装するための 2 つのツールについて説明します。DeepSea は、Python をサポートし、開発者がカスタム ML アルゴリズムを作成できるようにするオープンソースの事前コンパイラーです。ユーザーのデータセットに合わせてカスタマイズできる 70 を超える小さな ML アプリケーション。彼は、これらのツールの 2 つのユース ケースを提供しています。たとえば、手話ジェスチャーを単語に変換するウェアラブル グローブや、Amazon Echo などの音声支援デバイス用の弱い単語検出です。

• 00:00:00 このセクションでは、Rohit Sharma がマイクロコントローラーで ONNX モデルを実行することの課題と機会について説明します。マイクロコントローラーは、バッテリで数か月動作する小さなデバイスです。これらのデバイスには、アクセラレータやシングル ボード コンピューターを備えた高性能サーバーのコンピューティング リソースはありませんが、小さなデバイスで実行される機械学習アプリケーションの数が増えているのは、MCU プロバイダーがハードウェア リソースを改善し続け、AI 研究コミュニティが開発を続けているためです。モデルサイズの縮小に取り組んでいます。 Sharma 氏は、小さな ML アプリはすべてエッジ AI アプリですが、すべてのエッジ AI アプリが小さな ML アプリであるとは限らないと説明しています。違いは消費電力にあるからです。次に、DeepSea を使用して ONNX モデルをコンパイルするプロセスについて説明します。DeepSea は、オープン ソースでベンダーに依存しないディープ ラーニング ライブラリ コンパイラであり、マイクロコントローラー、IoT、エッジ デバイスなどのスモール フォーム ファクター デバイス向けに設計された推論フレームワークです。
  
  
• 00:05:00 このセクションでは、講演者は、マイクロコントローラに機械学習を簡単に実装するための 2 つのツールについて説明します。最初のツールは、Python をサポートし、開発者がカスタムの機械学習アルゴリズムを作成できるようにするオープンソースの事前 (AOT) コンパイラである DeepSea です。 2 つ目のツールは Canvas です。これは、70 を超える小さな機械学習アプリケーションのギャラリーを提供するノーコード/ローコード プラットフォームです。 Canvas を使用すると、これらのアプリケーションをカスタマイズして、ユーザーのデータ セットに適した小さな機械学習モデルを作成できます。講演者はまた、これらのツールの 2 つのユース ケースを提供しました。手話ジェスチャーを話し言葉に変換するウェアラブル グローブと、Amazon Echo などの音声支援デバイスを有効にするための弱い単語検出です。

[MetaQuotes]

ONNX で機械学習の力を活用する - Ron Dagdag

ONNX で機械学習の力を活用する - Ron Dagdag

このビデオでは、Ron Dagdag が機械学習フレームワーク、特に ONNX の重要性について詳しく説明しています。これにより、ディープ ラーニング フレームワークと展開の間の相互運用性が促進されます。彼は、既存のモデルの変換、Azure の自動機械学習によるモデルのトレーニング、Azure のカスタム ビジョン サービスの使用など、ONNX モデルを取得する方法を概説しています。 Dagdag 氏は、機械学習モデルをクラウドとエッジのどちらに展開するかの決定を強調し、プロセスをよりシームレスにするために ONNX を活用することを提案しています。さらに、Microsoft の ML.NET を使用して機械学習モデルを作成するプロセスを順を追って説明し、推論に ONNX ランタイムを使用して ONNX モデルをアプリケーションに組み込む方法を示します。 Dagdag は、機械学習のオープン スタンダードとしての ONNX、そのさまざまなプラットフォームと言語、およびモデルのサイズを小さくするためのツールについても検討しています。

• 00:00:00 このセクションでは、スピーカーは、従来のプログラミングが入力と計算に焦点を当てているのに対し、従来のプログラミングはアルゴリズムを学習するようにコンピューターをトレーニングすることに焦点を当てているため、従来のプログラミングが機械学習とどのように異なるかについて説明します。トレーニング データは機械学習において重要であり、このデータはプロセスの一部としてアルゴリズムを学習するようにマシンをトレーニングするために使用されます。講演者は、機械学習フレームワークと展開の間の架け橋として機能する ONNX (Open Neural Network Exchange) などの機械学習フレームワークの重要性を強調しています。 ONNX は、深層学習フレームワーク間でモデルを移動するのに役立ち、フレームワーク間の相互運用性を確保します。
  
  
• 00:05:00 このセクションでは、Ron Dagdag が ONNX モデルを取得するさまざまな方法について説明します。シェフと同様に、データ サイエンティストは、企業のモデルを改善するためのレシピを作成および改良する責任があります。一方、ONNX モデルは、操作のグラフをニューラル表現するための PDF のようなものです。 ONNX モデルを取得するには、GitHub、Azure カスタム ビジョン サービス、既存のモデルの変換、Azure の自動機械学習を使用したトレーニングなど、4 つの方法があります。モデルを ONNX に変換するプロセスは簡単です。モデルを TensorFlow、Keras、または PyTorch から ONNX に変更するために使用できるコンバーターがあり、既存のモデルの読み込み、変換の実行、保存などの重要な手順が含まれます。全体として、ONNX は、企業が機械学習をよりシームレスにアプリケーションに統合するのに役立ちます。
  
  
• 00:10:00 このセクションでは、講演者は機械学習モデルに ONNX を使用する方法について説明します。 ONNX を使用すると、開発者は、モデルを視覚化するときに、モデルの入力データと出力データが何であるかを識別できます。コマンド ライン変換で使用でき、クラウド内の GPU クラスターですばやくスケーリングできます。 ONNX は、モデルのバージョン管理と展開の支援に役立つモデル レジストリも提供します。講演者は、データ サイエンティストとソフトウェア エンジニアの違いを強調します。前者は秘密のレシピを生成し、後者はさまざまなソースと統合し、データを調達し、パイプラインを作成することで、それを運用する方法を見つけ出します。 ONNX は、Windows デバイスや IoT エンドポイントなど、さまざまなデバイスに展開できます。
  
  
• 00:15:00 このセクションでは、スピーカーは、機械学習モデルをクラウドにデプロイするかエッジにデプロイするかの決定について説明します。これは、ユーザーにより近い処理を指します。彼は、エッジへの展開は、より費用対効果が高く、柔軟性があり、待ち時間が短いため、ビデオや画像を処理する場合に理想的であると説明しています。さらに、ルールや規制により、データが特定のネットワークや国から出てはならないことが規定されている場合は、エッジへの展開が必要になる場合があります。講演者は、展開プロセスをよりシームレスにするために、さまざまな機械学習フレームワークからモデルを変換できる中間形式である ONNX を使用することを提案しています。
  
  
• 00:20:00 このセクションでは、スピーカーが ONNX フレームワークとその潜在的なアプリケーションについて説明します。 ONNX では、モデルを TensorFlow、Core ML、転移学習などのさまざまな形式に変換でき、ONNX ランタイムと呼ばれるモデルを実行するための高性能ランタイムを備えています。 ONNX ランタイムはクロスプラットフォームであり、従来の機械学習操作をサポートします。 GPU バージョンと C# API もあります。全体として、ONNX は開発者にとって強力なツールであり、ユーザーは Docker コンテナー インスタンスを使用して ONNX エコシステムを通じて使い始めることができます。彼のデモでは、講演者は C# でさまざまな ONNX パッケージをダウンロードして使用し、データ フレームを使用してデータを操作する方法を示しています。
  
  
• 00:25:00 このセクションでは、マイクロソフトの ML.NET を使用して、長年の経験に基づいて給与を予測する単純な機械学習モデルを作成するプロセスを講演者が実演します。まず、データをトレーニング セットとテスト セットに分割し、ML コンテキストを使用してパイプラインを作成し、トレーニング セットを使用してモデルをトレーニングします。次に、モデルのメトリックを評価し、それを ONNX モデルに保存します。その後、推論に ONNX ランタイムを使用して、ONNX モデルをアプリケーションに組み込む方法を示します。最後に、アプリケーションの入力コンテナーを作成し、モデルを実行してスコアを取得します。
  
  
• 00:30:00 このセクションでは、スピーカーは ONNX ランタイムを使用する利点、過去に ONNX を使用したさまざまな Microsoft チーム、およびそれによってプロセスがどのように改善されるかについて説明します。彼はまた、Windows デバイスに展開する場合に Windows ML を使用することについても説明しています。Windows ML は、win32 および WinRT アプリケーションの Windows ファミリ デバイス全体で利用でき、API を使用して ONNX ランタイムに接続します。次にスピーカーは、リアルタイムで高度に制御された機械学習 API を作成するのに理想的で、ゲームに最適な Direct ML について説明します。彼はまた、ブラウザーまたは nodejs で ONNX モデルを実行するための ONNX JS と、オペレーティング システム全体または Linux Mac を持たないデバイスの使用を開始できるようにする組み込み学習ライブラリについても強調しています。
  
  
• 00:35:00 このセクションでは、Ron Dagdag が機械学習のオープン スタンダードとしての ONNX の使用と、それをさまざまなプラットフォームに効率的に変換する方法について説明します。 ONNX モデルは、dotnet、JavaScript、Python などの複数の言語で作成できます。パフォーマンスは、クラウドまたはエッジへの展開によって実現できます。聴衆は、C# で ONNX モデルをインポートできますか、ONNX ランタイムのメモリ フットプリントはどのくらいか、大きな画像モデルを小さなデバイスに適した小さな ONNX モデルに変換する方法などの質問をしました。 Dagdag は、プルーニングまたは量子化を使用してモデルを圧縮し、そのサイズを縮小することを提案しました。彼はまた、コードを試すためのバインダーとともに、スライドとデモ コードが GitHub リポジトリで入手できることも強調しました。
  
  
• 00:40:00 このセクションでは、スピーカーは ONNX モデルのサイズを小さくするプロセスについて説明します。 ONNX モデルは、実行できる操作を識別する操作のグラフで構成されています。 ONNX モデルを小さくする特定の方法はないかもしれませんが、圧縮できるユーティリティがあります。オープンソースのソフトウェアであるため、将来的に新しい機能がリリースされる可能性があります。視聴者は、チャットまたは Q&A Web サイトを介して Ron にさらに質問を送信することをお勧めします。

[MetaQuotes]

ONNX で機械学習の力を活用 |ロン・ライル・ダグダグ | Conf42 機械学習 2021

ONNX で機械学習の力を活用 |ロン・ライル・ダグダグ | Conf42 機械学習 2021

このビデオでは、Ron Dagdag が、特に電話やクラウド インフラストラクチャなどのさまざまなエンドポイントにモデルをデプロイする場合に、機械学習モデルのオープン フォーマットとして ONNX (Open Neural Network Exchange) を使用する利点について説明しています。彼は、モデルを ONNX に変換することが役立つ可能性があるシナリオ (低パフォーマンスや異なるフレームワークでトレーニングされたモデルの結合など) について説明し、RestNet などの一般的なモデルを ONNX 形式でダウンロードする方法について説明しています。さらに、機械学習モデルをエッジで実行する利点と、モデルをクラウドに登録してバージョン管理することによるモデルの管理の重要性についても説明しています。彼は、モデルを ONNX に変換する方法と、推論のために Python で ONNX ランタイムを使用する方法を示し、データ サイエンティストとソフトウェア エンジニアが効果的に連携できるようにする ONNX の役割を強調して締めくくります。

• 00:00:00 このセクションでは、Spacy の Ron Dagdag が、ニューラル ネットワークに加えて従来の機械学習モデルを処理できる機械学習モデルのオープン フォーマットとして ONNX (Open Neural Network Exchange) を紹介します。彼は、この形式が、機械学習のトレーニング フェーズと、電話からクラウド インフラストラクチャまでのさまざまなエンドポイントである、学習したモデルをデプロイする場所との間のギャップを埋めることを強調しています。 ONNX は、ますます多くの組織、特に Microsoft と Facebook とのパートナーシップを獲得しています。
  
  
• 00:05:00 このセクションでは、講演者は ONNX の人気の高まりについて説明します。これは、あるプログラミング言語でトレーニングされた機械学習モデルを別の言語または異なるハードウェアに展開できるようにするフレームワークです。モデルを ONNX に変換するのに役立つ場合があります。これには、IoT またはエッジ デバイスにデプロイする場合、または異なるフレームワークでトレーニングされたモデルを組み合わせる場合に、高レイテンシまたは低パフォーマンスが発生するシナリオが含まれます。講演者は、さまざまな種類のデバイスでモデルを表示できるという点で ONNX を PDF に例え、ONNX モデル ズーからのエクスポートや Azure Custom Vision の使用など、ONNX モデルを作成する方法について説明します。
  
  
• 00:10:00 このセクションでは、スピーカーは、RestNet などの一般的な機械学習モデルが、簡単にダウンロードして使用できる ONNX 形式にすでに変換されている方法について説明します。彼はまた、Torch や SKL などのツールまたはコマンド ラインを使用して、ニューラル ネットワーク モデルを ONNX に変換する方法についても言及しています。さらに、彼は、データ サイエンティストのオリジナル コードを必要とせずに、オペレーション グラフの入力と出力を表示することで ONNX モデルを視覚化するツールである Netron について話します。最後に、講演者は、機械学習モデルをクラウドに登録してバージョン管理することにより、機械学習モデルを管理することの重要性を強調しています。
  
  
• 00:15:00 このセクションでは、Ron Lyle Dagdag が、機械学習モデルを展開する場所の重要性と、展開のために考慮すべきさまざまな要因について説明します。彼は、クラウドへのデプロイや、ユーザーに近いエッジでの推論の実行など、さまざまな方法でデプロイを行うことができると説明しています。さらに、彼は、サービスまたは Docker コンテナーを介して実行できる、イメージを構築し、デプロイ用のパイプラインを作成することの重要性について言及し、ONNX をアプリケーションに組み込むために使用できる ONNX Docker イメージの可用性について語っています。
  
  
• 00:20:00 このセクションでは、スピーカーは機械学習モデルをクラウドではなくエッジで実行する利点について説明します。デバイスでローカルにモデルを実行すると、推論時間が短縮されるため、主な利点の 1 つは低レイテンシです。もう 1 つの利点はスケーラビリティです。データをクラウドに送信するよりも、数百万または数十億のデバイスにモデルを展開する方が効率的です。 ONNX エコシステムは、既存のモデルをさまざまなハードウェア アクセラレータを使用してエッジで実行できる形式に変換するためのソリューションとして導入されています。 ONNX モデルの高性能推論エンジンである ONNX ランタイムも、エッジでモデルを実行するためのオープンソース ソリューションとして説明されています。
  
  
• 00:25:00 このセクションでは、スピーカーは ONNX ランタイムと、それを Windows AI プラットフォーム (WinML API など) で使用して、実用的でシンプルなモデルベースの API 推論を行う方法について説明します。さらに、ゲームを作成するための DirectML API、ブラウザーでモデルを実行するための ONNX.js と呼ばれる JavaScript ライブラリ、およびシステムの機能に応じたいくつかの堅牢なドライバー モデルがあります。次にスピーカーは、nuget パッケージと C# アプリケーションを使用して、ml.net でトレーニングされたモデルを ONNX に変換する方法のデモに進みます。
  
  
• 00:30:00 このセクションでは、ロン ライル ダグダグが、ml.net を使用したレビュアーの長年の経験に基づいて給与を予測する機械学習モデルを作成する方法の簡単な例を示します。モデルがトレーニングされると、`context.model.convert_to_onnx` 関数を使用して ONNX モデルに変換できます。次に、ONNX モデルを検証し、ONNX ランタイム ライブラリを使用して Python ノートブックで推論に使用できます。モデルの入力と出力は、`netron.app` を使用して表示されます。
  
  
• 00:35:00 このセクションでは、講演者は Python で ONNX ランタイムを使用して、ML.NET で作成され、ONNX ファイルにエクスポートされたモデルを推論する方法を示します。スピーカーは、ONNX モデルの入力と出力の名前、形状、および型を取得し、推論のために入力値をモデルに渡す方法を示します。また、講演者は、機械学習モデルをアプリケーションに統合するためのオープン スタンダードとして ONNX を使用することの重要性と、ONNX によってデータ サイエンティストとソフトウェア エンジニアが効果的に連携できるようにする方法についても強調しています。最後に、講演者は、ONNX モデルを作成して展開する方法や、ONNX 展開をサポートするさまざまなプラットフォームなど、ディスカッションから得られた重要なポイントを要約します。
  
  
• 00:40:00 このセクションでは、Spacy の主任ソフトウェア エンジニアで Microsoft MVP の Ron Dagdag がビデオを締めくくります、パン屋、パン。

[MetaQuotes]

ONNX ランタイム Web を使用した JavaScript での推論!

ONNX ランタイム Web を使用した JavaScript での推論!

このビデオでは、事前に選択された画像で推論を実行するための UI を提供する Next.js テンプレートを使用して、ブラウザーで ONNX ランタイム Web を使用する方法について説明します。 RGB 値と次元の作成を使用して画像データをテンソルに変換するプロセスが示されています。モデル ヘルパー関数が調査され、モデル、実行プロバイダー、およびセッション オプションへのパスを使用して、前処理されたデータが ONNX 推論セッションに渡されます。モデルのフィードは、入力名とテンソル オブジェクトを使用して作成され、上位 5 つの結果を取得するために session.run 関数に渡されます。最初の結果は画像表示に入力され、ONNX ランタイム ノードを使用したサーバー側の推論のための webpack 構成と手順が提供されます。

• 00:00:00 このセクションでは、推論を行うために必要なすべての前処理を提供するテンプレートを使用して、ブラウザーで JavaScript を使用して ONNX ランタイム Web を使用する方法について学習します。このテンプレートは、本番対応のアプリを構築するための React フレームワークである Next.js 上に構築されており、事前に選択されたサンプル画像で推論を実行するためのシンプルな UI を提供します。著者は、HTML キャンバス要素を設定して画像を表示し、推論に関するさまざまな統計を報告するコードを紹介します。次に、イメージ ヘルパー ユーティリティを使用してイメージをテンソルに変換し、ONNX ランタイム Web API を呼び出して推論を実行するモデル ヘルパーの予測関数に渡します。
  
  
• 00:05:00 このセクションのビデオでは、RGB 値を使用して推論するために画像データをテンソルに変換し、再形成し、ONNX ランタイム Web のテンソル オブジェクトを使用してデータと次元でテンソルを作成するプロセスについて説明します。このビデオでは、モデル、実行プロバイダー (WebGL または WebAssembly)、およびセッション オプションへのパスを与えることによって、前処理されたデータを ONNX 推論セッションに渡すモデル ヘルパー関数についても説明します。モデルのフィードを作成するには、入力名と ORT テンソル オブジェクトが必要です。これらは、結果を取得するために session.run 関数に渡されます。上位 5 つの結果が返され、最初の結果を使用して画像が表示されます。さらに、webpack 構成が提供され、ONNX ランタイム ノードを使用して API フレームワークを使用してサーバー側で推論を行うための手順が提供されます。

[MetaQuotes]

Ron Dagdag - ONNX を使用してブラウザーでニューラル ネットワークを作成する

Ron Dagdag - ONNX を使用してブラウザーでニューラル ネットワークを作成する

このビデオでは、Ron Dagdag が、ONNX 機械学習フレームワークを使用してブラウザーでニューラル ネットワークを実行する方法を説明しています。彼は、機械学習の基本、ONNX モデルの作成と展開、および ONNX ランタイム環境について説明しています。 Dagdag は、仕事の経験に基づいた給与の予測や画像内の感情の検出など、さまざまな例で ONNX の使用法を示しています。また、Android や iOS などのさまざまなプラットフォームへの ONNX モデルのデプロイについても説明し、ONNX を試すための利用可能なリソースとデモを強調しています。 Dagdag は ONNX の実験を奨励し、ONNX ランタイムを使用してターゲット プラットフォームで効率的な推論を行うことの重要性を強調しています。

• 00:00:00 このセクションでは、ソフトウェア エンジニアリング ディレクターで Microsoft MVP の Ron Dagdag が、機械学習の基本と、従来のプログラミングと機械学習の違いについて説明します。彼は、機械学習では、入力の後に一連の例または回答が提供され、目標はコンピューターを訓練してアルゴリズムを作成することであると説明しています。彼はまた、ブラウザーでニューラル ネットワークを実行できるようにするため、JavaScript 開発者の間で人気が高まっている機械学習フレームワークである ONNX についても説明しています。
  
  
• 00:05:00 このセクションでは、Ron Dagdag が、モデルのトレーニングとアプリケーションへの組み込みとの間の架け橋として機能する、機械学習モデルのオープン フォーマットである ONNX について説明します。 ONNX はニューラル ネットワークに限定されず、従来の機械学習も含まれており、GitHub で入手でき、多くの貢献者がいます。本番環境に対応しており、本番環境での使用に最適化されているため、リソースに制約のあるエッジ デバイスや IoT デバイスに適しています。さらに、ONNX では、異なるフレームワークで構築されたモデルを組み合わせることができるため、異なる機械学習フレームワークを使用する複数のチームと協力するための優れたツールになります。
  
  
• 00:10:00 このセクションでは、Ron Dagdag が ONNX モデルを作成して展開するプロセスについて説明します。彼はプロセスをパンを焼くことに例え、パン作りには秘密のレシピが必要なように、データ サイエンティストはさまざまな組み合わせを試して、特定のデータセットに適合する正しいモデルを作成すると述べています。 Dagdag は、ONNX モデルは、Netron アプリを使用して視覚化できる操作のグラフであると説明しています。彼は、モデルを作成する 3 つの方法について言及しています。これには、ONNX モデル Zoo、画像分類用の Azure カスタム ビジョン サービスの使用、および既存のモデルの変換が含まれます。 Dagdag 氏は、モデルを実験する最も簡単な方法はカスタム ビジョン サービスを使用することであると示唆しています。これにより、データセットをアップロードし、ラベルを付け、カスタマイズされた ONNX モデルを構築するために使用できます。
  
  
• 00:15:00 このセクションでは、Ron Dagdag が、既存の機械学習モデルを ONNX に変換し、ONNX ファイルに保存する方法について説明します。彼は、PyTorch と Keras を使用した簡単な例と、TensorFlow と Scikit-learn のコマンド ライン ツールを提供しています。また、展開プロセスで適切なバージョンが使用されるように、モデルを管理および登録することの重要性についても語っています。 Dagdag は、機械学習モデルを既存のアプリケーションと統合するために必要なスキルを提供することで、ソフトウェア エンジニアがデータ サイエンティストに力を与え、組織にとって役立つものにできることを強調しています。
  
  
• 00:20:00 このセクションでは、スピーカーは、iOS や Android などの VM やデバイスへの展開など、ニューラル ネットワークの展開オプションについて説明します。クラウドとエッジの展開の違いも強調されており、マクドナルドが工場でパンを焼くのに対し、サブウェイがレストランでパンを焼くという例えを使用しています。 ONNX ランタイムは、JavaScript、Node、および React Native で ONNX モデルの推論に使用できるオープン ソース ツールとして導入されました。次にスピーカーは、ノード アプリケーションで ONNX モデルを視覚化する方法のデモを提供し、.NET インタラクティブと Python ノートブックを使用してモデルをトレーニングし、ONNX に変換する方法について簡単に触れます。
  
  
• 00:25:00 このセクションでは、Ron Dagdag が、NuGet パッケージから ONNX モデルを作成し、Microsoft ML を使用してモデルをトレーニングする方法を説明しています。彼は、Microsoft が提供する 1 つの入力要素 (この場合はユーザー エクスペリエンスと経験年数に基づく給与) に基づいてアウトプットを予測するデータを使用します。モデルのトレーニングが完了すると、ONNX ファイルが生成されます。その後、セッションを作成してフィードを渡すことで、このファイルを JavaScript アプリケーションに統合します。セッションでフィードが設定されると、それを実行してスコアを使用します。出力して予測結果を表示します。 Dagdag は、実行環境に ONNX Runtime Node を使用して JavaScript アプリケーションを実行します。
  
  
• 00:30:00 このセクションでは、Ron Dagdag が、Web アセンブリと webGL テクノロジを使用する JavaScript 実行ライブラリである ONNX ランタイム Web を使用して、ブラウザーで機械学習モデルを実行する方法について説明します。ブラウザーでモデルを実行すると、ローカルで実行され、インターネット接続に依存しないため、高速で安全で安価になります。 Ron はまた、ブラウザーで大規模なモデルを実行するべきではないと説明し、入力を使用してモデルに渡し、予測の出力を取得する簡単な例を使用して、ニューラル ネットワークで既存の ONNX モデルを実行する方法を紹介します。
  
  
• 00:35:00 このセクションでは、Dagdag がブラウザで ONNX モデルを作成して統合するプロセスを示します。彼は例として、64x64 グレースケール画像から感情を区別できる ONNX モデルを使用しています。画像でモデルを使用するために、Dagdag はまず画像のサイズを変更して前処理し、次にそれをテンソルに変換します。彼は 3 つのステップで ONNX モデルをロードし、セッションを作成し、入力をモデルに送り、出力を処理して画像で検出された感情を表示します。 Dagdag 氏は、ONNX をブラウザ アプリケーションに統合するプロセスには、セッションの作成、それを session.run に渡し、出力を処理することが含まれると述べています。
  
  
• 00:40:00 このセクションでは、Ron Dagdag が、モデルが正確に分類できるかどうかを確認するために数値を描画できる MNIST デモなど、ONNX の実験に利用できるさまざまなリソースとデモについて説明します。彼はまた、ONNX は Android および iOS プラットフォームの React Native で使用できるが、モバイル用に最適化された形式に変換する必要があることにも言及しています。 ONNX は、Windows 10、Mac、Ubuntu、iOS、Android などのさまざまなプラットフォームに対応しており、webassembly または webgl で使用できます。 Ron は、ONNX ランタイムを使用してモデルをターゲット プラットフォームで効率的に実行し、トレーニングと推論に使用するものを分離することの重要性を強調しています。彼はまた、ONNX は Windows ML、Azure ML を使用して展開でき、JavaScript および Python で使用できることにも言及しています。 Ron は、ONNX は Snapchat AR メガネなどのさまざまなデバイスで実行できると述べ、視聴者が利用可能なリソースとデモを使用して ONNX を試すことを奨励しています。

[MetaQuotes]

ONNX を使用してブラウザでニューラル ネットワークを実行する - Ron Dagdag - NDC Melbourne 2022

ONNX を使用してブラウザでニューラル ネットワークを実行する - Ron Dagdag - NDC Melbourne 2022

Ron Dagdag は、ニューラル ネットワークをブラウザーで実行する ONNX に関する専門知識を共有しています。彼は、プログラミングの基本と機械学習との違い、JavaScript と機械学習フレームワークの可用性、電話、IoT、クラウドなどのさまざまなデバイスで機械学習モデルを実行する方法について説明しています。彼は、さまざまなフレームワークで作成されたモデルをさまざまなプログラミング言語の既存のアプリケーションと統合できる、機械学習モデルのオープン フォーマットである ONNX を紹介しています。 Dagdag は、ONNX モデルを作成、管理、デプロイする方法を示します。ONNX ランタイム、Web アセンブリ、および Web GL テクノロジを組み込んで、パフォーマンス、安全性、およびコストを最適化しながら、ブラウザで ONNX モデルを実行します。このビデオでは、モバイル デバイスでの事前トレーニング済みモデルのスコアリング、コストに関する考慮事項、大量のデータをローカルで処理するためにオブジェクト検出をエッジの近くで実行する利点についても説明します。

• 00:00:00 このセクションでは、Ron Dagdag がプログラミングの基本と機械学習との違いについて説明します。彼は、推論に使用されるモデルを作成するために必要なトレーニング データとフレームワークについて説明します。彼はまた、さまざまな JavaScript および機械学習フレームワークが利用可能であることも指摘しています。最後に、機械学習モデルは電話、IoT、クラウドなどのさまざまなデバイスで実行でき、モデルを改善するためのフィードバック ループにもなり得ることを強調しています。
  
  
• 00:05:00 このセクションでは、GitHub でオープン ソース化されている機械学習モデルのオープン フォーマットである ONNX (Open Neural Network Exchange) について講演者が紹介します。 ONNX を使用すると、PyTorch や Keras などのさまざまなフレームワークで作成された機械学習モデルを、C#、Java、JavaScript などのさまざまなプログラミング言語の既存のアプリケーションと統合できます。 ONNX の使用は、特に IoT またはエッジ デバイスで実行する場合に、高い推論レイテンシと高速な結果が必要な場合に特に役立ちます。さらに、ONNX を使用すると、リモートに送信する代わりに、さまざまなモデルとトレーニングをローカルで組み合わせることができます。セッションの議題には、ONNX モデルの作成と展開が含まれます。
  
  
• 00:10:00 このセクションでは、スピーカーは展開用の ONNX モデルを作成するさまざまな方法について説明します。 1 つの方法は、GitHub の ONNX モデル Zoo を使用することです。ここでは、画像分類などに基づいて構築された既存のモデルが既に無料でダウンロードできます。もう 1 つの方法は、Microsoft の Custom Vision サービスを使用することです。このサービスでは、画像またはデータセットをアップロードし、タグを付け、トレーニングして、ONNX モデルにエクスポートできるカスタム モデルを作成できます。 PyTorch ライブラリや ONNX ML ツールなどのライブラリまたはツールを使用して、既存のモデルを変換することもできます。講演者は、企業のデータに対して最も効果的なモデルを作成するための最良のアプローチを実験して把握する上で、データ サイエンティストの重要性を強調しています。
  
  
• 00:15:00 このセクションでは、Ron Dagdag が Azure Machine Learning を使用して機械学習モデルを作成および管理するプロセスについて説明します。このモデルでは、コード変更用の Github リポジトリのようにモデルを登録および管理できます。彼はまた、Visual Studio Code で ml.net を使用して ML モデルを作成する方法と、ONNX netron アプリで開くことができる model.onnx ファイルを生成するコマンドライン インターフェイスを使用して ONNX にエクスポートする方法を示します。
  
  
• 00:20:00 このセクションでは、作成された ONNX モデルをデプロイする方法について Ron Dagdag が説明します。彼は、モデルをアプリケーションと統合するには展開が重要であり、開発者はモデルをクラウドで実行するか、エッジで実行するかを検討する必要があると説明しています。クラウドで実行する場合、開発者はモデルをデプロイするデータセンターを決定する必要がありますが、エッジでデプロイする場合は、モデルが電話やブラウザーなど、ユーザーの近くで実行されることを意味します。 Dagdag 氏は、モデルをエッジで実行する利点 (柔軟性など) と、お金を集めたり、データを処理してビジネス ルールを作成したりするためのシステムを構築することの重要性を指摘しています。
  
  
• 00:25:00 このセクションでは、スピーカーは ONNX ランタイムについて話します。これは、オープンソースであり、ONNX ML 仕様と完全に互換性のある ONNX モデル用の高性能推論エンジンです。 ONNX ランタイムを使用すると、開発者は、Web ブラウザー、iOS、Android、Mac、さまざまな API など、さまざまなプラットフォームとアーキテクチャを選択してモデルを実行できます。スピーカーは、ONNX ランタイムを node.js および WebAssembly と共に使用して、ONNX モデルをメモリに読み込み、入力データを渡し、出力を取得する方法を示します。また、ONNX ランタイムが計算に必要なデータのみを通過させ、残りを無視することで効率的な処理を可能にする方法についても説明しています。
  
  
• 00:30:00 このセクションでは、Ron Dagdag が、ml.net を使用して作成され、ONNX にエクスポートされたノードを、サーバー側で実行される JavaScript アプリケーションに組み込む方法について説明します。 webassembly および webgl テクノロジを利用することで、ONNX モデルは CPU と GPU の両方で実行できるため、パフォーマンスが向上し、安全性が向上し、オフラインでの使用が可能になり、コストが削減されます。モデルをブラウザーに組み込むことには多くの利点がありますが、モデルのサイズが大きく、ハードウェア要件がユーザー エクスペリエンスに影響を与える可能性があるため、デバイスの簡素化と考慮が必要です。反応開発者が利用できる反応テンプレートも利用できます。
  
  
• 00:35:00 このセクションでは、Ron Dagdag が、ONNX を使用してブラウザーでニューラル ネットワークを実行する方法を示します。彼は、画像内の感情を検出する ONNX モデル動物園からダウンロードした ONNX モデルのデモを示しています。 ONNX ランタイム Web は、イメージのアップロードと処理に使用されます。モデルには 64x64 サイズの入力画像が必要なため、Ron は ort.tensor を使用して画像をテンソルに変換する前に、画像のサイズを変更してグレースケールに変換します。出力は、画像で検出された感情を含む 1x8 のテンソルです。
  
  
• 00:40:00 このセクションでは、スピーカーは、ONNX を使用してブラウザーでニューラル ネットワークを実行する方法について説明します。彼は、ONNX モデルをメモリにロードするための 3 つのステップは、モデルをロードし、モデルに基づいて入力パラメーターを作成し、セッションを実行して結果を取得することであると説明しています。また、React Native を使用してモバイル デバイスで事前トレーニング済みのモデルをスコアリングするプロセスについても説明しています。これには、ONNX モデルを mobile.ort と呼ばれる最適化されたモバイル モデルに変換することが含まれます。 ONNX ランタイムは、Windows 10、Mac OS、Ubuntu、iOS、Android、Chrome、Edge、Safari、Electron など、さまざまなプラットフォームと互換性があります。講演者は、推論とモデル トレーニングのさまざまなパイプラインのユース ケースを理解することが重要であることを強調し、詳細を知りたい人のために GitHub へのリンクを提供しています。
   
  
• 00:45:00 このセクションでは、スピーカーは ONNX を使用して、オブジェクト検出とセグメンテーション機能を備えた Snapchat のメガネで機械学習を実行することについて話します。また、異なるフレームワーク間の変換の中間点として機能する ONNX を使用して、PyTorch および TensorFlow モデルをアプリケーションに組み込む方法についても説明しています。彼は、IoT アプリケーションにデバイスとスマート デバイスのどちらを使用するかを決定する際に、データ処理のコストを考慮することを提案し、大量のデータを送信するとコストがかかる可能性があると述べています。講演者は、ONNX に変換できるモデルを使用して最適化することを推奨し、カスタム オペレーターがまだマッピングされていない場合は追加の作業が必要であると述べています。
  
  
• 00:50:00 ビデオのこのセクションでは、Ron Dagdag が、クラウドではなくエッジの近くでオブジェクト検出を実行する利点について説明しています。処理はローカルで行われるため、大量のデータを扱う場合に最適です。生データ自体ではなく、推論の結果をイベント ハブまたはストリームに送信することも、プロセスの最適化に役立ちます。

[MetaQuotes]

Linux Foundation 人工知能とデータの日 - ONNX コミュニティ ミーティング - 2021 年 10 月 21 日

Emma Ning (Microsoft) ブラウザ内推論のための ONNX ランタイム Web

001 ONNX 20211021 Ning ONNX ランタイム Web for In Browser 推論

Microsoft AI フレームワーク チームのプロダクト マネージャーである Emma は、ONNX ランタイム Web を紹介します。ONNX ランタイム Web は、JavaScript 開発者が、CPU 用の Web アセンブリと GPU 用の WebGL を含む 2 つのバックエンドを使用して、ブラウザーで機械学習モデルを実行および展開できるようにする ONNX ランタイムの新機能です。 Web アセンブリ バックエンドは、任意の ONNX モデルを実行し、マルチスレッドと SIMD を活用し、ネイティブ ONNX ランタイムがサポートするほとんどの機能をサポートできますが、WebGL バックエンドは、WebGL API を使用した純粋な JavaScript ベースの実装です。スピーカーは、ONNX オペレーターと両方のバックエンドとの互換性についても説明し、推論セッションを作成してモデルを実行するためのコード スニペットを提供し、MobileNet モデルを利用したいくつかのブラウザー内イメージ モデルのシナリオを特徴とするデモ Web サイトを紹介します。ただし、講演者は、ONNX ランタイム Web のパフォーマンスとメモリ消費を強化し、サポートされている ONNX オペレーターを拡張する上で、まだ改善の余地があることも認めています。

• 00:00:00 このセクションでは、Microsoft AI Framework チームのプロダクト マネージャーである Emma が、ブラウザ内推論の新しいソリューションである ONNX ランタイム Web を紹介します。ブラウザー内機械学習のアイデアは、ブラウザーを介したシステム実装によるクロスプラットフォームの移植性を可能にし、ユーザーのプライバシーを保護し、サーバーにデータを送信せずにパフォーマンスを加速するため、勢いを増しています。 ONNX ランタイム Web は、JavaScript 開発者がブラウザで機械学習モデルを実行および展開できるようにする ONNX ランタイムの新機能であり、推論パフォーマンス、モデル カバレッジ、および開発経験が向上しています。 ONNX ランタイム Web のアーキテクチャは、CPU 用の Web アセンブリと GPU 用の WebGL を含む 2 つのバックエンドで構成され、ONNX ランタイム Web が CPU と GPU の両方で推論を高速化できるようにします。 Web アセンブリ バックエンドは、任意の ONNX モデルを実行し、マルチスレッドと SIMD を活用し、ネイティブの ONNX ランタイムがサポートするほとんどの機能をサポートできます。一方、WebGL バックエンドは、コンピューターの GPU への直接アクセスを提供する WebGL API を備えた純粋な JavaScript ベースの実装であり、多くの最適化手法を使用してパフォーマンスをさらに最大限に引き出すことができます。
  
  
• 00:05:00 このセクションでは、スピーカーは、Web の世界で最も人気のあるプラットフォームをサポートする WebAssembly および WebGL バックエンドの両方との ONNX オペレーターの互換性について説明します。これらは、互換性のあるプラットフォームとサポートされている ONNX オペレーターを示す表へのリンクを提供します。また、推論セッションを作成し、ONNX ランタイム Web でモデルを実行する方法を示すコード スニペットも提供します。これにより、サーバー側とクライアント側の影響に対して一貫した開発エクスペリエンスが可能になります。次に講演者は、さまざまなバックエンドを選択するオプションを使用してブラウザーで MobileNet モデルを実行するなど、画像モデルを利用したいくつかの興味深いブラウザー内ビジョン シナリオを特徴とするデモ Web サイトを共有します。講演者は、ONNX オペレーターをさらに追加し、ONNX ランタイム Web パフォーマンスとメモリ消費を最適化し、その機能を紹介するためにより多くのデモに取り組むという点で、まだ改善の余地があることを認めています。

[MetaQuotes]

Web と機械学習 W3C ワークショップ 2020 年夏

ONNX.js - ブラウザと Node.js で ONNX モデルを実行するための Javascript ライブラリ

ONNX.js - ブラウザと Node.js で ONNX モデルを実行するための Javascript ライブラリ

ONNX.js は、ユーザーがブラウザと Node.js で ONNX モデルを実行できるようにする JavaScript ライブラリです。さまざまな手法を使用して CPU と GPU の両方でモデルを最適化し、簡単に分析できるようにプロファイリング、ロギング、およびデバッグをサポートします。このライブラリは、すべての主要なブラウザーとプラットフォームをサポートし、Web ワーカーを使用して並列化を可能にし、マルチコア マシンでのパフォーマンスを向上させます。 WebGL を使用して GPU 機能にアクセスすると、パフォーマンスが大幅に向上し、CPU と GPU 間のデータ転送が削減されます。さらなる最適化とオペレーターのサポートが必要ですが、スピーカーは ONNX.js を改善するためのコミュニティの貢献を奨励しています。

• 00:00:00 このセクションでは、Microsoft の Emma が ONNX.js について話します。ONNX.js は、ブラウザと Node.js で ONNX モデルを実行するために使用される JavaScript ライブラリです。 JavaScript は 95% の Web サイトで使用されている非常に重要な言語であり、GitHub Desktop や VS Code などの電子アプリで使用される最も人気のあるクライアント側言語です。 JavaScript はハイ パフォーマンス コンピューティング用に設計されていないという認識がありますが、JavaScript と機械学習をうまく連携させるための手法はいくつかあります。クライアント側の機械学習を使用する利点には、リアルタイム分析を可能にしながらプライバシーを保護し、クロスプラットフォームで一貫した AI エクスペリエンスを実現し、ライブラリやドライバーのインストールを必要とせずに GPU を利用してパフォーマンスを加速することが含まれます。 ONNX.js は TensorFlow.js に似ており、標準フレームワークである ONNX 形式で機械学習モデルを提供します。
  
  
• 00:05:00 このセクションでは、Microsoft と Facebook によって 2017 年に設立され、ウィンドウ中立のオープン フォーマット標準を提供する ONNX コミュニティについて学びます。 ONNX.js は、ユーザーがブラウザーで ONNX モデルを実行し、JS をロードできるようにする、ONNX の純粋な JavaScript 実装です。いくつかの高度な技術手法を使用して CPU と GPU の両方でモデルを最適化し、JavaScript と WebAssembly を使用する CPU 用に 2 つ、WebGL を使用する GPU 用に 1 つの 3 つのバックエンドが有効になっています。また、ONNX.js は、プロファイラー、ロガー、およびデバッグと分析を容易にするその他のユーティリティを提供し、主要なプラットフォーム上のすべてのブラウザーをサポートして、プラットフォーム間で AI アプリケーションを簡単に構築します。最後に、Web ワーカーを使用すると、負荷の高いオペレーター内での並列化が可能になり、マルチコアのマシンでのパフォーマンスが大幅に向上します。
   
  
• 00:10:00 このセクションでは、講演者は、GPU 機能にアクセスするための一般的な標準 API である WebGL を使用して、JavaScript でのグラフィック作成を高速化する利点について説明します。 WebGL を使用すると、CPU と GPU 間のデータ転送を削減し、GPU 処理サイクルを削減するための多くの最適化が可能になり、パフォーマンスが大幅に向上します。また、スピーカーは、ONNX.js を使用してモデルを実行するエンドツーエンドのフローの例を提供し、HTML の例と npm および境界ツールで ONNX.js を使用する方法を示します。さらに、講演者は、さらなる最適化と、より多くの ONNX オペレーターのサポートの必要性について議論し、ONNX.js を改善するためのコミュニティの貢献を奨励しています。

[MetaQuotes]

ONNX.js を使用してブラウザーで PyTorch モデルを実行する方法

ONNX.js を使用してブラウザーで PyTorch モデルを実行する方法

このビデオでは、JavaScript と ONNX.js を使用してブラウザーで PyTorch モデルを実行する利点について説明しています。これには、応答時間の短縮、スケーラビリティ、オフラインでの可用性、ユーザー プライバシーの強化が含まれます。このビデオでは、PyTorch モデルを ONNX モデルに変換し、それを ONNX.js セッションにロードし、ブラウザーで推論を実行するプロセスについても説明します。データの準備、デバッグ、拡張についても説明し、講演者はデータ拡張技術を使用してモデルをより堅牢にする方法を実演します。ビデオでは、ユーザーが自分でモデルを試すためのサンプル コードとデモ Web サイトが提供されます。

• 00:00:00 このセクションでは、Eliot Wait が、JavaScript を使用してブラウザで PyTorch モデルを実行する利点について説明します。まず、ブラウザでモデルを実行すると、応答時間が短縮され、サーバーとの間でデータを送受信する際の遅延が回避されます。次に、静的ファイルのみで Web サイトをセットアップすると、より多くのユーザーを簡単にスケーリングして処理できるようになります。第 3 に、モデルはオフラインで動作するため、JavaScript ファイルが既にインストールされている限り、インターネットにアクセスしなくても使用できます。第 4 に、ブラウザーでモデルをホストすると、データがサーバーと共有されないため、ユーザーのプライバシーが強化されます。ただし、モデルが大きすぎるか、ユーザー デバイスでの計算に時間がかかりすぎる場合は、サーバーでホストすることをお勧めします。最後に、Eliot は、手書き数字認識用の Mnest モデルを使用して、PyTorch モデルを JavaScript に簡単に変換する方法を示します。
  
  
• 00:05:00 このセクションのビデオでは、TensorFlow.js と ONNX.js の使用の違いを説明し、トレーニングには TensorFlow.js を使用し、推論には ONNX.js を使用することを提案しています。 ONNX は「オープン ニューラル ネットワーク エクスチェンジ」の略で、機械学習モデルの一般的なファイル形式を定義します。次に、このビデオでは、torch.onnx.export メソッドを使用して PyTorch モデルを ONNX モデルに変換するプロセスを順を追って説明し、モデルを ONNX.js 推論セッションにロードしてブラウザーで推論を実行する方法を示します。このビデオでは、セッションを作成し、モデルをロードし、読み取り専用の出力マップを返すダミー入力で推論を実行するためのサンプル コードを提供します。
  
  
• 00:10:00 このセクションのビデオでは、ONNX.js を使用してブラウザーで PyTorch モデルを実行しようとしたときに発生するエラーに対処する方法について説明します。具体的には、エラー メッセージには、log-softmax 演算子が現在 ONNX.js でサポートされていないことが示されていますが、ビデオ プレゼンターには、代わりに softmax 演算子がサポートされていることが示されています。このビデオでは、ユーザーが数字を描画して PyTorch モデルの出力予測を確認できるデモ Web サイトも紹介しています。ただし、プレゼンターは、モデルの読み込みに問題があることを指摘しています。これは、データを実行する前にモデルが読み込まれていることを確認することで修正されます。最後に、ビデオは、画像データ リストを 280x280x4 テンソルに再形成するモデル コードの更新バージョンを示し、モデルがピクセル入力に基づいて数字の値を予測できるようにします。
  
  
• 00:15:00 ビデオのこのセクションでは、スピーカーは ONNX.js を使用してブラウザーで実行される PyTorch モデルのデータを準備する方法を説明します。描画された画像の 4 番目のチャネルを抽出して、PyTorch 画像の予想される形状に再形成します。また、平均プール演算子を適用し、テンソルを 255 で除算して、イメージ値を予想範囲内に調整します。さらに、データセットの平均を引いて標準偏差で割ることで、データを正規化する方法についても説明しています。スピーカーは、ダミー入力の古い形状によるエラーを特定し、それを修正する方法について説明します。また、データ拡張をデバッグおよび適用してモデルをより正確にし、画像データをモデルに渡す前に回転および変換する方法についても説明します。
  
  
• 00:20:00 このセクションでは、スピーカーは、トレーニング スクリプトにデータ拡張を追加することで、モデルをより堅牢にする方法を示します。これらの拡張には、数字の変換、スケーリング、せん断が含まれ、モデルが学習するためのより厳しいサンプルが生成されます。その後、スピーカーはモデルをゼロから再トレーニングしてテストし、まだ改善できる可能性はあるものの、追加されたデータ拡張によって全体的により堅牢になったことに注目しました。講演者は、ビデオの説明にあるリンクを使用して、視聴者にモデルを自分で試すように勧めます。

[MetaQuotes]

ONNX ランタイム デモを使用した CPU での数字の分類

ONNX ランタイム デモを使用した CPU での数字の分類

Open Neural Network Exchange (ONNX) は、ディープ ラーニング モデルと機械学習モデルの両方にオープンソース形式を提供します。好みのフレームワークでモデルをトレーニングし、モデルを ONNX 形式に変換できます。 Microsoft の ONNX ランタイムを使用すると、任意の環境で onnx モデルを使用して推論セッションを実行できるため、実装がわずかに高速になります。これは同じことの簡単なデモンストレーションです。モデルは、PyTorch で MNIST データセットを使用して数字を認識するようにトレーニングされています。 Linux CPU で推論セッションを実行しています。

https://github.com/NagarajSMurthy/Digit-recognizer