We present extensions to the Open Neural Network Exchange (ONNX) intermediate representation format to represent arbitrary-precision quantized neural network...
Presented by Oscar Rodriguez and Alberto Dassatti at GNU Radio Conference 2020 https://gnuradio.org/grcon20This paper introduces gr-dnn, an open source GNU R...
ONNX モデルの実用的なトレーニング後の量子化
ONNX モデルの実用的なトレーニング後の量子化
このビデオでは、量子化を実装して TensorFlow モデルのサイズを ONNX 量子化モデルに縮小する方法について説明します。 ONNX モデルはサイズが大幅に小さく、CPU 上でより高速に実行できます。著者は、動的量子化を実装する方法と CPU 速度をチェックする方法に関するコード スニペットと手順を提供します。
このビデオでは、精度の低下につながる可能性があることを認めながら、機械学習モデルを量子化して高速化および軽量化するプロセスを示しています。 ONNX モデルと TensorFlow モデルを量子化モデルと比較すると、後者の方が高速で軽量であることがわかります。ただし、量子化されたモデルは、他のモデルほど GPU の使用による恩恵を受けません。次に、量子化されたモデルの精度が評価され、わずかな低下しかないことがわかります。 ONNX モデルを視覚化するプロセスについても説明し、Loot Rodas Neutron アプリを使用してデモを行います。全体的なプロセスにより、モデル サイズが 1 ギガバイトから 83 メガバイトに減少し、精度の低下は最小限に抑えられます。
QONNX: ONNX で任意精度の量子化された NN を表現するための提案
QONNX: ONNX で任意精度の量子化された NN を表現するための提案
講演者は、ワイヤレス通信でのアプリケーションの例を使用して、低精度の量子化について説明します。彼らは、ONNX で任意精度の量子化ニューラル ネットワークを表現するための方言である QONNX を提案しています。 QONNX は、量子化表現を簡素化し、より幅広いシナリオ セットに拡張し、さまざまなタイプの丸めとバイナリ量子化のオプションを提供します。これは FPGA への展開に使用されており、Brevitas Python 量子化ライブラリに統合されており、NQCDQ は次のリリースに統合される予定です。
GRCon20 - ONNX を使用した GNU Radio での深層学習推論
GRCon20 - ONNX を使用した GNU Radio での深層学習推論
このビデオでは、ONNX をオープン フォーマットとして使用して、ディープ ラーニングを無線周波数領域の柔軟なオープンソース ソリューションとして統合する方法について説明しています。スピーカーは、GNU Radio と ONNX の両方に Python インターフェイスを使用する新しいモジュール GR DNN DN4 を紹介し、GNU Radio によって生成されたシミュレートされたデータでトレーニングされた深い畳み込みニューラル ネットワーク モデルを使用した自動変調分類の例でその機能を示します。また、BGG16 モデルを使用して SDR データの分類にディープ ラーニングを使用する場合の要件と課題についても説明し、GPU などのハードウェア アクセラレーションを使用して推論を改善し、リアルタイムの結果を達成することを提案しています。このプロジェクトはオープンソースであり、コラボレーションが奨励されています。