Lernen mit ONNX für den Handel - Seite 15

[MetaQuotes]

QONNX: Ein Vorschlag zur Darstellung von quantisierten NNs mit beliebiger Genauigkeit in ONNX

QONNX: Ein Vorschlag zur Darstellung von quantisierten NNs mit beliebiger Genauigkeit in ONNX

Der Redner erörtert die Quantisierung mit niedriger Genauigkeit mit einem Beispiel ihrer Anwendung in der drahtlosen Kommunikation. Sie schlagen QONNX vor, einen Dialekt zur Darstellung von quantisierten neuronalen Netzen mit beliebiger Genauigkeit in ONNX. QONNX vereinfacht die Quantisierungsdarstellung, erweitert sie auf eine breitere Palette von Szenarien und bietet Optionen für verschiedene Arten von Rundungen und binärer Quantisierung. Es wird für den Einsatz auf FPGAs verwendet und ist in die Brevitas-Python-Quantisierungsbibliothek integriert, wobei NQCDQ in die nächste Version integriert werden soll.

• 00:00:00 In diesem Abschnitt spricht der Sprecher über das Konzept der Quantisierung mit niedriger Genauigkeit, was eine Quantisierung unter 8 Bit bedeutet. Der Redner liefert ein Beispiel dafür, wie eine Quantisierung mit niedriger Genauigkeit in einer Modulationsklassifizierungsaufgabe für die drahtlose Kommunikation verwendet wurde, um dank quantisierungsbewusstem Training einen hohen Durchsatz mit reduzierter Latenzzeit zu erreichen. Der Referent erläutert die Grundlagen der einheitlichen Quantisierung und schlägt vor, die Darstellungsstärke von ONNX für neuronale Netze mit niedriger Genauigkeit zu erweitern, indem Clipping als zusätzliche Funktion über ganzzahlige Grenzen zwischen quantisierten und dequantisierten Knoten verwendet wird. Der Sprecher räumt jedoch ein, dass dieser Ansatz Einschränkungen hat, einschließlich der Beschränkung auf quantisierte lineare Operatoren mit einer 8-Bit-Ausgabe und der Unfähigkeit, verschiedene Arten von Rundungen anzunehmen.
  
  
• 00:05:00 In diesem Abschnitt stellt der Redner QONNX vor, einen Dialekt zur Darstellung von quantisierten neuronalen Netzen mit beliebiger Genauigkeit in ONNX. QONNX vereinfacht die Quantisierungsdarstellung, indem es eine Folge von Operationen für die gefälschte Quantisierung in nur einem Knoten zusammenführt und sie gleichzeitig auf eine breitere Palette von Szenarien ausdehnt. Es bietet Optionen für verschiedene Arten von Rundungen, Broadcast-Bit-Eingaben und binäre Quantisierung. Das Format wird für den Einsatz auf FPGAs im Rahmen des schnellen maschinellen Lernens genutzt, wobei verschiedene Tools für den Umgang mit QONNX verfügbar sind, die sich in die ONNX-Laufzeit und vortrainierte Modelle mit niedriger Genauigkeit integrieren lassen. QONNX ist bereits in die Brevitas-Python-Quantisierungsbibliothek integriert, und NQCDQ soll in die nächste Version integriert werden.

[MetaQuotes]

GRCon20 – Deep-Learning-Inferenz in GNU Radio mit ONNX

GRCon20 – Deep-Learning-Inferenz in GNU Radio mit ONNX

Das Video erörtert die Verwendung von ONNX als offenes Format zur Integration von Deep Learning als flexible Open-Source-Lösung im Hochfrequenzbereich. Der Referent stellt sein neues Modul GR DNN DN4 vor, das Python-Schnittstellen sowohl für GNU Radio als auch für ONNX verwendet, und demonstriert seine Fähigkeiten anhand eines Beispiels für die automatische Modulationsklassifizierung unter Verwendung eines Deep Convolutional Neural Network-Modells, das mit simulierten Daten trainiert wurde, die von GNU Radio generiert wurden. Sie diskutieren auch die Anforderungen und Herausforderungen bei der Verwendung von Deep Learning für die Klassifizierung von SDR-Daten mit dem BGG16-Modell und schlagen vor, Hardwarebeschleunigung wie eine GPU zu verwenden, um die Inferenz zu verbessern und Echtzeitergebnisse zu erzielen. Das Projekt ist Open Source und die Zusammenarbeit wird gefördert.

• 00:00:00 In diesem Abschnitt des Videos diskutiert Oscar Rodriguez seine Arbeit mit Deep-Learning-Inferenz in GNU Radio mit ONNX. Das Hauptziel ihres Projekts war die Integration von Deep Learning als flexible und Open-Source-Lösung in den Hochfrequenzbereich. Sie entschieden sich für ONNX, da es sich um ein offenes Format handelt, das die Interoperabilität des maschinellen Lernens zwischen verschiedenen Frameworks ermöglicht und das Problem inkompatibler Deep-Learning-Frameworks löst. Die Anpassung von Modellen an ONNX ist jedoch mit Kosten verbunden, und bei bestimmten Vorgängen können Probleme mit der Betriebsverfügbarkeit auftreten, obwohl dies durch die Tatsache gemildert wird, dass ONNX von Microsoft aktiv entwickelt und unterstützt wird. Letztendlich bietet ONNX eine Abstraktionsschicht zwischen dem Benutzermodell und verschiedenen Deep-Learning-Frameworks.
  
  
• Der Abschnitt 00:05:00 behandelt die Verwendung von ONNX, das das Entwerfen und Trainieren von Modellen für maschinelles Lernen in verschiedenen Frameworks wie TensorFlow und PyTorch ermöglicht, bevor sie in ein gemeinsames Format zur Verwendung im ONNX-Block konvertiert werden. ONNX definiert eine Reihe grundlegender Operationen, die häufig in Deep-Learning-Modellen verwendet werden, und seine Laufzeit bietet Schnittstellen und Unterstützung für verschiedene Software- und Hardwarebeschleunigungen. Die Laufzeit erstellt auch eine Diagrammdarstellung des Modells, die Operationen basierend auf verfügbaren Beschleunigern verschiedenen Ausführungsanbietern zuweist.
  
  
• 00:10:00 In diesem Abschnitt erörtert der Referent die Erweiterbarkeit von Ausführungsanbietern in ONNX, die die Unterstützung neuer Hardwareplattformen ermöglicht, solange alle ONNX-Operationen auf dieser Plattform implementiert wurden. Anschließend stellen sie ihr neues Modul GR DNN DN4 vor, das Python-Schnittstellen sowohl für GNU Radio als auch für ONNX verwendet. Das Synchronisationsmodul passt Eingaben an das erwartete Format des Modells an, passt das Modell mit den transformierten Daten an und transformiert dann die Ausgabe zurück in ein eindimensionales Format. Das Modul ermöglicht auch die Auswahl verschiedener Ausführungsanbieter, die in ONNX unterstützt werden. Der Redner demonstriert die Fähigkeiten von GR DNN DN4 anhand eines Beispiels für die automatische Modulationsklassifizierung unter Verwendung eines Deep Convolutional Neural Network-Modells, das mit simulierten Daten trainiert wurde, die von GNU Radio generiert wurden.
  
  
• 00:15:00 In diesem Abschnitt erörtert der Referent die Verwendung von Deep Learning für die Klassifizierung von SDR-Daten mit dem BGG16-Modell. Sie erklären, dass die Eingabe des Modells einen Vektor von 128 IQ-Werten erfordert, die an die Ausgabe des SDR-Geräts angepasst werden müssen. Sie weisen auch darauf hin, dass die Deep-Learning-Inferenz rechenintensiv ist und dass die Leistung von der Komplexität des Modells abhängt. Der Redner schließt mit dem Vorschlag, dass die Verwendung von Hardwarebeschleunigung, wie z. B. einer GPU, die Inferenz verbessern und Echtzeitergebnisse erzielen kann.
  
  
• 00:20:00 In diesem Abschnitt erörtert der Referent eine neue Funkimplementierung, die Deep-Learning-Inferenz und softwaredefiniertes Radio (SDR) integrieren kann, indem ein Standardformat für die Deep-Learning-Modelldarstellung verwendet wird und verschiedene Beschleunigungsmethoden unterstützt werden. Der Referent demonstriert, wie das Modul für die automatische Modulationsklassifizierung verwendet werden kann und Echtzeit-Inferenz mit Hardwarebeschleunigung erreicht. Der Referent erörtert auch zukünftige Verbesserungen des Moduls, einschließlich einer flexibleren Gestaltung für verschiedene Arten von Deep-Learning-Modellen und der Aufnahme von Vorverarbeitungsfunktionen innerhalb des Blocks. Das Projekt ist Open Source und die Zusammenarbeit wird gefördert.