Lernen mit ONNX für den Handel - Seite 2

[MetaQuotes]

Herausforderungen beim Deep Learning | Tutorial-2 | Öffnen Sie den neuronalen Netzwerkaustausch | ONNX

Herausforderungen beim Deep Learning | Tutorial-2 | Öffnen Sie den neuronalen Netzwerkaustausch | ONNX

Die Herausforderungen bei der Verwendung verschiedener Deep-Learning-Frameworks und Hardwarebeschleuniger während der Inferenz werden in diesem Videosegment erörtert. ONNX wird als intermediärer Modelltyp präsentiert, der mit verschiedenen Deep-Learning-Frameworks und Hardwarebeschleunigern kompatibel ist und eine nahtlose Übertragung von Modellen zwischen ihnen ermöglicht. Die Konvertierung von ONNX-Modellen in spezifische Frameworks bei Bedarf ermöglicht eine größere Flexibilität bei der Verwendung von trainierten Modellen über verschiedene Systeme hinweg. Das Verständnis dieser Herausforderungen und Lösungen kann dabei helfen, eine effektive Pipeline für die Arbeit mit Deep Learning zu erstellen.

• 00:00:00 In diesem Abschnitt des Videos werden die Herausforderungen beim Deep Learning besprochen. Zu den verschiedenen beliebten Frameworks, die beim Deep Learning verwendet werden, gehören Cafe, TensorFlow, Keras und MXNet. Für hohe Rechenleistung sind Hardwarebeschleuniger erforderlich, die für Deep-Learning-Lösungen optimiert sind, wie NVIDIA GPU, Intel GPU und Google TPU. Die Inferenz erfordert auch ein optimiertes Modell, um die Effizienz zu gewährleisten, und es stehen verschiedene Hardwareoptionen für die Inferenz zur Verfügung, z. B. NVIDIA T4, CPUs und S-Geräte wie Google Coral, Raspberry Pi und Jetson VR. Bei der Auswahl eines Geräts für Deep-Learning-Zwecke ist es entscheidend, Software- und Hardwarefaktoren zu berücksichtigen. ONNX wird wegen seiner Kompatibilität mit verschiedenen Deep-Learning-Frameworks und Hardwarebeschleunigern bevorzugt, was die nahtlose Übertragung von Modellen zwischen ihnen erleichtert.
  
  
• 00:05:00 In diesem Abschnitt erläutert der Referent die Herausforderung, ein trainiertes Modell mit einem anderen Framework oder einer anderen Hardware in der Inferenzphase zu verwenden. Dieses Problem kann mit Open Neural Network Exchange (ONNX) angegangen werden, einem zwischengeschalteten Modelltyp, der mit unterschiedlicher Hardware und Frameworks verwendet werden kann. Das ONNX-Modell kann bei Bedarf in ein beliebiges spezifisches Framework konvertiert werden. Diese Lösung ermöglicht eine größere Flexibilität bei der Verwendung trainierter Modelle über verschiedene Systeme hinweg. Der Redner schließt mit der Aussage, dass das Verständnis dieser Probleme und Lösungen dabei helfen wird, eine Pipeline zu erstellen und effektiv mit Deep Learning zu arbeiten.

[MetaQuotes]

Alles über ONNX | Tutorial-3 | Öffnen Sie den neuronalen Netzwerkaustausch | ONNX

Alles über ONNX | Tutorial-3 | Öffnen Sie den neuronalen Netzwerkaustausch | ONNX

Das Video behandelt ONNX, ein intermediäres Framework für maschinelles Lernen, das die Konvertierung von Modellen in verschiedene Framework-Modelltypen ermöglicht und Optimierungsfunktionen bereitstellt. ONNX wurde erstmals 2017 von AWS, Microsoft und Facebook eingeführt und hat an Popularität und Beiträgen anderer Unternehmen gewonnen, darunter IBM, Intel und Huawei. Viele Unternehmen widmen sich derzeit der Arbeit am ONNX-Ökosystem.

[MetaQuotes]

Gestaltungsprinzipien | Lernprogramm-4 | Öffnen Sie den neuronalen Netzwerkaustausch | ONNX

Gestaltungsprinzipien | Lernprogramm-4 | Öffnen Sie den neuronalen Netzwerkaustausch | ONNX

In diesem Video erklärt der Referent die Designprinzipien des Open Neural Network Exchange (ONNX). Ursprünglich für Deep Learning entwickelt, wurde das Ökosystem erweitert, um auch traditionelles maschinelles Lernen zu unterstützen. ONNX ist anpassbar mit Updates von anderen Frameworks, standardisiert mit wohldefinierten Operationen aus praktischen Anwendungen und in der Lage, Modelle problemlos zu exportieren/importieren. Diese Merkmale machen es zu einer bequemen Wahl für Endbenutzer, die nach einer flexiblen und effizienten Lösung suchen.

[MetaQuotes]

ONNX-Dateiformat | Tutorial-5 | Öffnen Sie den neuronalen Netzwerkaustausch | ONNX

ONNX-Dateiformat | Tutorial-5 | Öffnen Sie den neuronalen Netzwerkaustausch | ONNX

Dieses Lernvideo behandelt das ONNX-Dateiformat für maschinelle Lernmodelle, das Eingabe- und Ausgabelisten, Berechnungsknoten und Operatoren sowie Operatorparameter zusammen mit Metadaten und der Version des Modells enthält. Das ONNX-Dateiformat ist keine Blackbox und kann visualisiert werden. Der Referent stellt Beispiele für Operatoren wie ReLU und PReLU vor und demonstriert einen Deep-Learning-Modellgraphen und vergleicht ihn mit dem ONNX-Dateiformatgraphen. Mit ONNX können auch benutzerdefinierte Operatoren abgebildet werden, was es aufgrund seiner Flexibilität und Funktionalität zu einer beliebten Wahl für neuronale Netze macht.

• 00:00:00 In diesem Abschnitt geht der Referent auf das ONNX-Dateiformat für maschinelle Lernmodelle ein, das keine Blackbox ist und visualisiert werden kann. Das ONNX-Dateiformat enthält Eingabe- und Ausgabelisten, eine Liste von Berechnungsknoten und -operatoren und Operatorparametern sowie Metadaten und die Version des Modells. Der Referent demonstriert einen Deep-Learning-Modellgraphen, bei dem es sich um eine Folge von Rechenknoten handelt, und vergleicht ihn mit dem Graphen im ONNX-Dateiformat. Das ONNX-Dateiformat enthält Operatorschemata, die Operatoren aus Frameworks wie Keras, TensorFlow und PyTorch abbilden. Der Referent zeigt Beispiele für Operatoren wie ReLU und PReLU.
  
  
• 00:05:00 In diesem Abschnitt erklärt der Referent, wie beim Konvertieren eines tatsächlichen Modells in das ONNX-Dateiformat das Framework nur die Operatoren auf das Modell abbildet. Mit ONNX können auch benutzerdefinierte Operatoren erstellt und zugeordnet werden. ONNX ist eine flexible Plattform, die viele Funktionen bietet, weshalb sie im Bereich der neuronalen Netze populär geworden ist.

[MetaQuotes]

ONNX-Datentyp | Lernprogramm-6 | Öffnen Sie den neuronalen Netzwerkaustausch | ONNX

ONNX-Datentyp | Lernprogramm-6 | Öffnen Sie den neuronalen Netzwerkaustausch | ONNX

Das Video erklärt, dass ONNX zwei Arten von Spezifikationen hat: tiefe neuronale Netze und maschinelles Lernen. Ersteres verwendet Tensor-Datentypen wie Integer, Floats, Booleans, Strings und komplexe Typen, die auch in Python und TensorFlow verwendet werden. In der Zwischenzeit verwendet letzteres Nicht-Tensor-Datentypen wie Sequenzen und Karten, da statistisch basiertes Lernen normalerweise keine Tensoren verwendet.

[MetaQuotes]

Beispiel für maschinelles Lernen | Tutorial-7 | Öffnen Sie den neuronalen Netzwerkaustausch | ONNX

Beispiel für maschinelles Lernen | Tutorial-7 | Öffnen Sie den neuronalen Netzwerkaustausch | ONNX

In diesem Video-Tutorial wird erläutert, wie Sie ein im Pickle- Format gespeichertes Modell in ein ONNX-Modelldateiformat (Open Neural Network Exchange) konvertieren, um ein praktisches Beispiel für maschinelles Lernen mit ONNX zu erhalten. Das Video enthält eine Anforderungsdatei, in der die erforderlichen Pakete angegeben sind, und der Referent gibt einen einfachen Code zum Importieren von Daten, Aufteilen und Trainieren des Modells vor der Konvertierung in das ONNX-Format mit dem skl2onnx-Paket. Ein Konvertierungsskript wird bereitgestellt, und Anweisungen zum Visualisieren des resultierenden Diagramms mit dem Netron-Tool und zum Durchführen von Inferenzen auf dem ONNX-Modell werden geteilt. Der Referent hebt die Portabilität und Optimierung des ONNX-Formats hervor und regt zum Üben des Konvertierungsprozesses an.

• 00:00:00 In diesem Abschnitt behandelt das Video ein praktisches Beispiel für maschinelles Lernen mit ONNX. Das Beispiel umfasst das Trainieren eines Modells und das Speichern im Pickle-Format sowie das anschließende Konvertieren in das ONNX-Modelldateiformat. Das Video enthält eine „requirement.txt“-Datei, in der alle Anforderungspakete angegeben sind, einschließlich sklearn und skl2onnx, dem Konverter. Das Video zeigt dann einen einfachen Code zum Importieren des Datasets, zum Durchführen einer Train-Test-Aufteilung und zum Trainieren des Modells. Schließlich wird ein Konvertierungsskript bereitgestellt, um das gespeicherte Modell mithilfe des skl2onnx-Pakets in das ONNX-Format zu konvertieren.
  
  
• 00:05:00 In diesem Abschnitt erklärt der Referent, wie ein Pickle-Modell mithilfe eines einfachen Skripts in ein ONNX-Modell konvertiert wird. Das Skript umfasst das Laden des Pickle-Modells, das Definieren des Datentyps, das Aufrufen der convert_scalar-Funktion und das Übergeben des Klassenobjekts, bevor das Modell als ONNX-Datei gespeichert wird. Der Referent demonstriert auch, wie das resultierende Diagramm mit dem Netron-Tool visualisiert und eine Inferenz mit dem ONNX-Modell durchgeführt wird, indem eine Beispieleingabe übergeben wird. Das ONNX-Format wird als portabler und optimierter als das Pickle-Format beschrieben, da es in jedem ONNX-Ökosystem verwendet werden kann. Der Referent empfiehlt, den Konvertierungsprozess zu üben, um sich daran zu erinnern, wie man ihn effektiv macht.

[MetaQuotes]

ONNX-Laufzeit | Tutorial-8 | Öffnen Sie den neuronalen Netzwerkaustausch | ONNX

ONNX-Laufzeit | Tutorial-8 | Öffnen Sie den neuronalen Netzwerkaustausch | ONNX

Der Referent diskutiert die ONNX-Laufzeit und ihre Bedeutung für Deep Learning. Die ONNX Runtime ist eine leistungsstarke Engine, die schnell ist und von Microsoft entwickelt wurde. Es handelt sich um ein erweiterbares und modulares Framework, das Open Source ist und mit Windows 10 ausgeliefert wird. Microsoft bevorzugt diese Laufzeit, da sie im Gegensatz zur Standardlaufzeit, die verzögert werden kann, schnell und effizient für Deep Learning ist. Darüber hinaus zeigt das ONNX-Laufzeitdiagramm, wie die ONNX-Laufzeit verwendet wird, um ein vorhandenes Modell in ein ONNX-Dateiformat zu konvertieren, und dann die ONNX-Laufzeit verwendet wird, um das Modell auszuführen, ohne sich Gedanken über die Hardware oder das Framework zu machen. Der Redner schlägt vor, dass das Publikum auf dem offiziellen GitHub von ONNX tief in die ONNX-Laufzeit eintauchen kann.

[MetaQuotes]

ONNX-Modellzoo | Tutorial-9 | Öffnen Sie den neuronalen Netzwerkaustausch | ONNX

ONNX-Modellzoo | Tutorial-9 | Öffnen Sie den neuronalen Netzwerkaustausch | ONNX

Der ONNX Model Zoo ist eine Sammlung vortrainierter Modelle für verschiedene Aufgaben wie Bildklassifizierung, Objekterkennung sowie Sprach- und Audioverarbeitung. Die vortrainierten Modelle stehen als ONNX-Dateien zum Download bereit und können mit jedem Framework oder der ONNX-Laufzeit für Inferenz verwendet werden. Darüber hinaus bieten Cloud-Plattformen wie Azure ML ähnliche Funktionen, bei denen Benutzer ihre eigenen Daten hochladen und Modelle zum Herunterladen als ONNX-Dateien trainieren können. Das nächste Video zeigt, wie ein vortrainiertes Modell aus dem ONNX Model Zoo für die handschriftliche Ziffernerkennung verwendet wird.

[MetaQuotes]

ONNX Model Zoo-Demo | Tutorial-10 | Öffnen Sie den neuronalen Netzwerkaustausch | ONNX

ONNX Model Zoo-Demo | Tutorial-10 | Öffnen Sie den neuronalen Netzwerkaustausch | ONNX

Das Video-Tutorial zeigt, wie Sie ONNX Model Zoo verwenden, um Rückschlüsse auf ein ONNX-Modell mithilfe der ONNX-Laufzeit durchzuführen. Der Moderator führt die Zuschauer durch den Prozess der Erstellung einer virtuellen Umgebung, der Installation der erforderlichen Pakete, des Herunterladens des handgeschriebenen MNIST-Modells aus dem ONNX Model Zoo und des Schreibens eines Python-Skripts für die Inferenz. Die Demo zeigt, dass die Vorhersagezeit schnell ist, und ermutigt Benutzer, Modelle direkt aus dem ONNX Model Zoo herunterzuladen. Das Video neckt das nächste Tutorial, das die Konvertierung eines Python-Modells in TensorFlow behandelt.

• 00:00:00 In diesem Abschnitt demonstriert der Moderator, wie man das handschriftliche MNIST-Modell aus dem ONNX Model Zoo herunterlädt und Rückschlüsse auf der ONNX-Laufzeit durchführt. Der Benutzer muss eine virtuelle Umgebung erstellen und die erforderlichen Pakete wie ONNX Runtime, OpenCV und NumPy installieren. Der Moderator zeigt dann, wie man das Modell direkt aus dem ONNX Model Zoo herunterlädt oder indem man den Link auf die Website CNTK.ai kopiert. Sobald das Modell heruntergeladen ist, erklärt der Moderator, wie man ein Python-Skript für die Inferenz schreibt, einschließlich des Ladens des ONNX-Modells, der Vorverarbeitung des Bilds und der Ausführung der Sitzung, um die Ausgabe zu erhalten. Schließlich zeigt der Präsentator die Vorhersage an, indem er die Ergebnisse basierend auf der argmax-Operation zeichnet.
  
  
• 00:05:00 In diesem Abschnitt erörtert der Referent die Inferenz mit ONNX-Modellen unter Verwendung der ONNX-Laufzeit. Sie demonstrieren die Verwendung eines vortrainierten ONNX-Modells zur Vorhersage handgeschriebener Ziffern und zeigen, dass die Vorhersagezeit recht schnell ist. Der Redner erwähnt auch, dass Benutzer Modelle aus dem ONNX Model Zoo herunterladen und mit der Inferenz beginnen können, ohne sie konvertieren zu müssen. Sie necken das nächste Video, in dem sie planen, ein Python-Modell in TensorFlow zu konvertieren, um den Benutzern ein tieferes Verständnis des Prozesses der Modellkonvertierung zu vermitteln.

[MetaQuotes]

Demo von PyTorch zu Tensorflow | Tutorial-11 | Öffnen Sie den neuronalen Netzwerkaustausch | ONNX

Demo von PyTorch zu Tensorflow | Tutorial-11 | Öffnen Sie den neuronalen Netzwerkaustausch | ONNX

Das Video zeigt, wie Sie ONNX verwenden, um ein PyTorch-Modell in das TensorFlow-Format zu konvertieren. Der Prozess umfasst das Trainieren des Modells in PyTorch, das Speichern im .pth-Format und das anschließende Konvertieren in das ONNX-Format, bevor es schließlich in das TensorFlow-Format konvertiert wird. Der Konvertierungsprozess wird anhand eines handschriftlichen Ziffernklassifizierungsmodells unter Verwendung des MNIST-Datensatzes detailliert gezeigt, und das resultierende TensorFlow-Modell wird mit Beispielbildern getestet. Das Video geht auch kurz auf die Konvertierung eines Modells von Caffe2 in ONNX ein und schlägt vor, dass Benutzer ONNX weiter erkunden.

• 00:00:00 In diesem Abschnitt des Videos demonstriert der Sprecher, wie ein Python-Modell mit ONNX in TensorFlow konvertiert wird. Sie erklären, dass beim Konvertieren von Modellen zwei Schritte befolgt werden müssen: Trainieren Sie zuerst das Modell im gewünschten Framework und konvertieren Sie es dann in das ONNX-Dateiformat. Von dort kann es in das gewünschte Format wie TensorFlow oder PyTorch konvertiert werden. Der Referent zeigt dann, wie ONNX- und TensorFlow-Pakete verwendet werden, um ein handschriftliches Ziffernklassifizierungsmodell von PyTorch in TensorFlow unter Verwendung des MNIST-Datensatzes zu konvertieren. Sie erklären jeden Schritt des Prozesses, einschließlich der Installation der erforderlichen Pakete, des Imports von Bibliotheken, der Definition des Modells und der Erstellung von Schulungen und Tests
  Funktionen. Der Notebook-Code wird im Abschnitt „Ressourcen“ bereitgestellt, damit Benutzer ihm folgen können.
  
  
• 00:05:00 In diesem Abschnitt des Videos trainiert der Moderator ein PyTorch-Modell und speichert es in einem .pth-Dateiformat. Als nächstes wird das Modell geladen und in ein ONNX-Dateiformat konvertiert. Das konvertierte ONNX-Modell wird dann in TensorFlow geladen, um seine Funktionalität an three.png- und seven.png-Bildern zu testen. Das Modell sagt die korrekten Werte für beide Bilder voraus. Schließlich wird das ONNX-Modell in ein TensorFlow-Modell konvertiert und in einem .pb-Dateiformat gespeichert, das für weitere Vorhersagen verwendet werden kann. Insgesamt demonstriert der Referent, wie man PyTorch-Modelle mit Hilfe von ONNX in TensorFlow-Modelle umwandelt.
  
  
• 00:10:00 In diesem Abschnitt des Videos erläutert der Sprecher, wie man sein Modell von einem caffe2-Modell in ONNX umwandeln kann. Der Referent hat einen Link zum Notizbuch gegeben, wo der Code bereits geschrieben ist und alle erforderlichen Pakete verfügbar sind. Der Referent erklärt, dass alle möglichen Konvertierungen wie PyTorch zu ONNX, PyTorch zu Caffe2 und TensorFlow zu ONNX auf dem Notebook verfügbar sind. Der Redner rät den Zuschauern, ONNX weiter zu erkunden und Echtzeitbeispiele für eine bessere Lernerfahrung auszuprobieren. Schließlich beendet der Sprecher das Video und dankt den Zuschauern für das Ansehen der Serie.