Diskussion zum Artikel "Neuronale Netze leicht gemacht (Teil 84): Umkehrbare Normalisierung (RevIN)"
Sie verpassen Handelsmöglichkeiten:
- Freie Handelsapplikationen
- Über 8.000 Signale zum Kopieren
- Wirtschaftsnachrichten für die Lage an den Finanzmärkte
Registrierung
Einloggen
Sie stimmen der Website-Richtlinie und den Nutzungsbedingungen zu.
Wenn Sie kein Benutzerkonto haben, registrieren Sie sich
Neuer Artikel Neuronale Netze leicht gemacht (Teil 84): Umkehrbare Normalisierung (RevIN) :
Wir wissen bereits, dass die Vorverarbeitung der Eingabedaten eine wichtige Rolle für die Stabilität der Modellbildung spielt. Für die Online-Verarbeitung von „rohen“ Eingabedaten verwenden wir häufig eine Batch-Normalisierungsschicht. Aber manchmal brauchen wir ein umgekehrtes Verfahren. In diesem Artikel wird einer der möglichen Ansätze zur Lösung dieses Problems erörtert.
Auf ein ähnliches Problem sind wir bereits beim Training verschiedener Autoencoder-Modelle gestoßen. In diesen Fällen haben wir eine Lösung gefunden, indem wir die Originaldaten nach der Normalisierung als Ziele verwendet haben. In diesem Fall benötigen wir jedoch Daten, die spätere Zustände der Umgebung beschreiben, die sich von den Eingabedaten unterscheiden. Eine der Methoden zur Lösung dieses Problems wurde in dem Artikel „Reversible Instance Normalization for Accurate Time-Series Forecasting against Distribution Shift“ vorgeschlagen.
Die Autoren des Papiers schlagen eine einfache, aber effektive Methode zur Normalisierung und Denormalisierung vor: die Umkehrbare sofortige Normalisierung (Reversible Instantaneous Normalizationm RevIN). Der Algorithmus normalisiert zunächst die Eingabesequenzen und denormalisiert dann die Ausgabesequenzen des Modells, um Probleme der Zeitreihenprognose im Zusammenhang mit Verteilungsverschiebungen zu lösen. RevIN ist symmetrisch aufgebaut, um die ursprüngliche Verteilungsinformation an die Modellausgabe zurückzugeben, indem die Ausgabe in der Denormalisierungsschicht in einem Umfang skaliert und verschoben wird, der der Verschiebung und Skalierung der Eingabedaten in der Normalisierungsschicht entspricht.
RevIN - ist eine flexible, trainierbare Schicht, die auf beliebig gewählte Schichten angewandt werden kann. Sie unterdrückt effektiv nicht-stationäre Informationen (Mittelwert und Varianz einer Instanz) in einer Schicht und stellt sie in einer anderen Schicht mit nahezu symmetrischer Position wieder her, z. B. in Eingabe- und Ausgabeschichten.
Autor: Dmitriy Gizlyk