Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 2253

 
Vladimir Perervenko:

Nehmen wir an (nicht alles im Python-Code ergibt für mich Sinn). Wo ist die Ausbildung für diese BAE?

Ist es in pyTorch?

alles in Flammen

der Coder funktioniert, nur die Ergebnisse sind schlechter

Kurz gesagt, das Kullback-Leibner-Abstandsmodell ist sehr schwer zu erlernen, es ist ein beschriebenes Problem mit Variationskodierern

Tatsächlich "konvergiert" der Algorithmus nach 2-3 Epochen und es passiert nichts weiter

Einer der Hauptnachteile von Variations-Autokodierern ist, dass das Integral des KL-Divergenzterms keine geschlossene analytische Lösung hat, außer für eine Handvoll Verteilungen. Außerdem ist es nicht einfach, diskrete Verteilungen für den latenten Codez z zu verwenden. Dies liegt daran, dass Backpropagation über diskrete Variablen im Allgemeinen nicht möglich ist, was ein effizientes Training des Modells erschwert. Ein Ansatz, dies im Rahmen der VAE zu tun, wurdehier vorgestellt
.
Discrete Variational Autoencoders
  • arxiv.org
Download PDF Probabilistic models with discrete latent variables naturally capture datasets composed of discrete classes. However, they are difficult to train efficiently, since backpropagation through discrete variables is generally not possible. We present a novel method to train a class of probabilistic models with discrete latent variables...
 
mytarmailS:

Haben Sie Zugang zu den Netzwerkgewichten und die Möglichkeit, diese zu ändern?

Sicher, aber ich muss es nicht.

 
Maxim Dmitrievsky:

alle auf die Fackel.

der Coder funktioniert, nur die Ergebnisse sind schlechter.

Kurz gesagt, das Kullback-Leibner-Abstandsmodell ist sehr schwer zu erlernen; dies ist ein beschriebenes Problem von Variationskodierern

Tatsächlich "konvergiert" der Algorithmus nach 2-3 Epochen und es passiert nichts weiter

Einer der Hauptnachteile von Variations-Autokodierern ist, dass das Integral des KL-Divergenzterms keine geschlossene analytische Lösung hat, außer für eine Handvoll Verteilungen. Außerdem ist es nicht einfach, diskrete Verteilungen für den latenten Codez z zu verwenden. Dies liegt daran, dass Backpropagation über diskrete Variablen im Allgemeinen nicht möglich ist, was ein effizientes Training des Modells erschwert. Ein Ansatz, dies im Rahmen der VAE zu tun, wurdehier vorgestellt
.

In dem Artikel geht es um etwas anderes. Sie behandelt den Fall, dass alle Prädiktoren diskret [0, 1] sind. Dann gibt es ein Problem. Das neuronale Netz versteht keine Prädiktoren mit Nullvariation.

Ihr Fall ist, soweit ich weiß, etwas anders gelagert. Sie haben Prädiktoren (kontinuierlich) und das Ziel (diskrete Matrix ncol=3) in der Eingabe kombiniert. Sie versuchen, eine qualitative Verteilung der Latenzen zu erhalten, aus der Sie die Eingaben, einschließlich der Ziellatenz, praktisch ohne Training generieren (wiederherstellen). Habe ich Sie richtig verstanden? Qualitativ wird es nicht gelingen. Der Artikel zeigt den Weg zur Lösung. Umwandlung des diskreten Ziels in ein kontinuierliches mittels RBM, Verbindung mit anderen Prädiktoren und weiter zu VAE (Training!). Dann werden Beispiele aus der trainierten VAE abgerufen und das Ziel mit RBM wiederhergestellt. Es ist ziemlich kompliziert. Aber es könnte funktionieren.

Ich werde es mit einer normalen AE versuchen.

Viel Glück!

 
Vladimir Perervenko:

Der Artikel befasst sich mit einem etwas anderen Thema. Sie behandelt den Fall, dass alle Prädiktoren diskret [0, 1] sind. Dann gibt es ein Problem. Das neuronale Netz versteht keine Prädiktoren mit Nullvariation.

Ihr Fall ist, soweit ich weiß, etwas anders gelagert. Sie haben Prädiktoren (kontinuierlich) und das Ziel (diskrete Matrix ncol=3) in der Eingabe kombiniert. Sie versuchen, eine qualitative Verteilung der Latenzen zu erhalten, aus der Sie die Eingabewerte einschließlich der Zielwerte generieren (wiederherstellen). Habe ich Sie richtig verstanden? Qualitativ wird es nicht gelingen. Der Artikel zeigt den Weg zur Lösung. Umwandlung des diskreten Ziels in ein kontinuierliches mittels RBM, Verbindung mit anderen Prädiktoren und weiter zu VAE (Training!). Dann werden Beispiele aus der trainierten VAE abgerufen und das Ziel mit RBM wiederhergestellt. Es ist ziemlich kompliziert. Aber es könnte funktionieren.

Ich werde es mit einer normalen AE versuchen.

Viel Glück!

Ich habe CVAE. Unter anderem auf Encoder- und Decoder-Klassenetiketten (1,0). Aber ich habe VAE und CVAE verglichen, die Ergebnisse sind nicht viel anders (ebenso mittelmäßig)

Die Ziele werden nicht rekonstruiert, sondern bei der Erstellung der Merkmale festgelegt. D.h. für welches Ziel sollen die Merkmale erzeugt werden. In den Beispielen für die Bilderzeugung wird so vorgegangen, nur dass es mehr Ziele gibt, so dass sie van-hot gemacht werden

Ich habe mir die Vergleichstabellen von VAE und GAN angesehen. Letztere ist viel besser bei der Erstellung, ich denke daran, auf die Programmierer zu spucken. Ich bin nicht so scharf darauf, das Rad neu zu erfinden.

Eine Umstellung auf eine kontinuierliche Produktion könnte sinnvoll sein, ist aber nicht sicher.

Es besteht eine kleine Chance, dass ich etwas falsch mache ... aber ich habe schon an Kätzchen geübt)

Z.U. sogar in dem Beispiel mit den Zahlen, lernt es nur 10 Epochen und dann fällt der Fehler nicht mehr ab

 
Hat jemand die entsprechende Vektormethode ausprobiert?
 

Autoencoder sind besser geeignet, um Daten auf niedrigere Dimensionen zu komprimieren oder semantische Vektoren aus ihnen zu generieren. Wo GANs für die Datengenerierung besser geeignet sind

https://medium.com/lis-computer-vision-blogs/gans-cgans-ae-aae-ave-caae-cave-2e7d23255b52

Ich glaube, die Ergebnisse sind aufgrund der Datenkompression unscharf. Selbst wenn man die Zahl der Neuronen erhöht, kommt es immer noch zu einer Kompression, einer Verschiebung zu einer anderen Verteilung. Neue Daten werden immer verschmiert, geglättet usw. Und ich will keinen Fleck, ich will plausible Proben.

Sie können genau das gleiche frostige Aussehen erhalten, indem Sie die Samples in PCA komprimieren, sie dann in GMM konvertieren und anschließend aus PCA dekomprimieren. Ich habe es getan, und es ist auch so unscharf geworden.

Coder ist PCA + GMM in einer Flasche, wenn Sie die Analogie ziehen

GANs, cGANs, AE, AAE, AVE, CAAE, CAVE
GANs, cGANs, AE, AAE, AVE, CAAE, CAVE
  • Li Yin
  • medium.com
The difference between each other. The purpose of this article is to see the difference of concepts between GANs, conditional GANs, Autoencoder (AE), adversarial autoencoder (AAE), and conditional adversarial autoencoder (CAAE). Unconditional GAN The generator ( G ) and discriminator ( D ) are both feedforward neural networks which play a...
 
Aleksey Vyazmikin:
Hat jemand die entsprechende Vektormethode ausprobiert?

werden Sie der Erste sein

Maxim Dmitrievsky:

Sie können genau das gleiche unscharfe Aussehen erhalten, indem Sie PCA-Attribute komprimieren, sie dann in GMM konvertieren und anschließend von PCA dekomprimieren. Ich habe es getan und es ist auch so unscharf geworden.

Encoder ist PCA + GMM in einem Paket, wenn Sie die Analogie ziehen.

Wenn Sie also alle PCA-Komponenten belassen, werden Sie keine Flecken bekommen, sondern ein gestochen scharfes Bild.

 
mytarmailS:

Du wirst der Erste sein.

Lassen Sie also alle PCA-Komponenten stehen, und Sie werden kein verschmiertes, sondern ein klares Bild erhalten.

Nein, denn die Rückwärtswandlung verursacht eine Menge Lärm.

oder vielleicht auch nicht... aber es sieht so aus
 
Maxim Dmitrievsky:

Das wird es nicht, denn die umgekehrte Konvertierung der nagenerierten Daten fügt eine Menge Rauschen hinzu.

Ich verstehe nicht, fügt gmm bereits Lärm hinzu oder was?

 
mytarmailS:

Ich verstehe nicht, trägt der Gmm schon zum Lärm bei? oder was?

Ich habe mir nicht viel dabei gedacht, nur eine Vermutung, die auf einigem Herumstöbern beruht.

gmm bietet Ihnen Funktionen, die Sie bisher noch nicht gesehen haben. Aber ähnlich wie die, die Sie gesehen haben. Bei einer umgekehrten Umwandlung könnte es eine gewisse Wirkung haben, denke ich. Fügen Sie etwas Lärm hinzu.

Das ist eine Vermutung.