Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 596

 
Aleksey Terentev:
Versuchen Sie eine Kreuzvalidierung (K-fach).
Wie wird es dazu beitragen, die Wirkung von neuen Daten zu erhöhen?
 
elibrarius:
Wie kann sie dazu beitragen, die Wirkung neuer Daten zu erhöhen?
Denken Sie daran, dass Sie das Modell trainieren, indem Sie einzelne Datenblöcke einspeisen, wodurch das Modell eine gewisse Unabhängigkeit von der Zeitreihenfolge erhält, was dazu führt, dass die neuen Daten ohne "Verzerrung" ausgewertet werden.
 
Aleksey Terentev:
Denken Sie darüber nach: Sie lehren das Modell, indem Sie separate Datenblöcke einspeisen, wodurch das Modell eine gewisse Unabhängigkeit von der Zeitreihenfolge erhält und neue Daten ohne "Verzerrung" ausgewertet werden.

Die "sequenzunabhängige Zeitreihe" wird durch Rühren gewährleistet. Ohne sie läuft das Modell ins Leere.

Und die Frage ist, wie man die Bedeutung der frischesten Daten beim Mischen erhöhen kann, so dass das Modell neue Markttrends schneller erfasst.

 
elibrarius:

Die "sequenzunabhängige Zeitreihe" wird durch Rühren gewährleistet. Ohne sie läuft das Modell ins Leere.

Und die Frage ist, wie man mit der Mischung die Bedeutung der frischesten Daten erhöhen kann, damit das Modell neue Markttrends schneller aufgreift.

Das Pre-Training wird mit alten Daten durchgeführt. Die letzten Phasen des Trainings werden mit neuen Daten durchgeführt.
 

D.h. eine Ausbildung in 2 Schritten?
Training auf einer großen Datenmenge + erneutes Training des resultierenden Modells auf neuen Daten.
Es ist möglich, es zu versuchen.


Ich hatte eine Idee: Fügen Sie dem gesamten Trainingsdatensatz einfach 2-3 Mal neue Daten hinzu. Selbst bei einer Umstellung wird die Bedeutung zunehmen.

 
elibrarius:

Ich habe mich gefragt, wenn alles neu gemischt wird, wie können wir erreichen, dass die neuen Daten einen stärkeren Einfluss auf das Lernen haben?

Es gibt einen Trick, um die letzten Trainingsbeispiele mehrmals zu duplizieren.
Und im gbm-Paket können Sie beispielsweise einen Wichtigkeitskoeffizienten für jedes Trainingsbeispiel festlegen, aber das ist kein Neuron, ich habe nur ein Beispiel gegeben.


elibrarius:

"Sequenzunabhängige Zeitreihen" werden durch Shuffling bereitgestellt. Ohne sie läuft das Modell ins Leere.

Bei den meisten Modellen gibt es so etwas wie eine Sequenzabhängigkeit überhaupt nicht. Bei Neuronen beispielsweise wird für jedes Trainingsbeispiel ein Fehler berechnet, und die Summe aller Fehler wirkt sich dann auf Änderungen der Gewichte aus. Die Summe ändert sich nicht, wenn sich die Reihenfolge der Summanden ändert.

Aber Modelle haben oft den Parameter batch.size oder etwas Ähnliches, der den Prozentsatz der Trainingsdaten beeinflusst, die für das Training verwendet werden. Wenn Sie einen sehr kleinen Prozentsatz der Trainingsdaten nehmen und das Mischen ausschalten, wird das Modell jedes Mal den gleichen kleinen Satz nehmen, und alles wird schlecht enden. Ich weiß nicht, wie es sich mit Darch verhält, aber das Deaktivieren des Mischens sollte nicht zu einem Totalausfall führen, sondern Sie haben einen Fehler bei anderen Parametern.


Aleksey Terentev:
Versuchen Sie eine Kreuzvalidierung (K-fach).

Ich stimme völlig zu. Was auch immer der Autor des Modells lautstark über den Schutz vor Überfütterung behauptet, nur k-fold wird zeigen, ob es stimmt oder nicht.

 
Es ist an der Zeit, dass Sie sich zusammensetzen und ein Fazit ziehen.
Und zeigen Sie die Praxis.
 
Alexander Iwanow:
Es ist an der Zeit, dass Sie sich zusammensetzen und ein Fazit ziehen.
Und zeigen Sie die Praxis.

Demnächst... "Fast fertig."

Das ist die schwierigste Sache, die ich je in meinem Leben gemacht habe.

 
Maxim Dmitrievsky:

Demnächst... "Fast fertig."

Das ist die schwierigste Sache, die ich je in meinem Leben gemacht habe.

Ugh, Stifte reiben, um die Demo zu probieren 😀👍👍👍👍 wie eine frische leckere Oma-Torte😂😀
 
Imho natürlich, aber hier muss man jede Seite der Branche mit dem Slogan von SanSanych beginnen - "Müll rein - Müll raus". Und all Ihre kognitiven und kreativen Talente sollten in erster Linie darauf ausgerichtet sein, den Müll am Eingang zu reduzieren, und erst dann versuchen, die Computer-Hardware bis zum Äußersten zu belasten.