Gibt es ein Muster in diesem Chaos? Lassen Sie uns versuchen, es zu finden! Maschinelles Lernen am Beispiel einer bestimmten Stichprobe. - Seite 17

 
Valeriy Yastremskiy #:

Außer der Startzeit und der Endzeit (Sitzungen, Kalender) fällt mir nichts ein. Wie meinen Sie das?

Das sind doch nur die offensichtlichsten Möglichkeiten. Die Volatilität war in der Zahl enthalten, es gibt noch andere Faktoren, die man berücksichtigen muss.

Grob gesagt, muss man irgendeine Marktmetrik nehmen und sie in sich aufsaugen, denke ich. Nicht auf einen Haufen. Alle wollten sich stapeln, aber es hat sich herausgestellt, dass es so nicht funktioniert.
 
Maxim Dmitrievsky #:
Warum, es ist einfach das Offensichtlichste, was möglich ist. Die Volatilität war in der Zahl enthalten, es gibt noch andere Faktoren zu berücksichtigen

Grob gesagt, sollten wir eine Marktmetrik nehmen und sie aufsaugen, denke ich. Nicht auf einen Haufen. Alle wollten stapeln, aber es hat sich herausgestellt, dass es so nicht funktioniert.
Mit diskreten Kursmetriken ist es nicht einfach, alles zu machen, separat verliert es oft den Zusammenhang und die Bedeutung. Kanalbreite oder Volatilität und Geschwindigkeit der Preisänderung. Es scheint einfach zu sein, aber es gibt kein Konzept)))) in meinem Kopf).
 
Valeriy Yastremskiy #:
Bei diskreten Kursmetriken ist nicht alles einfach, isoliert betrachtet verliert man oft den Zusammenhang und die Bedeutung. Kanalbreite oder Volatilität und Geschwindigkeit der Preisänderung. Es scheint einfach, aber es gibt kein Konzept)))) in meinem Kopf))

Wir müssen zuerst definieren, was wir von der MO wollen. Nur eine Klassifizierung oder eine Auswahl, d.h. ein Werkzeug wie ein Standard-Optimierer, bei dem verschiedene Zielfunktionen eingestellt werden.

Dann können wir damit Indikatoren (Attribute) manipulieren. Oft auf eine dumme Art und Weise, mit roher Gewalt, bis uns etwas Interessantes einfällt (wie der Gral).

Sobald wir etwas gelernt haben, fangen wir an, tiefer zu graben.

Ich denke wohl, dass ich offensichtliche Dinge schreibe, aber sie stellen sich nur für mich als solche heraus :D

 
Renat Akhtyamov #:

Die Frage der Branche ist sicherlich interessant....

Das habe ich mich auch gefragt.

Vielleicht lässt sich ein Muster erkennen.

Ich schlage vor, mehrere Takte hintereinander zu analysieren, zum Beispiel 3-4.

Bewegen Sie sich dann einen Takt vom Anfang dieser Probe von 3-4 Takten und analysieren Sie erneut.

Als ob Sie eine Probe über eine andere legen würden.

Es ist möglich, ein Muster zu finden

Etwa so:


Was soll das bringen? Die Balken werden immer anders sein. Es sei denn, man bindet sie an die aktuelle Skala. Ich denke, eine etwas andere Theorie sollte der Ansatz sein, zum Beispiel Farbe (Polarität). Stationarität tritt zwar auf, aber auf eine etwas andere Art und Weise und ist auch leicht zu zerstören.
 

In der Zwischenzeit habe ich dieses Modell von der ersten Probe in diesem Thread.

Bilanz

Leider scheitert es an der Testprobe - nun, offensichtlich sind die Proben unterschiedlich.

 

Bei der Suche nach einem Weg, ein Modell zu trainieren, wurden verschiedene Ansätze getestet, mehr als 100 Tausend Modelle erstellt und neue Ansätze erfunden, die zuvor gutes Potenzial gezeigt hatten. Es wurden verschiedene Methoden der Stichprobentransformation und der Prädiktorenauswahl verwendet. Diese Methoden wurden miteinander kombiniert.



Methoden der Stichprobentransformation und Prädiktorenauswahl.

Stichprobentransformation:

  • 1) Keine Transformation.
  • 2. die Auswahl der Transaktionen nach der Art der Richtung (Vektor) - ohne Auswahl, Kauf, Verkauf - mit Speicherung in separaten Stichproben.
  • 3) Verschiebung der Zielfunktion in Abhängigkeit vom Finanzergebnis.
  • 4."Drop" -Methode - Ausschluss von Zeilen aus der Stichprobe durch starke Quanten des Prädiktors vom Typ FP - 10-30 aufeinanderfolgende Iterationen der Schätzung von Stichprobenquanten mit Änderung der Stichprobe bei jeder Iteration:

( a) Ausschluss durch das beste Quantum ohne Berücksichtigung des Vektors auf dem Stichprobenzug, wenn dieser größer als ein bestimmter Prozentsatz der Abweichung vom Mittelwert des Ziels in der Stichprobe ist, andernfalls wird er zusätzlich auf den Stichproben unter Berücksichtigung des Vektors bewertet und die beste Variante ausgewählt.

b) Wie "a", jedoch werden die Quantensegmente, die in der Stichprobe eine Abweichung in Richtung abnehmender Wahrscheinlichkeit für TN aufweisen, nicht genommen.

c) Wie "a", aber die Auswahl der Schätzung wird an der"Test"-Stichprobe durchgeführt.

Auswahl der Prädiktoren:

  • 1. Quantifizierungsmethode :

(a) Prädiktorauswahl durch Statistik mit Auswahl von Quantentabellen für jeden Prädiktor.

( b) Auswahl der Quants durch Statistik mit binärem Sampling.

( c) Kombination von Quantilsegmenten aus Teilstichproben mit unterschiedlichen Vektoren zur Bildung einer gepoolten binären Stichprobe.

d) Auswahl von Prädiktoren durch Statistik mit Auswahl von Quantentabellen auf der Grundlage von binären Quanten.

  • 2)Ausschluss von Prädiktoren mit starker Korrelation.
  • 3. Gruppierung der Prädiktoren nach ähnlichem Antwortfeld mit Auswahl des dominanten Prädiktors pro Feld - erst nach Umwandlung der Prädiktoren in binäre.
  • 4. die Auswahl nach der durchschnittlichen Häufigkeit der Verwendung von Prädiktoren in CatBoost-Modellen bei Aufteilung der Trainingsstichprobe in 8 Teile. Wir verwenden 5 Lernstrategien und mehr als 20 Methoden der Prädiktorenauswahl auf der Grundlage der erhaltenen Statistiken.
  • 5) Zusammenfassende Auswahl der Prädiktoren für jede Stichprobe nach Durchführung der"Drop"-Methode.
 

Ein neuer Rekord, und dieses Mal ist auch die Stichprobe im Plus.

Bilanz

Modell

 

Ich werde schreiben, wie das Modell abgeleitet wurde - wahrscheinlich für mich selbst, da niemand daran interessiert ist, wie man etwas aus einem komplexen Muster herausbekommt.

Also, das erste, was ich hier getan habe, war, das Ziel nach dem Prinzip zu verschieben, dass, wenn der Gewinn weniger als 50 Pips beträgt, es ein negatives Ergebnis ist, d.h. "0" statt "1" vorher. Es sind weniger als 20 % positive Marks übrig, aber es erlaubte, ausgeprägtere Trendbewegungen auszuwählen.

Dann habe ich für jeden Prädiktor Splits aus den Quantentabellen ausgewählt. Wir verwendeten etwa 900 Tabellen für die Stichprobenziehung, wählten Splits aus, die die Wahrscheinlichkeit von 5 % verschoben, und bewerteten die Stabilität der Signalerzeugung im Quantensplit.

Der nächste Schritt besteht darin, die ausgewählten Quantensegmente zu kombinieren. Ich habe den Ansatz mit dem Zufallselement verwendet und das Ergebnis nach dem Kriterium "je mehr Segmente, desto besser" bewertet - ich bin nicht sicher, ob die Methode perfekt ist, und vielleicht sollte sie verbessert werden - ich muss über den Algorithmus nachdenken.

Auf diese Weise habe ich eine kombinierte Quantentabelle für Prädiktoren erhalten. Prädiktoren ohne erfolgreiche Segmente erhielten in der Quantentabelle nur ein Trennzeichen "0,5".

Ich habe 100 Modelle mit Seed von 8 bis 800 in 8er-Schritten trainiert.

Aus den erhaltenen Varianten wählte ich das beste Modell aus und analysierte die Prädiktoren, die von ihm verwendet wurden - es stellte sich heraus, dass es 77 davon gab.

Ich versuchte, weitere 100 Modelle zu trainieren, aber nur mit diesen Prädiktoren, ebenfalls mit Seed von 8 bis 800 mit Schritt 8. Das Ergebnis der besten Modelle war etwas schlechter als das des letzten Modells. Und das verwirrte mich natürlich.

Ich beschloss, dass ich Seed mit einem kleineren Schritt und in einem größeren Volumen ausprobieren sollte, weil ihre Prädiktoren bessere Ergebnisse erzielen können - das ist bewiesen. Ich trainierte 10000 Modelle, mit Seed von 1 bis 10000 mit Schritt 1.

Das folgende Diagramm zeigt das finanzielle Ergebnis der Modelle, geordnet vom besten bis zum schlechtesten.

Etwa 25% der Modelle waren unrentabel, was nicht mehr so schlimm ist, und der durchschnittliche Gewinn beträgt 2116,65. 38% der Modelle haben einen Gewinn von 3000 Punkten oder mehr.

Es ist nicht ganz klar, warum die Ergebnisse der Teststichprobe nicht mit denen der Prüfungsstichprobe übereinstimmen - handelt es sich um eine Besonderheit der Unterstichprobe, oder könnte es andere Gründe geben?

Die nachstehende Grafik zeigt die Ergebnisse für die Teststichprobe - in der gleichen Reihenfolge wie zuvor - nach dem finanziellen Ergebnis der Prüfungsstichprobe.

Und zur Verdeutlichung: Das Streudiagramm sieht aus wie zufällig.

Ich dachte, es handele sich um Indikatoren - Punkte, nicht um binäre statistische Indikatoren, aber wie Sie in der Grafik unten sehen können, ist der Genauigkeitsindikator zwischen den beiden Stichproben auch unabhängig.


Ohne die Abhängigkeit der Ergebnisse der Prüfungsstichprobe von den Test- und Trainingsstichproben zu erkennen, ist es schwierig, ein Modell auszuwählen - ich denke, wir müssen zusätzliche Bewertungskriterien entwickeln - Metriken kann das Modell.

Das neue Modell (ich habe zwei bemerkt) verwendet weniger als 50 Prädiktoren. Ich denke, wenn wir den Prozess wiederholen, werden irgendwann genug Prädiktoren übrig sein, um ein Modell zu erstellen.

Was dann zu tun ist - wir können das Modell an der gesamten Stichprobe trainieren, indem wir nur die ausgewählten Prädiktoren verwenden, und dann sehen, wie sich ihr Aggregat bei neuen Daten verhält.

Außerdem möchte ich versuchen, einige besondere Merkmale in den ausgewählten Prädiktoren zu finden, die die Wahrscheinlichkeit ihrer Auswahl ohne Training erhöhen - in Analogie dazu, wie es bei der Auswahl von Quantensegmenten aus Tabellen gemacht wurde.

 
Aleksey Vyazmikin #:

Dann habe ich für jeden Prädiktor Splits aus Quantentabellen ausgewählt. Wir verwendeten etwa 900 Tabellen für die Probenahme, wählten Splits aus, die die Wahrscheinlichkeit von 5 % verschoben, und bewerteten die Stabilität der Signalerzeugung im Quantensplit.

Der nächste Schritt besteht darin, die ausgewählten Quantensegmente zu kombinieren. Ich habe den Ansatz mit dem Zufallselement verwendet und das Ergebnis nach dem Kriterium "je mehr Segmente, desto besser" bewertet - ich bin mir nicht sicher, ob die Methode perfekt ist, und vielleicht sollte sie verbessert werden - wir müssen über den Algorithmus nachdenken.

Er wählt im Wesentlichen Blätter mit einer Wahrscheinlichkeit von >55% aus ?

Aleksey Vyazmikin #:

Ich habe versucht, 100 weitere Modelle zu trainieren, aber nur auf diesen Prädiktoren, auch mit Seed von 8 bis 800 mit Schritt 8. Das Ergebnis der besten Modelle war etwas schlechter als das des letzten Modells. Und das verwirrte mich natürlich.

Offenbar stimmte der Zufall von Seed-a nicht vollständig mit der Variante des Zufalls der besten Stichprobe überein. Daher die unterschiedlichen/schlechteren Ergebnisse.

Aleksey Vyazmikin #:

Es ist nicht klar, warum die Ergebnisse der Teststichprobe nicht mit denen der Prüfungsstichprobe übereinstimmen - ist das eine Besonderheit der Teilstichprobe, oder kann es andere Gründe geben?

Die folgende Grafik zeigt die Ergebnisse für die Teststichprobe - in der gleichen Reihenfolge wie zuvor - nach dem finanziellen Ergebnis der Prüfungsstichprobe.

Es ist wie bei einer normalen Ausbildung, die auf die Ausbildung umgeschult/angepasst wird. In diesem Fall haben Sie eine Anpassung an die Prüfung vorgenommen. Jede Anpassung, sowohl für den Test als auch für die Prüfung, führt zu einem zufälligen Ergebnis, wie wir an Ihrem Test sehen können.

Ich denke nicht, dass Sie die besten Züge oder Prüfungen nehmen sollten. Sie brauchen etwas Stabiles, wenn auch mit einem viel schlechteren Ergebnis als die beste Ausbildung oder Prüfung.

Als ich mit Darch gearbeitet habe, gab es bei beiden Stichproben eine Auswahl err = err_ oob * k+ err_trn * (1 - k); wobei k=0.62 (empfohlen, kann aber geändert werden)
D.h. err = err_ oob * 0.62+ err_trn * 0.38;
Aber das ist ein unnötiger Parameter für die Auswahl mit zunehmender Rechenzeit.

Nach meinen Experimenten mit Sampling auf H1 - es war etwas stabil, aber wenig Ertrag. 10000 Trades, aber nur 0,00005 pro Trade. Das ist auch uninteressant, da Spreads/Slippages, etc. diese 5 Pkt. im regulären Handel auffressen.

Sie haben 400 Trades, aber 40 Punkte in der Prüfung. Und in der Prüfung, wie bei mir, nahe 0 (zufällig).

Es gibt eine Menge Ansätze, aber niemand hat einen gefunden, der funktioniert.
 
elibrarius #:

Es handelt sich im Grunde um eine Blattauswahl mit einer Wahrscheinlichkeit von >55% ?

Nein, es ist, sagen wir, der numerische Bereich eines Prädiktors, der ausgewählt wird. Die 5% sind relativ zum Wert des Prozentsatzes "1" im Stichprobenzug.

elibrarius #:

Offenbar stimmte der Zufallswert von Seed-a nicht vollständig mit der Zufallsvariante der besten Stichprobe überein. Daher die unterschiedlichen/schlechteren Ergebnisse.

Der Zufallswert ist festgelegt :) Es scheint, dass dieser Seed auf eine trickreiche Art und Weise berechnet wird, d.h. alle Prädiktoren, die für die Modellbildung zulässig sind, sind wahrscheinlich involviert, und eine Änderung ihrer Anzahl ändert auch das Auswahlergebnis.

elibrarius #:

Es ist wie bei normalem Lernen, das neu trainiert/an die Ausbildung angepasst wird. In diesem Fall haben Sie eine Anpassung an die Prüfung vorgenommen. Jede Anpassung, sowohl für den Test als auch für die Prüfung, wie wir sie bei Ihrem Test sehen, führt zu einem Zufallsergebnis.

Warum ist es eine Anpassung, oder besser gesagt, was sehen Sie als eine Anpassung an? Ich neige zu der Annahme, dass sich die Teststichprobe mehr von der Prüfung unterscheidet als die Prüfung vom Zug, d. h. es gibt unterschiedliche Wahrscheinlichkeitsverteilungen der Prädiktoren. Dies kann entweder durch die Auswahl der stabilsten Prädiktoren behandelt werden, die für alle Stichproben akzeptable Ergebnisse liefern, oder durch die Veränderung der Wahrscheinlichkeitsverteilung durch ein externes Merkmal (z. B. einen anderen Prädiktor) - ich kenne solche Modelle nicht, würde sie aber gerne ausprobieren. Ein ähnlicher Effekt könnte durch rekurrentes Training auf ausgewählte Blätter verschiedener Bäume oder sogar ganze Modelle erzielt werden. Vielleicht können rekurrente Neuronen dies leisten - ich kenne sie nicht.

Ich betrachte diese Methode bisher als eine Möglichkeit, Prädiktoren auszuwählen, auf denen das kombinierte Modell aufgebaut werden soll, und als Benchmarks, um andere effektive Prädiktoren vor dem eigentlichen Training zu identifizieren.

elibrarius #:

Ich denke nicht, dass man die besten Züge oder Prüfungen nehmen sollte. Sie brauchen etwas Stabiles, wenn auch mit einem viel schlechteren Ergebnis als das beste Training oder die beste Prüfung.

Als ich mit Darch gearbeitet habe, gab es eine Auswahl für beide Stichproben err = err_ oob * k+ err_trn * (1 - k); wobei k=0,62 (empfohlen, aber man kann es ändern)
D.h. err = err_ oob * 0,62+ err_trn * 0,38;
Aber es ist ein unnötiger Parameter für die Auswahl mit zunehmender Rechenzeit.

Was ist die Metrik, die err_ ist?

elibrarius #:

Sie haben 400 Trades, aber bei 40 pts auf die Prüfung. Nun, in der Prüfung, wie ich - in der Nähe von 0 (zufällig).

Es gibt eine Menge von Ansätzen, aber niemand hat eine produktive noch gefunden.

Die X-Achse ist der Wert der Erwartungsmatrix auf der Teststichprobe, d.h. im Allgemeinen, ja, aber es gibt einige erfolgreiche Instanzen.


Grund der Beschwerde: