Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 2552

 
Vladimir Perervenko #:

Es gibt noch ein weiteres Problem bei der Verwendung von Prädiktoren - ihre Drift.

Ist Drift dasselbe wie Nicht-Stationarität, wie ich es verstehe?

Wie wäre es, wenn wir ein Modell trainieren, das einen Preis als Input nimmt und eine Reihe von Statistiken ausgibt, die mit dem Preis korrelieren? Haben Sie so etwas schon einmal ausprobiert?

 
Vladimir Perervenko #:

Es gibt noch ein weiteres Problem bei der Verwendung von Prädiktoren - ihre Drift. Und dieses Problem muss sowohl bei den Tests als auch im Betrieb erkannt und berücksichtigt werden. Es gibt eine Übersetzung des Artikels im Anhang (suchen Sie nach anderen im Internet) und es gibt ein Drifter-Paket. Sie ist nicht die einzige. Bei der Auswahl der Prädiktoren müssen Sie jedoch nicht nur deren Bedeutung, sondern auch deren Drift berücksichtigen. Bei starken Driftern verwerfen oder transformieren wir sie, bei geringen Driftern sollten wir sie bei der Prüfung und im Betrieb berücksichtigen (korrigieren).

Ich stimme zu, dass Nicht-Stationarität (Drift) die Dinge sehr verkompliziert. Leider ist es viel komplizierter als in dem Beispiel mit dem Spam. Aber es ist notwendig, dies zu berücksichtigen.

 
elibrarius #:
Die Farbe eines Leuchters kann selbst bei einem Fehler von 30% ein Verlierer sein. Wir wissen nicht, wie viel Gewinn wir daraus ziehen können... die Farbe wird in der Regel in den langsamen Bewegungen des Preises (über Nacht) gut erraten, und 1 nicht vermutete starke Tageskerze kann 10 kleine Nachtkerzen wert sein. Ich denke, dass das Erraten der Farbe von Kerzenständern wieder eine zufällige Ausgabe ist (aufgrund der zufälligen Abmessungen).
Deshalb habe ich die Klassifizierung mit TP, SL vorgenommen. Wenn sie gleich sind, dann sind 52 % der erfolgreichen Geschäfte bereits profitabel. Wenn TP=2*SL. Dann werden >33% der erfolgreichen Geschäfte profitabel sein. Das Beste, was ich bisher hatte, sind 52-53% erfolgreiche Trades mit TP=SL über 2 Jahre. Aber im Allgemeinen denke ich daran, die Regression mit festen TP/SL zu verwenden. Genauer gesagt, machen Sie eine Klassifizierung auf Regression.

Ja, das erinnert mich daran, dass ich ein solches Ziel nicht für sehr effektiv halte, da es die Volatilität nicht berücksichtigt.

Gehe ich recht in der Annahme, dass praktisch bei jedem Bar eine Position eröffnet wird, um eine Probe vorzubereiten?

 
SanSanych Fomenko #:

Im Prinzip gibt es keine mathematischen Methoden, die aus Müll Süßigkeiten machen, und es kann sie auch nicht geben. Entweder gibt es eine Reihe von Prädiktoren, die den Lehrer vorhersagen, oder es gibt keine.

Und Modelle spielen praktisch keine Rolle, ebenso wenig wie Kreuzvalidierungen und andere rechenintensive Perversionen.


PS.

Übrigens hat die "Bedeutung" der Prädiktoren im Modell nichts mit der Fähigkeit zu tun, den Lehrer vorherzusagen.

Sie irren sich gewaltig - es gibt keine perfekten Methoden zur Modellbildung, die von sich aus die "richtigen" Prädiktoren auswählen könnten. Oder solche sind mir nicht bekannt.

Vielleicht können Sie den Markt nicht perfekt beschreiben, aber durch die Anwendung von Stichproben und Prädiktorenanalysen können Sie das Ergebnis des Modells erheblich verbessern, wenn auch mit einem Blick auf die Daten, für die das Training stattfindet.

Die Frage ist, wie man die Prädiktoren effektiv auswählt und ihre abnormalen Veränderungen bei der Anwendung des Modells kontrolliert.

 
Vladimir Perervenko #:

Es gibt drei Optionen für die Behandlung von Rauschproben: Löschen, Neuaufteilung (Korrektur der Markierung) und Ausgliederung der Rauschproben in eine eigene Klasse. Nach meiner Erfahrung sind etwa 25 % der Stichprobe "Rauschen". Die Qualitätsverbesserung beträgt etwa 5 % und hängt von den Modellen und der Datenaufbereitung ab. Ich verwende es gelegentlich.

Ein weiteres Problem bei der Verwendung von Prädiktoren ist ihre Drift. Und dieses Problem muss sowohl bei der Prüfung als auch beim Betrieb erkannt und berücksichtigt werden. Die beigefügte Übersetzung des Artikels (suchen Sie nach anderen im Netz) und es ist ein Drifter-Paket. Sie ist nicht die einzige. Bei der Auswahl der Prädiktoren muss man jedoch nicht nur deren Bedeutung, sondern auch deren Drift berücksichtigen. Bei hohen Driftern sind diese zu verwerfen oder umzuwandeln, bei niedrigen Driftern sind sie beim Testen und Arbeiten zu berücksichtigen (Korrekturen vorzunehmen).

Viel Glück!

Soweit ich weiß, schlagen die Autoren des Artikels vor, die Verteilung der Prädiktorwerte über das Fenster genau zu analysieren, und wenn sie sehr unterschiedlich ist, eine Anomalie zu melden. Wenn ich es richtig verstanden habe, nimmt das Beispiel ein Fenster von 1000 Indikatoren - das ist ein großes Fenster, aber offenbar statistisch vertretbar. Frage: Welche Metriken werden verwendet, um die beiden Verteilungen zu vergleichen und eine signifikante Veränderung zu erkennen?

Weitere Überlegungen: Die Veränderung selbst kann durch einen anderen Prädiktor vorhergesagt werden, z. B. durch eine globale Trendänderung in den Wochen, die durch eine Änderung des Zinssatzes verursacht wird - in allen Stichproben sind solche Veränderungen selten - und das Modell kann diese Prädiktoren einfach nicht erfassen, aber wenn wir die beiden Prädiktoren kombinieren, lässt sich die "anormale" Veränderung interpretieren. So komme ich auf die Idee, dass die Drift selbst kein Grund ist, einen Prädiktor zu verwerfen, sondern ein Grund, nach einem Faktor zu suchen, der sie erklärt - d. h. zu versuchen, einen korrelierenden Prädiktor zu finden und beide zu kombinieren, um einen neuen Prädiktor zu schaffen.

Im Gegenzug werde ich kurz auf meine Methode eingehen - ich zerlege Prädiktoren in "Quanten" (Segmente) und schätze die binäre Antwort der Quanten anhand ihrer Vorhersagekraft. Indem ich einen Querschnitt solcher Schätzungen über die Geschichte hinweg vornehme, gelingt es mir, gute Quantensätze auszuwählen, die als individuelle Prädiktoren dienen können und auch zur Auswahl von Basisprädiktoren verwendet werden können. Auch dieser Ansatz verbessert die Ergebnisse. Dementsprechend verbessert die Stabilitätseinschätzung des Verhaltens von Quanten und ihre Auswahl auf Kontrollproben wesentlich die Ergebnisse des Modelltrainings in CatBoost, und hier frage ich mich, ob es zulässig ist, sie zu verwenden, oder ob es bereits Selbstbetrug ist.

 
Aleksey Vyazmikin #:

Ja, da fällt mir ein, dass ich diese Zielsetzung für nicht sehr effektiv halte, weil sie die Volatilität nicht berücksichtigt.

Ich stimme zu. Nachts kann ein Handel mehrere Stunden dauern, während er tagsüber innerhalb von 5 Minuten beendet sein kann. Ich überlege also, wie ich ein Regressionsmodell mit der Klassifizierung verbinden kann. Ich kann die Zahlen 0,1,2 nicht "mit einem Strichmännchen" vorhersagen. Wir brauchen etwas Intelligenteres.

Verstehe ich das richtig, dass praktisch bei jedem Balken eine Position eröffnet wird, um eine Probe zu erstellen?

Ja, wenn es eine vorhergesagte Kauf-/Verkaufsklasse gibt. Es gibt auch eine Klasse - warten.

 
elibrarius #:

Ich stimme zu. Ein Geschäft kann sich nachts stundenlang hinziehen, aber tagsüber kann es in 5 Minuten vorbei sein. Deshalb frage ich mich, wie man ein Regressionsmodell mit der Klassifizierung verknüpfen kann. Ich kann die Zahlen 0,1,2 nicht "mit einem Strichmännchen" vorhersagen. Wir brauchen etwas Intelligenteres.

Logistische Regression
 
SanSanych Fomenko #:

Ich war schon seit einigen Jahren nicht mehr im Forum und es ist immer noch da, wie es in dem Lied heißt: "Wie du warst, so bist du, Steppenadler, schneidiger Kosak...".

Die Statistik beginnt mit einem Axiom, das, da es ein Axiom ist, nicht diskutiert wird:


"Müll rein, Müll raus".


Im Prinzip kann und darf es keine mathematischen Methoden geben, die aus Müll ein Bonbon machen können. Entweder gibt es eine Reihe von Prädiktoren, die den Lehrer VERHINDERN, oder es gibt sie nicht.

Und Modelle spielen praktisch keine Rolle, ebenso wenig wie Kreuzvalidierungen und andere rechenintensive Perversionen.


PS.

Übrigens hat die "Bedeutung" der Prädiktoren im Modell nichts mit der Fähigkeit zu tun, den Lehrer vorherzusagen.

Es gibt immer diejenigen, die wie Genosse Suchow denken: "Natürlich ist es besser zu foltern")

Ich stimme zu, dass es wichtiger ist, die richtigen Prädiktoren zu finden als ein bestimmtes Modell. Und es ist besser, sie in erster Linie auf der Grundlage einer Untersuchung des Fachgebiets zu erstellen, als sich nur auf die Leistung von MO-Algorithmen zu verlassen (und Prädiktoren auf eine nicht interpretierbare Weise aus Balken zu konstruieren).

Nicht weniger wichtig als die Prädiktoren ist die Verlustfunktion, die gut auf den Themenbereich und das zu lösende Problem abgestimmt sein muss.

 
Ich weiß nicht einmal, ob man die Arbeit mit AMO als Suche nach Mustern bezeichnen kann, sondern eher als eine einfache Annäherung/Anpassung an die Zielfunktion.
Kann sich AMO etwas Gescheites einfallen lassen?
 
mytarmailS #:
Kann sich AMO etwas Gescheites einfallen lassen?

Nein, es ist eine Datenbank mit auswendig gelernter Geschichte. Was ist ein Blatt in einem Baum? 10-20-100-1000 Beispiele/Strings aus der Vergangenheit, die irgendwie als ähnlich ausgewählt wurden. Antwortblatt: für die Klassifizierung - % der häufigsten Klasse oder nur der häufigsten Klasse, für die Regression - arithmetisches Mittel aller Werte.

Wenn es sich um einen Wald handelt, wird außerdem der Durchschnittswert aller Bäume im Wald ermittelt. Beim Boosten werden die Werte aller Bäume summiert (jeder nachfolgende Baum korrigiert die Summe aller vorherigen Bäume, um die genaueste Antwort zu erhalten).