Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 2254

 
Maxim Dmitrievsky:

Ich habe mir nicht viel dabei gedacht, sondern nur eine Vermutung geäußert, die auf Stöbern beruht.

hmm wird Ihnen Chips geben, die der Hund noch nie gesehen hat. Aber ähnlich wie die, die Sie gesehen haben. Bei einer umgekehrten Umwandlung könnte es eine gewisse Wirkung haben, denke ich. Fügen Sie etwas Lärm hinzu.

Dies ist eine Vermutung.

Ich komme hier ein wenig durcheinander...

Auf jeden Fall ist PCA linear und verzerrt nichts, wenn man alle Komponenten hat, kann man das, was man zerlegt hat, ohne Verluste wieder zusammensetzen.

 
mytarmailS:

Ich bin hier schon verwirrt...

PCA ist in jedem Fall linear und verzerrt nichts, denn wenn man alle Komponenten hat, kann man das, was man zerlegt hat, ohne Verlust wieder zusammensetzen.

Es gibt also irgendwo anders einen Fallstrick. Bei Bildern funktioniert es mit PCA gut, bei Zitaten schlechter, aber schneller.

Nun, das ist verständlich... Bilder und Zahlen sind leicht vorherzusagen, aber der Markt ist nicht stationär. Wenn Sie PCA verwenden, sind die Komponenten nicht mehr relevant, wenn sich die Volatilität oder etwas anderes ändert.

wie digitale Filter )))

 
Maxim Dmitrievsky:

Ihre PCA löst das Problem nicht, da die Komponenten nicht mehr relevant sind, wenn sich die Volatilität ändert.

Ich weiß nicht, was du meinst, aber...

Wenn man alle PCA-Komponenten auf den neuen Daten addiert, erhält man Tick für Tick den gleichen Preis, also... Ich weiß nicht, was Sie mit Relevanz meinen.

 
mytarmailS:

Ich weiß nicht, was du meinst, aber...

Wenn Sie alle PCA-Komponenten auf den neuen Daten addieren, erhalten Sie den gleichen Preis Tick für Tick, also... Ich weiß nicht, was Sie mit Relevanz meinen.

lass uns später über den Hund reden, ich bin müde)

die Kodierer haben nicht empirisch gearbeitet

 
Maxim Dmitrievsky:

Lass uns später über den Hund reden, ich bin müde.)

Kodierer empirisch nicht funktioniert hat.

okay

 
mytarmailS:

Du wirst der Erste sein.

Ich habe mir einen Kurs über die Bayes-Methode 2019 angesehen. Es gibt einige interessante Ideen, aber die Formeln erschweren das Verständnis. Hier ist ein Gedanke, der moderne Ansätze mit Bayes'scher Logik ausprobiert hat. Der Dozent argumentiert allgemein, dass alle MO ohne Bayes'sche Methoden zur Schätzung der Wahrscheinlichkeit in MO nur eine Anpassung ist.


Apropos Anpassung: Ich neige immer mehr zu der Schlussfolgerung, dass CatBoost-Modelle ihre Ergebnisse bei Stichproben außerhalb des Trainings aufgrund der nicht repräsentativen Stichprobe und der Art und Weise, wie das Modell aufgebaut ist, verschlechtern. Der Punkt ist, dass in den klassischen Modellen die Bäume symmetrisch sind und es kein Pruning gibt, was zu einer Situation führen kann, in der es sehr wenige Daten in einem Blatt gibt, aber das Blatt bekommt ein nicht geringes Gewicht, und wenn dies eine fehlerhafte Partition ist, dann wird es bei Proben außerhalb des Trainings, wenn es viele Beispiele in dem fehlerhaften Blatt gibt, zu einer erheblichen Verzerrung der Ergebnisse führen. Und es könnte Tausende solcher Blätter geben. Wäre die Stichprobe repräsentativ, gäbe es kein Problem, da die Gewichtung im Blatt angemessen und mit der Art der Datenverteilung (Entropie) vereinbar wäre. Sie sollten versuchen, die Blätter mit einer kleinen Anzahl von Beispielen zu rangieren, indem Sie deren Gewichte auf Null setzen.

Die Idee ist, dass das Modell nur auf die Daten reagiert, die ihm bekannt sind, und nicht auf ein Urteil wie "wenn dies richtig ist, ist das falsch", wie es jetzt der Fall ist.
 
Aleksey Vyazmikin:

In einem Kurs über die Bayes-Methode 2019 gab es einige interessante Ideen, aber die Formeln erschweren das Verständnis. Hier ist ein Gedanke, der moderne Ansätze mit Bayes'scher Logik ausprobiert hat. Der Dozent argumentiert allgemein, dass alle MO ohne Bayes'sche Methoden zur Schätzung der Wahrscheinlichkeit in MO nur eine Anpassung ist.


Apropos Anpassung: Ich neige immer mehr zu der Schlussfolgerung, dass CatBoost-Modelle ihre Ergebnisse bei Stichproben außerhalb des Trainings aufgrund der nicht repräsentativen Stichprobe und der Art und Weise, wie das Modell aufgebaut ist, verschlechtern. Der Punkt ist, dass in den klassischen Modellen die Bäume symmetrisch sind und es kein Pruning gibt, was zu einer Situation führen kann, in der es sehr wenige Daten in einem Blatt gibt, aber das Blatt bekommt ein nicht geringes Gewicht, und wenn dies eine fehlerhafte Partition ist, dann wird es bei Proben außerhalb des Trainings, wenn es viele Beispiele in dem fehlerhaften Blatt gibt, zu einer erheblichen Verzerrung der Ergebnisse führen. Und es könnte Tausende solcher Blätter geben. Wäre die Stichprobe repräsentativ, gäbe es kein Problem, da die Gewichtung im Blatt angemessen und mit der Art der Datenverteilung (Entropie) vereinbar wäre. Wir sollten versuchen, Blätter mit einer kleinen Anzahl von Beispielen zu shunten, indem wir ihre Gewichte auf Null setzen.

Die Idee ist, dass das Modell nur auf Daten reagiert, von denen es eine Vorstellung hat, und nicht, wie es jetzt der Fall ist, nach dem Motto "wenn dies richtig ist, ist das falsch".

Die Repräsentativität ist eine wichtige Voraussetzung.

Bringt Katbust, wenn sie geteilt wird, Blätter mit einer geringen Anzahl von Exemplaren pro Blatt hervor? Die empfohlene Tiefe beträgt 6, d.h. 2^6=64, d.h. ein Blatt wird durchschnittlich 1/64 der Zeilen der gesamten Probe umfassen. Wenn Sie mindestens 10000 Zeilen für die Ausbildung haben, gibt es durchschnittlich 156 Beispiele pro Blatt. Ich denke, das ist meiner Meinung nach recht repräsentativ.

Wenn Sie die Bäume symmetrisch machen, kann es allerdings zu Verzerrungen kommen. Wie klein haben Sie die Blätter gesehen und wie viele Zeilen wurden zur Ausbildung eingereicht?

 
elibrarius:

Die Repräsentativität ist eine wichtige Voraussetzung.

Erzeugt katbust, wenn es geteilt wird, Blätter mit einer geringen Anzahl von Exemplaren auf dem Blatt? Die empfohlene Tiefe beträgt 6, was 2^6=64 entspricht, d.h. das Blatt wird im Durchschnitt 1/64 der Zeilen der gesamten Probe sein. Wenn Sie mindestens 10000 Zeilen für die Ausbildung haben, gibt es durchschnittlich 156 Beispiele pro Blatt. Ich denke, das ist meiner Meinung nach recht repräsentativ.

Wenn Sie die Bäume symmetrisch machen, kann es allerdings zu Verzerrungen kommen. Wie klein haben Sie die Blätter gesehen und wie viele Zeilen wurden zur Ausbildung eingereicht?

Im Moment habe ich keine genauen Zahlen - dies ist nur eine Schätzung. Ich muss noch einmal zu meinen alten Codes zurückgehen, ich glaube, ich hatte dort die Möglichkeit, solche Statistiken zu bekommen - ich habe es vergessen. Sie haben Recht, wenn Sie sagen, dass der Durchschnitt nicht entmutigend aussieht, aber das bedeutet nicht, dass es nicht eine ganze Reihe von Beispielen auf einem Blatt gibt.

Wir sehen, dass sich die Ränder der extremen Wahrscheinlichkeit in der Trainingsstichprobe und in der Teststichprobe in der Regel deutlich unterscheiden - ich nehme an, dass der Grund dafür die Blätter mit einer geringen Anzahl von Beispielen sind, solche Blätter sind in der Teststichprobe nur selten zu finden.

 

Es gibt eine Visualisierung der statistischen Schätzung der Baumblattaktivierung - eines der alten Modelle.

Das y ist die Blattnummer und das x ist die Stichprobenreihe. Die Farbe zeigt den Koeffizienten des Blattgewichts modulo an.

Es ist zu erkennen, dass es auch hier seltene Blattaktivierungen gibt, was bedeutet, dass die Annahme gültig ist - es handelt sich um eine Stichprobenprüfung


 
Aleksey Vyazmikin:

Es gibt eine Visualisierung der statistischen Schätzung der Baumblattaktivierung - eines der alten Modelle.

Das y ist die Blattnummer und das x ist die Stichprobenreihe. Die Farbe zeigt den Koeffizienten des Blattgewichts modulo an.

Sie können sehen, dass es auch hier seltene Blattaktivierungen gibt, so dass die Annahme vernünftig ist - es ist eine Stichprobe


Eine seltene Aktivierung in der Prüfung bedeutet vielmehr, dass sich der Markt verändert hat und das, was früher auf dem Trayn geschah, nicht mehr stattfindet. Und es ist auch nicht unbedingt so, dass es dort nur wenige Aktivierungen auf dem Praktikantenbogen gab.