Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 161

 
Dr. Trader:

Was wäre, wenn ich Ihnen sagen würde, dass es so etwas wie das "Newtonsche Gesetz" in der Natur nicht gibt? Dabei handelt es sich lediglich um eine Formel, die zur Vereinfachung der Berechnungen aufgestellt wurde. Und der Satz "Das Newtonsche Gesetz funktioniert oder es funktioniert nicht" impliziert, dass diese Formel zur Berechnung eines bestimmten Prozesses verwendet werden kann, oder umgekehrt, dass sie aufgrund der Komplexität des Problems und der chaotischen Natur der Welt nicht angewendet werden kann.

Angenommen, es gibt eine Stahlkugel. Wenn man seine Masse kennt, kann man ziemlich genau bestimmen, wie schnell er fallen wird, wie schnell er den Boden erreicht usw. Bei einem Fluff gibt es jedoch so viele Einflüsse, dass die Anwendung der Newton'schen Gesetze nicht ausreicht, um zu berechnen, wo und wann der Fluff fallen wird. Selbst wenn Sie sich in einem windstillen Raum auf dem Grund des Ozeans einschließen, wird sich jede seismische Aktivität verändern und die Flusen werden nicht dorthin fallen, wo Sie sie berechnet haben. Selbst ein solch komplexes Experiment liegt bereits jenseits der Grenzen des Gewöhnlichen, ist aber noch nicht genau genug.

Das Verhalten des Flausches ist eine Analogie zum Verhalten eines Devisenhandelssymbols. Sie können einen Expert Advisor mit Tausenden von Formeln erstellen, aber sie alle werden nur die Phänomene beschreiben, die Sie bei diesem Prozess beobachten. Sie werden die zugrundeliegenden Prozesse nie vollständig verstehen, so dass jede noch so genaue Formel, die Sie erstellen, nur unter idealen Bedingungen funktioniert und nur die zuvor beobachteten Phänomene beschreibt. Aber in Wirklichkeit wird etwas Unerwartetes passieren, und der Markt wird gegen alle Ihre Formeln verstoßen und alle Ihre Stopps aushebeln.

Ich beschäftigte mich mit der Berechnung der Dynamik der Strömung von Flüssigkeiten und Gasen. Mit voller Verantwortung kann ich Ihnen erklären, dass, wenn sich das Objekt "Flaum" für irgendeinen Beobachter "ungewöhnlich" verhält, es nicht bedeutet, dass die Gesetze von Newton nicht funktionieren, es bedeutet, dass der Beobachter keine Kräfte berücksichtigt hat, die auf das Objekt einwirken, in diesem Fall die Bewegung der Luftmassen, die, unter Berücksichtigung des Verhältnisses der Masse des Objekts zur Fläche seiner Oberfläche, einen viel größeren Einfluss ausüben, als die Kraft der Gravitation. Aber das sind alles dieselben Newtonschen Kräfte, die vom Beobachter nicht berücksichtigt wurden.

Verstehen Sie, was ich meine? Das ist elementares Zeug, Mann. Wenn es nicht funktioniert, bedeutet das, dass etwas nicht berücksichtigt wurde. Daran ist kaum jemand schuld, außer dem Beobachter.

Ziehen Sie nun, vielleicht in Gedanken, eine Analogie zwischen dem oben Gesagten und dem Markt.
 
Dr. Trader: Nehmen wir an, es gibt eine Stahlkugel. Wenn man seine Masse kennt, kann man bestimmen, wie schnell er fallen wird, wie schnell er den Boden erreicht usw., und das alles ziemlich genau. Im Falle von Daunen gibt es jedoch eine so große Anzahl von Auswirkungen auf ....
Das Gleiche! Sowohl auf dem Daunen- als auch auf dem Luftballon)))
 
Andrej Dik:
Das Gesetz funktioniert, auch im Hinblick auf den Fluff. Aber wenn man die Dinge "auf nationaler Ebene" betrachtet, ist es das, was man bekommt....
Das Interessanteste ist, dass Vetrov auch dazu sagt: "Wir kennen einen Teil der Variablen beim Werfen einer Münze nicht..."
Fa, die bekannten Variablen werden sofort verworfen, was auf ein Gebet hindeutet)))
 
SanSanych Fomenko:

Danke, ich habe es gelesen.

Ich glaube, der Autor ist zu optimistisch.

Der Clip schlägt lediglich vor, a posteriori Verteilungen vorzunehmen, mit einem Vorbehalt, für welche Bereiche dies gilt.
Bei der Verwendung von vorverarbeiteten Standarddaten (fx) soll dieser Ansatz funktionieren
und mit einer komplexeren Struktur (Anzahl der Bausteine) wird es am schwierigsten sein.
Alles imho natürlich...
 
Andrej Dik:

Bewegungen von Luftmassen, die angesichts des Verhältnisses zwischen der Masse eines Objekts und seiner Oberfläche eine viel größere Wirkung haben als die Schwerkraft. Aber das sind alles dieselben Newtonschen Kräfte, die vom Beobachter nicht berücksichtigt wurden.

Wir sprechen über die Schwierigkeit, das Newtonsche Gesetz anzuwenden, um die Bewegung eines flauschigen Objekts auf häuslicher Ebene zu bestimmen. Zuerst haben Sie gespottet, es sei ein Kinderspiel. Jetzt muss man plötzlich die Luftmassen und alle Newtonschen Kräfte berücksichtigen. Was für ein Leben ist es für Sie, dass die Nutzung eines Rechenzentrums zur Berechnung von Luftmassen alltäglich ist? Sie müssen Raketen oder andere Raumfahrzeuge bauen.

Und was sind das für Newtonsche Kräfte? Die Kraft, die Isaac Newton benutzte, um sich einmal pro 1 Sekunde zu drehen? (Nur ein Scherz)

Eidechse_:
Das Gleiche! Sowohl auf dem Flaum als auch auf dem Ball)))

Ich bin ein bisschen ein Dummkopf, ja.) Es ist so ziemlich das Gleiche zu einem bestimmten Zeitpunkt. Aber der Ballon wird einfach fallen und das war's. Außerdem ist die Flugbahn des fallenden Geschosses stärker verdreht, so dass es eine längere Strecke zurücklegen muss und die Summe der Auswirkungen während der gesamten Fallzeit anders ist. Es sei denn, die Situation befindet sich in einem Vakuum ohne äußere Einflüsse.

 
Dr. Trader:

1. Es geht um die Schwierigkeit, das Newtonsche Gesetz anzuwenden, um die Bewegung eines Klumpens auf der häuslichen Ebene zu bestimmen.

2. Zuerst haben Sie gespottet, es sei ein Kinderspiel.

3 Jetzt muss man plötzlich die Luftmassen und alle Newtonschen Kräfte berücksichtigen. Was ist das für ein Leben zu Hause, wenn die Nutzung eines Rechenzentrums zur Berechnung von Luftmassen alltäglich ist? Sie müssen Raketen oder andere Raumfahrzeuge bauen.

4 Und was sind das für Newtonsche Kräfte? Die Kraft, die Isaac Newton benutzte, um sich einmal pro 1 Sekunde zu drehen? (Nur ein Scherz)

(1) Sie sind derjenige, der über das Unbekannte spricht, und SanSanych, für den Sie etwas einwerfen, hat gesagt, dass die Gesetze "auf nationaler Ebene" nicht für Fluff gelten. Aber ich versichere Ihnen, dass der Boden genauso den Gesetzen der Physik unterworfen ist wie jeder andere Körper.

2. Ist es so einfach wie ein Stück Kuchen? - Das ist Ihre Fantasie, ich habe nicht gesagt, dass es einfach oder leicht ist.

3) Wenn man nicht alle auf den Körper wirkenden Kräfte berücksichtigt, ist es unmöglich, den weiteren Verlauf der Bewegung zu bestimmen. Manche glauben sogar, der Körper entziehe sich der Kontrolle der physikalischen Gesetze. Ich wiederhole noch einmal in einfachen Worten: Wenn "etwas" bei jemandem nicht funktioniert, bedeutet das, dass diese Person nicht alle Faktoren berücksichtigt, die auf "etwas" einwirken.

4) Machen Sie sich zunächst mit den drei Newton'schen Gesetzen und den Konsequenzen dieser Gesetze vertraut. Anschließend können Sie sich mit der Kinematik eines festen Körpers und, wenn Sie möchten, mit der Mechanik eines festen, verformbaren Körpers befassen.

Um das Gelesene zu festigen, versuchen Sie, eine Metallkugel mit einer spezifischen Dichte von 7,8 g/cm3 und eine ähnlich große Kugel mit einer Dichte von 0,00001 g/cm3 auf Papier zu zeichnen. Wenden Sie schematisch einen Kraftvektor auf diese Körper an und markieren Sie die Kraftvektoren. Es wird deutlich werden, warum sich die Kugel und der Flaum unterschiedlich verhalten, wenn sie in den freien Fall geschickt werden. Es besteht kein Wunsch mehr, die Marktprozesse "auf Haushaltsebene" zu untersuchen.

"Reden Sie keinen Unsinn" (s) Reshetov, ich weiß das Jahr nicht mehr.

 

Die Systemanalyse deklariert einen Fehler der ersten Art:

"Die richtigen Methoden auf die falschen Probleme anwenden".

Mein Beispiel.

Die Anwendung des Newtonschen Gesetzes auf den Fall einer Stahlkugel ist ein Beispiel für die Anwendung der richtigen Methode auf ein korrekt formuliertes Problem, da man sich nur von dem Newtonschen Gesetz leiten lassen kann und alle anderen Faktoren, die den Fall der Kugel beeinflussen,vernachlässigen kann.

Die Anwendung des Newtonschen Gesetzes auf einen Klumpen ist ein Beispiel für die Anwendung der richtigen Methode auf ein NICHT richtiges Problem, da im Falle eines Klumpens dasNewtonsche Gesetz vernachlässigt werden kann und andere Kräfte, die die Bewegung des Klumpens bestimmen, berücksichtigt werden müssen.

In Forex ist das Problem der Auswahl von Faktoren (Prädiktoren), die für die Zielvariable relevant sind, aus dem Rauschen äußerst akut, da das Vorhandensein von Rauschprädiktoren in einem Modell zu einer Überanpassung des Modells führt. Das Problem liegt in der Umschulung des Modells (Handelssystems).

Für mich stellt sich das Bild wie folgt dar.

Bei einer ausreichend großen Anzahl von Beobachtungen (5000 - 10 000 Balken) wählen wir aus mehreren hundert Prädiktoren 20-30 Prädiktoren aus, die für die Zielvariable relevant sind. Die Auswahl erfolgt individuell für eine bestimmte Zielvariable.

In einem kleineren Fenster von 100-300 Balken aus diesem Satz wählen wir dann erneut Prädiktoren aus, z. B. durch rfe. Ich war überrascht zu sehen, dass sich die Liste der Prädiktoren und deren Anzahl ändert, wenn sich das Fenster bewegt. In meinem Fall: Ausgangsliste = 170 Prädiktoren. Ich habe 27 Prädiktoren ausgewählt, und mit rfe erhalte ich zwischen 5 und 15 Prädiktoren, wenn sich das Fenster bewegt.

Mit diesem Ansatz kann der Vorhersagefehler von rf auf etwa 20 % geschätzt werden. Ada sieht besser aus und gbm noch besser. Ich möchte besonders darauf hinweisen, dass der Fehler in der Ausbildungsstichprobe etwa gleich groß ist wie der Fehler außerhalb dieser Stichprobe. Das Modell wird NICHT neu trainiert.

So sieht "die Anwendung der richtigen Methoden auf das richtige Problem" im Devisenhandel aus.

Und wie sieht die "Anwendung der richtigen RF-Methode auf den falschen Satz von Prädiktoren" aus?

Wir nehmen eine Reihe von Prädiktoren aus dem Nichts. Gleichzeitig ist es sehr wichtig, die Erfahrung der TA zu berücksichtigen - sie mögen Trendindikatoren - verschiedene Dummies.

Mit einer solchen Liste von Prädiktoren für die Trainingsmenge kann rf leicht mit einem Fehler von weniger als 5 % trainiert werden.

Und wenn wir die Menge außerhalb dieser Trainingsmenge nehmen, wird sofort klar, dass die vom rf-Algorithmus gefundenen Bäume überhaupt keinen Bezug zum neuen Kotir-Segment haben - das Modell ist umtrainiert, d.h. es hat sich die Details der Trainingsmenge gemerkt und ist außerhalb dieser Menge völlig unbrauchbar. Ein vertrautes Bild, nicht wahr?

 
sibirqk:

In dem Link spricht der Mann über interessante Ideen, wie man dies auf der Grundlage von Bayes'schen Wahrscheinlichkeiten tun kann.

Dmitri Vetrov:
Dementsprechend gibt es zwei gegensätzliche Tendenzen: Einerseits haben wir eine Trainingsstichprobe, die wir so genau wie möglich vorhersagen möchten, wenn alles andere gleich bleibt, andererseits haben wir die Komplexität der gefundenen Muster, die Komplexität des Vorhersagealgorithmus und wir möchten ihn weniger kompliziert machen. Diese Anforderungen widersprechen sich, so dass wir einen Kompromiss finden müssen. Um diesen zu finden, müssen wir sowohl die Komplexität als auch die Genauigkeit in einheitlichen Begriffen ausdrücken.

https://postnauka.ru/video/55303

Leider kann Dimitri Vetrov nicht zwischen der Lernfähigkeit der Modelle und der Verallgemeinerungsfähigkeit unterscheiden. Deshalb gibt es für ihn keine Kompromisse. Wenn wir uns jedoch das Diagramm ( von HIER) ansehen, können wir erkennen, dass der Kompromiss leicht zu finden ist:



Das heißt, wenn wir der Argumentation von Vetorov folgen, gibt es keine Lernfähigkeit für den Trade-off (die blaue Linie ist die Lernfähigkeit. Betrachtet man jedoch die Abhängigkeit des Fehlers der Verallgemeinerbarkeit des Modells von der Komplexität, so stellt man fest, dass der Kompromiss beim M-Wert der Modellkomplexität (dem Extremwert der Verallgemeinerbarkeit) erreicht wird.

jPrediction, ab Version 9, findet diesen Kompromiss, indem es die Modelle auf einen Wert von M verkompliziert und das bei M gefundene Modell als Ergebnis ausgibt.

Unter Modellkomplexität verstehen wir in jPrediction eine schrittweise Erhöhung der Anzahl der Prädiktoren. Denn bei jPrediction ist die Anzahl der Neuronen in der versteckten Schicht 2^(2*n+1), wobei n die Anzahl der Prädiktoren ist. Dementsprechend steigt mit der Anzahl der Prädiktoren auch die Komplexität des Modells (die Anzahl der Neuronen in der verborgenen Schicht). Wenn man also die Komplexität der Modelle schrittweise erhöht, erreicht jPrediction früher oder später den Wert von M, woraufhin eine weitere Erhöhung der Komplexität der Modelle zu einer weiteren Abnahme der Verallgemeinerbarkeit führt (Zunahme der Fehler bei der Verallgemeinerbarkeit).

Auf diese Weise schlägt jPrediction zwei Fliegen mit einer Klappe:

  1. Die wichtigsten Prädiktoren werden ausgewählt
  2. Die Modelle werden immer komplexer, bis die maximale Verallgemeinerbarkeit erreicht ist.

Und es gibt keine Probleme, wie von D. Vetrov geäußert. Und Newton hat auch nichts damit zu tun.

 
Andrej Dik:

1) Sie sind derjenige, der über das Unbekannte spricht, und SanSanych, für den Sie argumentieren, sagte, dass die Gesetze "auf nationaler Ebene" nicht für Daunen gelten. Aber ich versichere Ihnen, dass der Boden genauso den Gesetzen der Physik unterworfen ist wie jeder andere Körper.


Ich mochte auch nicht die sarkastischen Troll-Kommentare, die auf SS einprasselten. Sie müssen Ihrer Lieblingsbeschäftigung in diesem Thread nicht nachgehen. Es ist, als ob die "unterprivilegierten MQL-Ingenieure für maschinelles Lernen" sich hier mit ihren Kollegen messen, die mit anderen Tools forschen.

Sagen wir es mal so: CC sagte, dass es sehr viel schwieriger wäre, die Newtonschen Gesetze abzuleiten, wenn man nur die extrem verrauschten Landebahnen der Poplitees heranzieht. Dies - da stimme ich ihm zu - spiegelt die Probleme wider, die wir haben. Das extrem verrauschte Signal, aus dem wir versuchen, die wahren Gesetze zu erkennen.

Und alle anderen Überlegungen klingen wie Trolling. SS hat uns eine Metapher gegeben, die wir verstehen können. Das war's!

 
Alexey Burnakov:

Ich mochte auch nicht die sarkastischen Troll-Kommentare, die sich gegen SS richteten. Tun Sie nicht Ihre Lieblingsbeschäftigung in diesem Thread. Es ist, als ob "verarmte MQL-Ingenieure für maschinelles Lernen" sich über ihre Kollegen lustig machen, die ihre Forschung mit anderen Tools betreiben.

Sagen wir es mal so: CC sagte, dass es sehr viel schwieriger wäre, die Newtonschen Gesetze abzuleiten, wenn man nur die extrem verrauschten Landebahnen der Poplitees heranzieht. Dies - da stimme ich ihm zu - spiegelt die Probleme wider, die wir haben. Ein extrem verrauschtes Signal, aus dem wir versuchen, die wahren Gesetze herauszufinden.

Und alle anderen Überlegungen klingen wie Trolling. SS hat uns eine Metapher gegeben, die wir verstehen können. Das ist richtig!

SS hat gerade ein sehr unglückliches Beispiel gegeben, während er weiterhin in seiner Unwissenheit verharrt. Es wäre in Ordnung zu sagen: "Nun ja, ich habe es mit dem Beispiel übertrieben", aber nein, er bleibt hartnäckig, schauen Sie sich an, was er schreibt, selbst nach meinen Empfehlungen, zu versuchen, ein Schema der Kräfte zu zeichnen, die auf den Ball und den Fluff wirken:

DieAnwendung des Newtonschen Gesetzes auf den Flaum ist ein Beispiel für die Anwendung der richtigen Methode auf das NICHT richtige Problem, denn im Fall des Flaumskann man das Newtonsche Gesetz vernachlässigen und mussandere Kräfte berücksichtigen, die die Bewegung des Flaums bestimmen.

Was meinen Sie mit "anderen Kräften"? Auf den Ball und den Flaum wirken die gleichen Kräfte - die Schwerkraft (Gewicht) und die Kraft der Windströmung, die sich auf die Hälfte der Körperfläche verteilen. Es gibt also in beiden Fällen nur 2 Kräfte. Die Windströmung ist dieselbe, aber das Gewicht ist tausendmal anders. Konstruieren Sie die Summe der Vektoren der einwirkenden Kräfte und sehen Sie, was passiert.

Die Metapher funktioniert also nicht für SS.

Ansonsten hat er Recht mit der "Anwendung richtiger Methoden auf falsche Prädiktoren", aber hier gibt es nichts besonders Kluges, ja - der Himmel ist blau, die Sonne scheint, Bus 16 fährt genau um 13:07 Uhr am Haus vorbei... Wie geht es weiter, was ist die Weisheit oder zumindest der praktische Wert dieses Spruchs?

SZY: Ich habe wahrscheinlich weniger Erfahrung mit der MOE als Sie, und wenn ich etwas Ketzerisches über die MOE sage, ist es unwahrscheinlich, dass Sie vorbeikommen und versuchen, mir zu helfen, meine Vorurteile zu korrigieren (ich glaube, dass Sie ein sympathischer Mensch sind, dem es nicht gleichgültig ist, in eklatanten Fällen von übermäßigem Enthusiasmus auf dieselbe Harke zu treten). Und auch ich komme nicht über die eklatanten "Nyutos Kräfte funktionieren nicht bei einem Fluffer" Patzer hinweg.