Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 257

 

Ich bin etwas verwirrt.

Das hat seinen Preis. Ich nehme die letzten 200 Balken und versuche, auf ihnen ein Modell für zwei Klassen (Kauf/Verkauf) zu trainieren. Ich kann alles trainieren, sogar einen Wald, sogar ein Neuron, aber es wird nutzlos sein, denn wenn wir uns alle Trainingsbeispiele als Punkte im 200-dimensionalen Raum vorstellen, dann sind beide Klassen dort gleichmäßig vermischt und Versuche, sie mit Hyperebenen zu trennen, sind nicht genau genug.

Jetzt eine bessere Option - alle Arten von Hedge-Fonds erstellen neue Prädiktoren (Indikatoren, Cluster, einige Formeln, und was auch immer) auf der Grundlage des Preises. Anhand dieser neuen Prädiktoren wird das gleiche Modell wie im ersten Punkt trainiert, aber in diesem Fall wird der Kohl geschnitten.

Im zweiten Fall wird also keine neue Information gebildet und hinzugefügt, sondern es handelt sich um die gleichen Punkte im 200-dimensionalen Raum, die in einen kleineren Raum verschoben wurden. D.h. eine solche eigentümliche Dimensionsreduktion, die Punkte derselben Klasse im Raum näher zueinander bringt. Aber auch die Modelle des maschinellen Lernens nutzen ihre Algorithmen, um die Dimensionalität zu reduzieren und die Klassen näher zusammenzubringen. Worin besteht der Unterschied zwischen diesen beiden Methoden?

Wenn man Punkte im Raum mit verschiedenen Tricks halbautomatisch annähert und dann das Modell trainiert, dann funktioniert es. Aber wenn man dem Modell selbst vertraut, dass es mit dem ursprünglichen Raum funktioniert, dann versagt es? In beiden Fällen handelt es sich um ähnliche Vorgänge.

 
Dr. Trader:

Jetzt eine bessere Option - alle Arten von Hedge-Fonds erstellen neue Prädiktoren (Indikatoren, Cluster, einige Formeln, und alles andere) auf der Grundlage des Preises. Anhand dieser neuen Prädiktoren wird dasselbe Modell wie im ersten Punkt trainiert, aber in diesem Fall wird der Kohl gehackt.

...

Wenn man Punkte im Raum halbautomatisch mit verschiedenen Tricks annähert und dann das Modell unterrichtet, dann funktioniert es. Und wenn Sie darauf vertrauen, dass das Modell mit dem ursprünglichen Raum selbst funktioniert, dann versagt es? In beiden Fällen handelt es sich um einen ähnlichen Vorgang, nicht wahr?

Berücksichtigen Sie nicht, dass große Marktteilnehmer den Preis bewegen?
 
Dr. Trader:

Ich bin etwas verwirrt.

Das hat seinen Preis. Ich nehme die letzten 200 Balken und versuche, auf ihnen ein Modell für zwei Klassen (Kauf/Verkauf) zu trainieren. Ich kann alles trainieren, sogar einen Wald, sogar ein Neuron, aber es wird nutzlos sein, denn wenn wir uns alle Trainingsbeispiele als Punkte im 200-dimensionalen Raum vorstellen, dann sind beide Klassen dort gleichmäßig vermischt und Versuche, sie mit Hyperebenen zu trennen, sind nicht genau genug.

Jetzt eine bessere Option - alle Arten von Hedge-Fonds erstellen neue Prädiktoren (Indikatoren, Cluster, einige Formeln, und was auch immer) auf der Grundlage des Preises. Anhand dieser neuen Prädiktoren wird das gleiche Modell wie im ersten Punkt trainiert, aber in diesem Fall wird der Kohl geschnitten.

Im zweiten Fall wird also keine neue Information gebildet und hinzugefügt, sondern es handelt sich um die gleichen Punkte im 200-dimensionalen Raum, die in einen kleineren Raum verschoben wurden. D.h. eine solche eigentümliche Dimensionsreduktion, die Punkte derselben Klasse im Raum näher zueinander bringt. Aber auch die Modelle des maschinellen Lernens nutzen ihre Algorithmen, um die Dimensionalität zu reduzieren und die Klassen näher zusammenzubringen. Worin besteht der Unterschied zwischen diesen beiden Methoden?

Wenn man Punkte im Raum mit verschiedenen Tricks halbautomatisch annähert und dann das Modell trainiert, dann funktioniert es. Aber wenn man dem Modell selbst vertraut, dass es mit dem ursprünglichen Raum funktioniert, dann versagt es? Schließlich handelt es sich in beiden Fällen um ähnliche Vorgänge.

Warum brauchen wir das Modell grundsätzlich?

Warum brauchen wir in der Funktechnik und auch in der Ökonometrie unterschiedliche Filter? Glättung und so weiter und so fort....

Statistik ist eine sehr heimtückische Wissenschaft - man kann leicht in ein Zahlenspiel verfallen. Bei jedem Schritt.

Wenn Sie eine Zielvariable definiert haben, müssen Sie Prädiktoren mit dieser Zielvariable abgleichen, und zwar nicht irgendwelche Prädiktoren, sondern nur solche, die für diese Zielvariable DEFINITIV relevant sind. Betrachten Sie immer den Prädiktor und versuchen Sie, die Frage zu beantworten: "Welche Eigenschaft, welches Merkmal spiegelt dieser Prädiktor in meiner Zielvariablen wider? Und überhaupt: Was hat der Prädiktor mit den Finanzmärkten zu tun?

Zum Beispiel RSI: scheint überkaufte/überverkaufte Märkte widerzuspiegeln. Bezieht sich eindeutig auf Rückbuchungen. Und so weiter.

Oder erinnern wir uns an Burnakoff (soweit ich weiß, wurde der Mann durch Überschwemmungen aus dem Gelände vertrieben): Inkremente mit recht großen Verzögerungen sind ein Indikator für Periodizität.

Und ganz allgemein gesprochen muss ein allgemeines, verbales Modell des Finanzmarktes formuliert werden.

Hindiman's (Prognosepaket), zum Beispiel. Seiner Meinung nach besteht der Markt aus:

  • drei Arten von Trends
  • drei Arten von Lärm
  • Zyklizität, die eine konstante Periode hat, die mit den Produktionsdaten, wie der landwirtschaftlichen Produktion, übereinstimmt.
Das ist wahrscheinlich nicht der einzige Ansatz. Aber es ist Gewissheit, nicht Lärm

Mit diesem Ansatz werden Sie den Kaffeesatz abhaken, die Ringe des Saturn (siehe Liste der Astrologen)...

Und vergessen Sie auch nicht die Geißel der Finanzdaten, die "Nicht-Stationarität".

Und vergessen Sie auch nicht, dass sich Modelle für Finanzmärkte fast immer als übertrainiert erweisen.

Haben wir alle gewonnen? Räuchern Sie den Bambus...

 
Dr. Trader:

Ich bin etwas verwirrt.

1) Vielleicht, weil Stiftungen so etwas nicht tun?

2) Sie müssen verstehen, was der Markt ist, wenn auch auf Ihre eigene Art und Weise...

3) Sie müssen genau wissen, von wem und warum Sie Geld annehmen sollten, Sie müssen eine eigene Idee haben

4) alle MO und so weiter... das ist nur ein Instrumentarium, um Ihre spezifische Idee zu beschreiben, aber nicht die Idee selbst, und so denken die meisten Leute in dieser Branche, dass die MO von ganz alleine darauf kommen werden

Egal wie pompös es klingt, aber ich habe es geschafft, mehr oder weniger adäquate Marktprognosen zu erstellen, und ich habe einen ziemlich komplizierten Algorithmus, es dauert etwa 6 Minuten, um eine Kerze zu berechnen, aber einige grundlegende Elemente werden in C++ neu geschrieben

Aber das von diesem komplexen Algorithmus berechnete Ergebnis muss mit meinen Augen analysiert werden - es ist nicht automatisch, sondern halbautomatisch, aber in naher Zukunft werde ich versuchen, meine visuelle Analyse durch ein MO zur Mustererkennung zu ersetzen, das übrigens im Gegensatz zur Vorhersage MO sehr gut erkennt.Ich benutzte meine Augen, um jede Ausgabe zu betrachten und zu sagen: "Das halte ich für ein Kaufsignal und das halte ich nicht für ein Signal", ich erstellte das Ziel entsprechend meiner Vision, es war ein Experiment, denn ich habe noch nicht viele Daten mit dem Ziel gemacht... Ich hatte 100 trainierte Proben und 50 Kontrollen und ich habe einen normalen Forest trainiert und was denken Sie? 90% der neuen Proben wurden von Forest erkannt.

 

Guten Tag, Aufgabe:

- Es gibt eine Reihe von X,Y,Z-Werten;

- Nehmen wir eine Scheibe - nach X von 1 bis 1000 auf dem n-ten Y:

-Es gibt einige Punkte mit Minima und Maxima. Wenn wir nach X schneiden, sind alle Werte >1 wichtig.

Auf welche Weise die Berechnung der Art der Gewichte in Bezug auf die Achsen neu erstellt werden soll.

Das heißt, Sie beginnen mit der Messung des Objekts.

Wenn ein Signal auf der Zelle x-55 y-163 empfangen wurde, besteht die Aufgabe darin, den Wert (das Gewicht) des Punktes in Bezug auf die X- und Y-Achse (eventuell entlang der Diagonale) zu bestimmen, um die Position des Punktes auf dem Objekt zu ertasten.

Ich denke, Sie müssen sich mit den wichtigsten statistischen Merkmalen befassen: Streuung, Median, Modus, Asymmetrie.

Im Allgemeinen ist es notwendig, das Objekt in irgendeiner Weise zu messen, jede Einheit in Bezug zueinander, auch dass in den Werten eines Punktes auf dem Objekt das Vorhandensein von anderen Objekten berücksichtigt wird.

Dateien:
eiova.jpg  382 kb
1.jpg  320 kb
 
Top2n:

Gute Zeit, Task:

Kannst du es einfach halten, ich weiß nicht, was du vorhast.
 
SanSanych Fomenko:


Danke, ich verstehe etwas.

Modelle teilen den Prädiktorenraum im Wesentlichen nur optimal in zwei Unterräume auf - Klasse-Kauf und Klasse-Verkauf.
Wenn wir anfangen, neue Prädiktoren nach dem Zufallsprinzip und für eine lange Zeit zu erstellen, können wir dem Modell ein wenig helfen und einen Teil seiner Arbeit selbst übernehmen. Aber es muss nicht zu einer besseren Stabilität und Vorhersagbarkeit führen, es kann dem Modell nur helfen, seine Arbeit in weniger Iterationen zu erledigen, und das ist wirklich nicht so nützlich, wie wir es gerne hätten.

Aber bei den von Ihnen erwähnten Operationen - Rauschbereinigung, Glättung, Trending usw. - geht es nicht nur um die Erstellung modellfreundlicher Prädiktoren. Es handelt sich um die Schaffung von Prädiktoren, die in gewisser Weise die internen Prozesse des Marktes beschreiben.
Ich habe mir verschiedene alte Arbeitsstrategien angeschaut, sie haben immer einige Konstanten - wenn MA, dann 21, wenn RSI, dann 14. All diese Konstanten und die mit ihnen erstellten Indikatoren helfen dem Modell nicht nur, die Daten besser zu klassifizieren, sondern haben auch einige Eigenschaften, die die internen Marktprozesse beschreiben. Außerdem sind verschiedene Konstanten in Formeln für Prädiktoren neue Daten, so dass wir den ursprünglichen Daten neue Informationen hinzufügen.

Es stellt sich heraus, dass neue Prädiktoren, die man gedankenlos generiert, dem Modell nur zu einer besseren Genauigkeit beim Training verhelfen, aber nicht dazu beitragen, die Vorgänge auf dem Markt zu beschreiben, so dass Vorhersagen mit ihnen unzuverlässig sind. Man muss sie also mit viel Nachdenken erzeugen, da stimme ich zu :)

Und es gibt eine interessante neue Eigenschaft von Prädiktoren für mich - die Beschreibung der internen Prozesse der Originaldaten.
Mit anderen Worten: Wenn ich zum Beispiel ein Dutzend Prädiktoren habe, die problemlos Hunderte von Kursbalken rekonstruieren können, dann enthalten sie offensichtlich die notwendigen Markteigenschaften, und das darauf aufbauende Modell sollte besser sein.

 
Top2n:


Wahrscheinlich haben Sie falsch verstanden, was Sie brauchen, aber ich würde einen Radius nehmen, sagen wir 4, und für jeden Punkt den Durchschnittswert in diesem Radius finden.
D.h. wenn X=BC, Y=158, Z=1, dann kann man den Durchschnittswert aller Punkte in diesem Radius R=4 finden. Dies wäre das durchschnittliche Gewicht des Punktes (BC,158,1) und seiner Umgebung. Führen Sie dies für alle Punkte in der Matrix durch, und Sie erhalten eine neue Matrix, wobei die Zahl umso höher ist, je mehr Signale sich in der Nähe der ursprünglichen Matrix befinden.
Dann können wir sie auf eine Achse projizieren (Z-Koordinate verwerfen, alle relevanten X- und Y-Zellen, die eine andere Z-Koordinate haben, zusammenzählen). Dann verwerfen Sie auch Y für sich und summieren alle Zellen durch X.

Dateien:
w5rtduyghjbn.png  388 kb
 
Dr. Trader:


Es stellt sich heraus, dass neue Prädiktoren, die man gedankenlos generiert, dem Modell nur zu einer besseren Genauigkeit beim Training verhelfen, aber nicht dazu beitragen, die Vorgänge auf dem Markt zu beschreiben, so dass die Vorhersagen mit ihnen unzuverlässig sind. Man muss sie also mit viel Nachdenken erzeugen, da stimme ich zu :)


Dennoch ist die Grundlage, auf der man tanzen kann, eine verbale, intuitive Beschreibung des Marktes.

Ich habe mit dem Gedanken gespielt, dass diese intuitive Beschreibung auf den Finanzmärkten von ZZ gegeben wird. Wenn Sie es sich anschauen:

  • Trends sind zu erkennen
  • Sie können Lärm als eine Abweichung von geraden Linien sehen
  • können Sie die Periodizität erkennen

Ich habe den Eindruck, dass alle unsere Probleme in dieser Periodizität liegen, die auf beiden Achsen chaotisch schwankt. Das ist es, worauf wir uns einlassen. Wenn wir zumindest lernen, mit dieser Nicht-Stationarität umzugehen, ist der Rest einfacher.

 
SanSanych Fomenko:

Der Ofen, auf dem man tanzen sollte, ist eine verbale, intuitive Beschreibung des Marktes.

Ich bin schon lange der Meinung, dass diese intuitive Beschreibung auf den Finanzmärkten durch ZZ gegeben ist. Wenn Sie es sich anschauen:

  • Trends sind zu erkennen
  • Sie können Lärm als eine Abweichung von geraden Linien sehen
  • können Sie die Periodizität erkennen

Mir scheint, dass alle unsere Probleme in dieser Periodizität liegen, die auf beiden Achsen chaotisch schwankt. Das ist es, worauf wir uns einlassen. Wenn wir lernen, zumindest irgendwie mit dieser Nicht-Stationarität umzugehen, ist der Rest einfacher.

Urteilen Sie nicht streng und fragen Sie nicht, was ich meine, aber vielleicht kann ein White_Noise Generator helfen. Übrigens, wenn jemand kann, bitte teilen Sie Ihre Erfahrungen mit Fourier_Laplace_Z-Transformationen.