Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 104

 
Dr. Trader:

Vtreat ist besser. Dabei wird statistisch ausgewertet, wie gut/schlecht der Prädiktor die Zielvariable insgesamt vorhersagt, ohne dass ein bestimmtes Vorhersagemodell berücksichtigt wird. Es wird empfohlen, Prädiktoren mit einer maximalen Punktzahl von 1/(Anzahl der Prädiktoren) zu verwenden. Wenn es beispielsweise 200 Prädiktoren gibt, können Sie nur diejenigen auswählen, deren Bewertung unter 1/200 liegt. Es ist möglich, Prädiktoren zu schätzen, und wenn alle Schätzungen über dem Schwellenwert liegen, ist es besser, nach anderen Prädiktoren zu suchen, anstatt erfolglos zu versuchen, das Modell zu lernen und neue Daten vorherzusagen.

Es gibt ein paar Nachteile - das Paket arbeitet mit einzelnen Prädiktoren und berücksichtigt nicht deren Interaktion. Mir gefällt auch nicht, dass vtreat selbst bei völlig identischen oder hoch korrelierten Prädiktoren die sich wiederholenden Prädiktoren nicht entfernt - das ist manchmal sehr ärgerlich.

Eigentlich sind korrelierte Prädiktoren schlecht.

Vielleicht erfordert das Paket eine Vorverarbeitung der Prädiktoren im Allgemeinen, z. B. Skalierung, Zentrierung, Entfernung korrelierter ..... wie in caret

Vielleicht ja?

 
SanSanych Fomenko:

Eigentlich sind korrelierte Prädiktoren schlecht.

Vielleicht braucht das Paket eine Vorverarbeitung der Prädiktoren im Allgemeinen, z. B. Skalierung, Zentrierung, Entfernung korrelierter ..... wie in caret

Vielleicht ja?

Übrigens hat niemand das Data Mining abbestellt. Zu diesem Thema gibt es einen sehr guten Artikel unseres Kollegen hier auf der Website. Leider beteiligt sich der Autor nicht an diesem Thema.
 
Dr. Trader:

Sie haben ein gutes Instrumentarium zur Bewertung von Heuristiken entwickelt, das sich sehen lassen kann. Sie haben bewiesen, dass die von Ihnen entwickelte Modell-(Ausschuss-)Ausbildungsmethode nicht für den Devisenhandel geeignet ist, aber was nun?


Sie haben die Methode noch nicht näher erläutert. Das ist schon deshalb faszinierend, weil 1/3 der besten Modelle in Training und Test weitere 5 Jahre Validierung mit einem Plus durchlaufen. Wenn nur alle undicht wären.

Außerdem gibt es noch einen weiteren Gedanken zu meiner Grafik. Wenn ein Modell so gut ist, dass 95 % seiner Werte bei der Validierung über 0 liegen würden, können Sie das Verhältnis zwischen Validierung und Test vergessen und ein beliebiges trainiertes Modell verwenden.

Das ist der Sinn der Suche nach leistungsfähigen Modellen (mit guten Verallgemeinerungseffekten).

 
Ich lese immer wieder solche Themen (nicht nur in diesem Forum), in denen versucht wird, komplexe Handelstheorien aufzustellen.
Genetische Algorithmen, neuronale Netze, verschlungene Formeln, die nur der Autor versteht, usw.

Und ich stelle immer wieder fest, dass solche Systeme auf dem Markt nicht funktionieren. Die Überwachung geht entweder auf Null oder auf Minus.
Aber im nächsten Thread verdient jemand, indem er einen Expert Advisor auf zwei Zetteln verwendet. Und sie verdienen gutes Geld.

Die Frage ist, ob das alles einen Sinn ergibt.
Denn meiner Erfahrung nach ist das System umso rentabler, je einfacher und klarer es ist.
 
SanSanych Fomenko:

.... Aber erst, nachdem der Lärm herausgefiltert wurde. Und die Tatsache, dass es kein Rauschen gibt, wird durch die ungefähre Invarianz der Leistung des Modells bei verschiedenen Stichproben bestimmt. Es ist nicht der absolute Wert des Vorhersagefehlers, sondern die Tatsache der annähernden Gleichheit der Leistungsindikatoren, die (Gleichheit) als Beweis für das Nichtvorhandensein von Modellübertraining interpretiert werden kann.

Ich möchte Ihnen auch antworten.

Hier geht es um die Gleichheit der Indikatoren. Sie nennen es fehlendes Übertraining. Aber haben Sie schon einmal versucht, die tatsächliche Abwesenheit von Übertraining abzuschätzen, indem Sie Ihr ausgewähltes Modell mit einer weiteren Stichprobe - der verzögerten - getestet haben? Würde die Gleichheit in einem Teil der Daten nicht zu einer Anpassung des Modells an diese Daten führen, und das Modell würde in der Zukunft auslaufen? Ich folge in meiner Forschung einem solchen Muster.

 
Lesen Sie über elasticnet. Es ist eine Methode und ein Paket. Hybride Regularisierung für lineare Modelle. Die Korrelation der Prädiktoren wird dort einfach behandelt.
 
Trainiert jemand seine Modelle getrennt für sich selbst und für andere?
 
Alexey Burnakov:

Ich möchte Ihnen ebenfalls antworten.

Hier geht es um die Gleichheit der Indikatoren. Sie nennen es fehlendes Übertraining. Haben Sie versucht, das tatsächliche Fehlen von Übertraining zu bewerten, indem Sie Ihr ausgewähltes Modell mit einer anderen großen Stichprobe - einer verzögerten Stichprobe - getestet haben? Würde die Gleichheit in einem Teil der Daten nicht zu einer Anpassung des Modells an diese Daten führen, und das Modell würde in der Zukunft auslaufen? Ich folge diesem Muster in meiner Forschung.

Ich habe meinen eigenen Algorithmus, um das Rauschen herauszufiltern.

Wenn das Modell auf ausgewählte Prädiktoren angewendet wird, ist die Leistung dieses Modells bei allen Stichproben in etwa gleich. Meine Gedanken zu Konfidenzintervallen stammen von hier, um die Worte "ungefähr gleich" loszuwerden.

Ich werde mehr als das sagen.

Die Praxis sieht anders aus.

Man muss im Fenster arbeiten. Für die Arbeit im Fenster beginne ich also mit der Auswahl von Prädiktoren aus meiner Vorauswahl von Prädiktoren durch rfe from caret. Für ein bestimmtes Fenster erhalte ich eine Teilmenge, die den Fehler um 5-7 % reduziert. Ich mache das einmal pro Woche auf H1. Diese Teilmenge wird am nächsten Wochenende geändert. Ich lebe seit letztem Jahr auf diese Weise.

Es ist jedoch unerlässlich, den Lärm vorher zu beseitigen. Wenn ich es nicht tue, werde ich Wunder erleben.

 
Ich glaube nicht, dass es sinnvoll ist, zwei Modelle mit entgegengesetzten Ergebnissen zu bauen:
Wer bildet seine Modelle getrennt für Kauf und Verkauf aus?

Ich sage nur 2 Klassen voraus - "kaufen" und "verkaufen", was bedeutet, dass ich immer einen Handel offen haben werde. Ich arbeite mit einem Modell, ich sehe keinen Sinn darin, zwei Modelle zu erstellen, die genau entgegengesetzte Ergebnisse liefern.

Aber ich möchte allmählich zu 3 Klassen wechseln - "kaufen"/"alle schließen und nicht handeln"/"verkaufen". Dies würde die Möglichkeit bieten, mit einer komplexeren Strategie zu handeln. Ich habe es ein paar Mal versucht, aber ich hatte Probleme mit dem Training von Modellen für drei Klassen, insbesondere wenn das Modell regressiv ist und das Ergebnis auf Klassen gerundet wird.
Ich denke, es ist einen Versuch wert, zwei Modelle zu erstellen, bei denen die ursprünglichen 1/0/-1-Klassen in 1/0/0 für das erste Modell(nur kaufen) und 0/0/1 für das zweite Modell (nur verkaufen) umgewandelt werden. Dies würde zu unausgewogenen Klassen in jedem Modell führen (die Anzahl der Beispiele mit einer Klasse ist viel höher als die der anderen), aber ich habe gute Metriken zur Bewertung von Modellen gefunden, die unter solchen Bedingungen funktionieren - F-Score und Kappa. Ich habe noch nichts in dieser Richtung unternommen, aber ein solcher Plan scheint durchaus möglich.

 
SanSanych Fomenko:

Eigentlich sind korrelierte Prädiktoren schlecht.

Vielleicht braucht das Paket eine Vorverarbeitung der Prädiktoren im Allgemeinen, z. B. Skalierung, Zentrierung, Entfernung korrelierter ..... wie in caret

Vielleicht ja?

Nein, vtreat analysiert leider überhaupt keine Prädiktorinteraktionen. Er untersucht sie streng nacheinander. Es ist kein grafisches Paket :(
Ich glaube nicht, dass Skalierung oder Zentrierung einen Unterschied machen würden. Und wenn Sie die Option y-aware aktivieren, skaliert und zentriert das Paket die Daten selbst.

Interessanter Artikel von Vladimir, danke für den Link. Die Analyse der Interaktion zwischen den Prädiktoren ist genau das richtige Thema.