Bayes'sche Regression - Hat jemand einen EA mit diesem Algorithmus erstellt? - Seite 51
Sie verpassen Handelsmöglichkeiten:
- Freie Handelsapplikationen
- Über 8.000 Signale zum Kopieren
- Wirtschaftsnachrichten für die Lage an den Finanzmärkte
Registrierung
Einloggen
Sie stimmen der Website-Richtlinie und den Nutzungsbedingungen zu.
Wenn Sie kein Benutzerkonto haben, registrieren Sie sich
Und wie bestimmt man die "beste" Kombination?
Das grundlegende Problem ist die Liste der Prädiktoren. Nachdem wir die Liste der Prädiktoren begründet haben, können wir zu den übrigen übergehen.
Ich danke Ihnen. Ich neige auch dazu, weitere Prädiktoren hinzuzufügen.
Halten Sie die Anzahl der von Ihnen verwendeten Prädiktoren für unzureichend?
Ich weiß es nicht genau.
Ich weiß es nicht mit Sicherheit.
Ich habe es bereits geschrieben, ich sage es noch einmal.
Ich habe die Arbeiten zur Auswahl der Prädiktoren mehrmals durchgeführt, auch auf Anfrage. Die Ergebnisse sind nachstehend aufgeführt
Also.
Nehmen wir eine Reihe von Prädiktoren, nicht weniger als 50 und besser als hundert.
Alle von mir behandelten Prädiktoren (d. h. ich erhebe keinen Anspruch auf Verallgemeinerung) lassen sich in zwei Teile unterteilen:
Ich schreibe "Beziehung" sehr vorsichtig und verwende ganz bewusst keine Begriffe.
Beispiel für Prädiktoren:
Bitte beachten Sie, dass ich die Zielvariable angebe. Bei der anderen Zielvariablen kann es auch umgekehrt sein
Das Problem bei der Aufnahme dieser beiden Gruppen von Prädiktoren in den ursprünglichen Satz von Prädiktoren ist, dass die Standardinstrumente zur Bestimmung der WICHTIGKEIT nicht funktionieren. Daher sind einige Werkzeuge erforderlich, die ich entwickelt habe und verwende, die eine grobe Sichtung von Rauschprädiktoren ermöglichen. Es ist zu beachten, dass es hier keine Eindeutigkeit gibt. Der Algorithmus quantifiziert separat für gültige und nominale Prädiktoren. Weniger als 2 (irgendein relativer Wert) ist mit Sicherheit Lärm. Zwischen 2 und 3: kann verwendet werden, aber besser nicht....
Das Problem mit dem Rauschen besteht darin, dass Prädiktoren, die für das Rauschen relevant sind, die Prädiktoren, die für sie nicht relevant sind, überlagern. Zum Beispiel bauen die Algorithmen randomforest, ada und svm das Modell aus irgendeinem Grund mehr auf diese Rauschprädiktoren auf.
Nachdem wir die verrauschten Prädiktoren herausgefiltert haben - in meinen Datensätzen waren es etwa 80 %(!) -, nehmen wir den Rest der Liste der Prädiktoren und wenden darauf die Werkzeuge von R an, um die Bedeutung der Variablen zu bestimmen. Die tatsächliche Anzahl der Prädiktoren, die zum Trainieren des Modells verwendet werden, beträgt etwa die Hälfte der NICHT-Rauschprädiktoren, d. h. etwa 10 % der ursprünglichen Menge.
Ich bestimme die Bedeutung der Prädiktoren im Fenster. Bei der Bewegung des Fensters ändert sich die Liste der Prädiktoren aus den grundlegenden 20 % laufend. D.h. es werden 12-15 Prädiktoren für die Erstellung des Modells verwendet, die jedoch unterschiedlich sind, je nachdem wie sich das Fenster nach dem Zitat bewegt.
Was ist der Grund dafür?
Nun, der Punkt ist, dass die Bereinigung der Prädiktoren von Rauschfaktoren zur Erstellung von Modellen führt, die NICHT neu trainiert werden.
In Zahlen.
Bei einem vollständigen Satz von Prädiktoren ist es möglich, Modelle mit einem Vorhersagefehler von 3%-5% zu erstellen! Und alle Algorithmen, die die Stichprobe in Teile unterteilen, die so genannten "Out-of-sample" - OOV, bestätigen dieses Ergebnis. Das sieht man sehr gut bei raatle, der das ursprüngliche Muster immer in Teile zerlegt und mit den Ergebnissen sehr zufrieden ist.
Aber.
Wenn die Ausgangsstichprobe Rauschprädiktoren enthält, dann können wir, wenn wir eine echte "Out-of-Sample"-Stichprobe nehmen, d.h. zum Beispiel die Trainingsstichprobe vom 01.06.2015 bis zum 01.01.2016, und dann mit der Stichprobe nach dem 1. Januar rechnen, leicht einen Fehler von 50% und 70% anstelle von 3%-5% erhalten! Je weiter der 1. Januar zurückliegt, desto schlechter ist das Ergebnis.
MODELL WIRD NEU TRAINIERT
Wenn ich den ursprünglichen Satz von Rauschprädiktoren bereinige, sind die Ergebnisse wie folgt und die gleichen für randomforest, ada SVM sowie mehrere andere Modelle - d.h. das Modell löste nichts in meinen Fällen, die Ergebnisse sind: Vorhersagefehler ist etwa 30% auf jedem Satz. Durch die Anwendung der R-Tools für die Wichtigkeit von Prädiktoren können wir den Fehler weiter auf etwa 25 % reduzieren. Für die Zielvariable ZZ konnte dieses Ergebnis nicht verbessert werden.
Ich habe es bereits geschrieben, ich sage es noch einmal.
Ich habe die Auswahl der Prädiktoren schon mehrmals vorgenommen, auch im Auftrag. Die Ergebnisse sind nachstehend aufgeführt
Also.
Nehmen wir eine Reihe von Prädiktoren, nicht weniger als 50, und vorzugsweise mehr als hundert.
Alle von mir behandelten Prädiktoren (d. h. ich erhebe keinen Anspruch auf Verallgemeinerung) lassen sich in zwei Teile unterteilen:
Ich schreibe "Beziehung" sehr vorsichtig und verwende ganz bewusst keine Begriffe.
Beispiel für Prädiktoren:
Bitte beachten Sie, dass ich die Zielvariable angebe. Bei der anderen Zielvariablen kann es auch umgekehrt sein
Das Problem bei der Aufnahme dieser beiden Gruppen von Prädiktoren in den ursprünglichen Satz von Prädiktoren ist, dass die Standardinstrumente zur Bestimmung der WICHTIGKEIT nicht funktionieren. Daher sind einige Werkzeuge erforderlich, die ich entwickelt habe und verwende, die eine grobe Sichtung von Rauschprädiktoren ermöglichen. Es ist zu beachten, dass es hier keine Eindeutigkeit gibt. Der Algorithmus quantifiziert separat für gültige und nominale Prädiktoren. Weniger als 2 (irgendein relativer Wert) ist mit Sicherheit Lärm. Zwischen 2 und 3: kann verwendet werden, aber besser nicht....
Das Problem mit dem Rauschen besteht darin, dass Prädiktoren, die für das Rauschen relevant sind, die Prädiktoren, die für sie nicht relevant sind, überlagern. Zum Beispiel bauen die Algorithmen randomforest, ada und svm das Modell aus irgendeinem Grund mehr auf diese Rauschprädiktoren auf.
Nachdem wir die verrauschten Prädiktoren herausgefiltert haben - in meinen Datensätzen waren es etwa 80 %(!) -, nehmen wir den Rest der Liste der Prädiktoren und wenden darauf die Werkzeuge von R an, um die Bedeutung der Variablen zu bestimmen. Die tatsächliche Anzahl der Prädiktoren, die zum Trainieren des Modells verwendet werden, beträgt etwa die Hälfte der NICHT-Rauschprädiktoren, d. h. etwa 10 % der ursprünglichen Menge.
Ich bestimme die Bedeutung der Prädiktoren im Fenster. Bei der Bewegung des Fensters ändert sich die Liste der Prädiktoren aus den grundlegenden 20 % laufend. D.h. es werden 12-15 Prädiktoren für die Erstellung des Modells verwendet, die jedoch unterschiedlich sind, je nachdem, wie sich das Fenster nach dem Zitat bewegt.
Was ist der Grund dafür?
Nun, der Punkt ist, dass die Bereinigung der Prädiktoren von Rauschfaktoren zur Erstellung von Modellen führt, die NICHT neu trainiert werden.
In Zahlen.
Bei einem vollständigen Satz von Prädiktoren ist es möglich, Modelle mit einem Vorhersagefehler von 3%-5% zu erstellen! Und alle Algorithmen, die die Stichprobe in Teile unterteilen, die so genannten "Out-of-sample" - OOV, bestätigen dieses Ergebnis. Das sieht man sehr gut bei raatle, der das ursprüngliche Muster immer in Teile zerlegt und mit den Ergebnissen sehr zufrieden ist.
Aber.
Wenn die Ausgangsstichprobe Rauschprädiktoren enthält, dann können wir, wenn wir eine echte "Out-of-Sample"-Stichprobe nehmen, d.h. zum Beispiel die Trainingsstichprobe vom 01.06.2015 bis zum 01.01.2016, und dann mit der Stichprobe nach dem 1. Januar rechnen, leicht einen Fehler von 50% und 70% anstelle von 3%-5% erhalten! Je weiter der 1. Januar zurückliegt, desto schlechter ist das Ergebnis.
MODELL WIRD NEU TRAINIERT
Wenn ich den ursprünglichen Satz von Rauschprädiktoren bereinige, sind die Ergebnisse wie folgt und das gleiche für randomforest, ada SVM sowie mehrere andere Modelle - d.h. das Modell hat in meinen Fällen nichts gelöst, die Ergebnisse sind wie folgt: Vorhersagefehler ist etwa 30% auf jedem Satz. Durch die Anwendung der R-Tools für die Wichtigkeit von Prädiktoren können wir den Fehler weiter auf etwa 25 % reduzieren. Für die Zielvariable ZZ konnte dieses Ergebnis nicht verbessert werden.
Ich danke Ihnen.
Ich verstehe, was Sie denken. Aus all dem oben Gesagten sah ich eine Möglichkeit, die Wichtigkeit von Prädiktoren für mehrere Teile der Trainingsstichprobe zu berechnen, dann die Listen zu vergleichen und Duplikate auszuwählen.
Zur manuellen Auswahl kann ich nichts sagen, ich ziehe es vor, die Maschine sofort zu benutzen.
SZZ: Ich werde versuchen, meine selbstentwickelte Methode anzuwenden, die auf der Funktion der gegenseitigen Information basiert, zusätzlich zur Wichtigkeit der Variablen aus dem Entscheidungswald. Ich werde Ihnen die Ergebnisse später zeigen.
Das Problem mit dem Rauschen ist, dass die Prädiktoren, die sich auf das Rauschen beziehen, die Prädiktoren, die sich nicht auf das Rauschen beziehen, verstopfen. Zum Beispiel bauen die Algorithmen randomforest, ada und svm das Modell aus irgendeinem Grund mehr auf diese Rauschprädiktoren auf.