Optimierung und Out-of-Sample-Tests. - Seite 5
Sie verpassen Handelsmöglichkeiten:
- Freie Handelsapplikationen
- Über 8.000 Signale zum Kopieren
- Wirtschaftsnachrichten für die Lage an den Finanzmärkte
Registrierung
Einloggen
Sie stimmen der Website-Richtlinie und den Nutzungsbedingungen zu.
Wenn Sie kein Benutzerkonto haben, registrieren Sie sich
Bei der Rentabilität ist das nicht so einfach. Wenn wir die Mengen A, B, C in NS nehmen, dann wird die Rentabilität der Strategie nach dem normalen Training wie folgt sein: Sie ist maximal im Abschnitt A, viel weniger im Abschnitt B und viel schlechter im Abschnitt C. Und so ist es auch bei uns: tolle Ergebnisse in der Geschichte, aber außerhalb davon - Verluste... Das Problem besteht darin, eine Strategie zu wählen, bei der der C-Bereich mit ziemlicher Sicherheit eine schlechtere Rentabilität aufweist, aber dennoch mit dem A-Bereich vergleichbar ist.
Ich habe nicht die Absicht, hier für sie zu werben. Aber die Prinzipien des Testens, die ich dabei gelernt habe, sind recht vernünftig. Und hier können wir uns im Gegensatz zur Metaquote-Anpassung zumindest auf die Generalisierungsfähigkeit verlassen (die Haupteigenschaft, aufgrund derer ein Expert Advisor auch in Zukunft profitabel bleiben kann; unserem Optimierer fehlt diese Eigenschaft völlig).
Ich wollte darauf hinweisen, dass Sie mit dem echten MetaTrader-Tester die gleichen Ergebnisse erzielen können, wenn Sie ein Sample+unsample-Set optimieren, wie wenn Sie ein Sample mit anschließendem Out-of-sample-Test optimieren. Im Tester können Sie über die Schaltfläche "Experteneigenschaften" und dann die Registerkarten "Testen" und "Optimierung" Verluste beliebiger Länge und Tiefe loswerden.
Es hängt alles von der Aufgabenstellung ab. Wenn wir den Grad der Gleichmäßigkeit der Gewinnverteilung über die Testzeit vernachlässigen, sind die Standardfähigkeiten des MT-Testers wirklich ausreichend und der Zeitaufwand ist vergleichbar. Jeder hat seine eigenen Erfahrungen und Ansichten. Der Prozess kann in der Tat als Anpassung bezeichnet werden, aber ich denke, der Begriff Annäherung wäre zutreffender. Nicht jede Annäherung kann in die Zukunft extrapoliert werden, und das Kriterium der Gleichmäßigkeit des Gewinns erlaubt es nur, wissentlich ungeeignete Varianten für die Extrapolation abzulehnen, IMHO natürlich.
Gemeint ist die Anwendbarkeit des Testers auf ein Optimierungsproblem an einer Stichprobe mit anschließender Prüfung außerhalb der Stichprobe. Die gleichen Ergebnisse, aber man muss es von der anderen Seite angehen - um die Anzahl der aufeinanderfolgenden Verluste und die Werte der Verluste zu reduzieren. Das ist alles.
Candid, so einfach ist es mit der Rentabilität nicht. Wenn wir die gleichen Mengen A, B, C in NS nehmen, dann wird die Rentabilität der Strategie nach normalem Training wie folgt aussehen: sie ist maximal im Abschnitt A, viel weniger im Abschnitt B und viel schlechter im Abschnitt C. Und so ist es auch bei uns: tolle Ergebnisse in der Geschichte, aber außerhalb davon - Verluste... Das Problem besteht darin, eine Strategie zu finden, die mit ziemlicher Sicherheit eine schlechtere Rentabilität im Bereich C aufweist, aber dennoch mit dem Bereich A vergleichbar ist.
Ich denke, die Analogie mit der Annäherung gibt die Antwort: Wir wissen, dass je besser die Annäherung ist, desto weniger ist sie für die Extrapolation geeignet (natürlich lehnen wir den Fall des analytischen Funktionsgraphen mit seiner Schätzung ab). Eine gute Lösung ist also höchstwahrscheinlich nicht diejenige, die mehr Gewinn bei A bringt, sondern diejenige, die einen gleichmäßigeren Gewinn bei A+B bringt. Nun beginnen wir mit der Extrapolation, und auch hier steigt der Fehler natürlich mit zunehmendem Prognosehorizont.
Ich bin ganz und gar nicht einverstanden, Vita. Andernfalls gäbe es in neuronalen Netzen keine Aufteilung aller Daten in drei Teile, die sich grundlegend voneinander unterscheiden: eine wirkliche Optimierung findet nur auf dem ersten Teil statt; der zweite Teil dient nur dazu, den Zeitpunkt des Trainingsabschlusses zu bestimmen, und der dritte Teil dient nur für einzelne Tests. Das heißt, die eigentliche Anprobe findet nur beim ersten Mal statt, und beim dritten Mal ist es egal, wie es ausgeht... Und die Entscheidung - "Occams Rasiermesser" oder Verlust des Vertrauens in das System - bleibt dem Schöpfer des Systems überlassen.
Grob gesagt ist die Optimierung auf A+B+C überhaupt nicht dasselbe wie die oben beschriebene Verarbeitung.
Zur Klarstellung, nur für den Fall.
A - Satz von Parametern, die bei der Optimierung einer Probe ermittelt wurden
B - Satz von Parametern, die nach der Prüfung von A außerhalb der Probe ermittelt wurden.
Das Verfahren zur Ermittlung von B ist das Verfahren der On-Sample-Optimierung, gefolgt von einem Out-of-Sample-Test. In diesem Prozess sollen Sie die Kurvenanpassung loswerden?
C ist der Parametersatz, der durch die Optimierung der Grundgesamtheit von Stichprobe + Out-of-Sample erhalten wird.
Ich behaupte, dass C in Bezug auf die Kurvenanpassung genauso gut ist wie B.
C-B= die Menge der Parameter, die entweder in der Stichprobe oder außerhalb der Stichprobe unrentabel, aber in der Grundgesamtheit rentabel sind.
Das Verfahren zur Ermittlung von B kann mit einem Standardprüfgerät durchgeführt werden.
Candid, ich will damit nicht sagen, dass eine gute Lösung den maximalen Gewinn bei A bringt. Der Optimierer macht das besser: Er gibt ein absolutes Maximum für A, aber nichts für Out-of-Sample. Nach dem NS-Lernmodell ist der wahrscheinliche Kandidat für eine gute Lösung der maximale Gewinn auf B mit einem bereits akzeptablen, aber nicht maximalen Gewinn auf A.
Zu Ihrem Kommentar: Ich stimme fast zu, aber nicht A+B, sondern A+B+C.
2 Vita: Ich dachte, ich hätte mich auf der vorherigen Seite klar ausgedrückt. ... Die Mengen A, B, C überschneiden sich nicht. Zum Beispiel:
A - vom 1. Januar 2004 bis zum 31. Dezember 2005,
B - 1. Januar 2006 bis 31. Oktober 2006, und
C - vom 1. November 2006 bis heute.
Das übliche Verhältnis der Datenlängen in NS ist A:B:C = 60:20:20.
Zu Ihrem Kommentar: Ich stimme fast zu, aber nicht A+B, sondern A+B+C.
Ich habe nicht die Absicht, hier für sie zu werben. Aber die Prinzipien des Testens, die ich dabei gelernt habe, sind durchaus sinnvoll. Und hier können wir uns im Gegensatz zur Metaquote-Anpassung zumindest auf die Generalisierungsfähigkeit verlassen (die Haupteigenschaft, aufgrund derer ein Expert Advisor auch in Zukunft profitabel bleiben kann; unserem Optimierer fehlt diese Eigenschaft völlig).
Oh, richtig! Die Fähigkeit zur Verallgemeinerung sollte eine Eigenschaft des Expert Advisors und nicht des Optimierers sein. Das Gesetz muss im Sachverständigenratgeber niedergelegt werden; die Idee des Sachverständigenrats muss so umfassend und systematisch wie möglich sein. Aber ich würde eine solche Behauptung nicht gegenüber dem Optimierer aufstellen. Ich halte es für absurd, genauso wie es absurd ist, mit einem verallgemeinerungsfähigen Optimierer zu versuchen, absolut jeden Expert Advisor jederzeit und in Zukunft auf das Niveau der Profitabilität zu heben. Es ist nicht die Schuld eines Metaquote-Optimierers, dass es kein Gesetz, keine gewinnbringende Idee und keine so genannte Generalisierungsfähigkeit gibt, die er optimieren kann. Das Einzige, was übrig bleibt, ist die Kurve anzupassen.
Candid, ich will damit nicht sagen, dass eine gute Lösung den maximalen Gewinn bei A bringt. Der Optimierer macht das besser: Er gibt ein absolutes Maximum für A, aber nichts für Out-of-Sample. Nach dem NS-Lernmodell ist der wahrscheinliche Kandidat für eine gute Lösung der maximale Gewinn auf B mit einem bereits akzeptablen, aber nicht maximalen Gewinn auf A.
Zu Ihrem Kommentar: Ich stimme fast zu, nur nicht A+B, sondern A+B+C.
2 Vita: Ich dachte, ich hätte mich auf der vorherigen Seite klar ausgedrückt. ... Die Mengen A, B, C überschneiden sich nicht. Zum Beispiel:
A - vom 1. Januar 2004 bis zum 31. Dezember 2005,
B - 1. Januar 2006 bis 31. Oktober 2006, und
C - vom 1. November 2006 bis heute.
Das übliche Verhältnis der Datenlängen in NS ist A:B:C = 60:20:20.
Gott sei mit ihnen, A, B und C. In meinen Beiträgen haben sie eine andere Bedeutung. Sie sind keine Zeitleisten. Es handelt sich dabei um die Parametersätze, die die Optimierung ergibt. Ach, kommen Sie.