Frage zu Backward vs. Forward Testergebnissen

Neuer Kommentar
 

Ich bin noch relativ neu und habe eine Frage zu Forward und Backward Testergebnissen.

Ich teste meine EA´s mit 1/4 Testzeit Forward und 1 Monat bis Jahr Backward.
Als Optimierung schneller genetischer Algorithmus, Profit Faktor max.

Mit unterschiedlich getesten EA´s bekomme ich schonmal folgende Abweichungen:

1) Der Backward Test zeigt viele Ergebnisse mit Profitfaktoren > 1, der Forward Test nicht einen > 1
2) Der Forward test zeigt gute Profitfaktor Ergebnisse > 1 beim gleichen Backward Test sind diese < 1
3) Backward und Forward Test sind für ein Setting gut (Profit Faktor > 1), aber das Gesamtergebnis ist beim Forward schlecht.
   Also z.B. der Erholungsfaktor in dem Setting und der Drawdown.  

Ich denke mal, das ist vermutlich kein ungewöhnliches Verhalten, ich weiss nur nicht wie ich es
interpretieren soll, wie ich meinen Code verbessern kann.

Welche Ursachen können vorliegen wenn der Backward Test deutlich besser ist als der Forward Test?
Welche grundsätzlichen Überprüfungen wären im Code sinnvoll?

Müssen überhaupt Optimierungen vorgenommen werden oder könnte man z.B. sagen, Backward Test ist
besser, teste im Demo erstmal real?

Oder Forward Test ist besser teste real(über Demoaccount)?

Vielen Dank für Eure Rückmeldungen :-)

 

Also ich habe zu dem Ganzen folgende Einstellung:

  1. Lange Optimierungen machen eher keinen Sinn (früher war alles anders)
  2. Nach einer Parameteroptimierung schau ich mir das Handelsverhalten (visueller Modus) in ausgewählten Situationen an:
    a) plötzliche starke Trendumkehr nach einem längeren Trend,
    b) lange Seitwärtsbewegung,
    c) größere Spikes oder Brüche, die meist mit Kursaussetzern einhergehen, also der Broker stellt keine Kurse für diesen Zeitabschnitt.
  3. Forwardtest mach ich nicht, ich nehme lieber einen anderen Markt also zB. Optim, in  EURUSD Test mit Gold.

 
busybear:

Welche Ursachen können vorliegen wenn der Backward Test deutlich besser ist als der Forward Test?
Welche grundsätzlichen Überprüfungen wären im Code sinnvoll?

Müssen überhaupt Optimierungen vorgenommen werden oder könnte man z.B. sagen, Backward Test ist
besser, teste im Demo erstmal real?

Oder Forward Test ist besser teste real(über Demoaccount)?


Das sind schwierige Fragen, da sie sehr allgemein sind. Viele EA's haben gute und schlechte Monate, weshalb es ganz natürlich ist, dass auch der Forward-Phase nach einer guten Backward-Phase schlecht ausfallen kann. Die Frage ist daher eher der Rahmen, ab welchem man sich ernsthafte Gedanken machen soll, ob das verwendete System generell überdacht werden müsste.

Und spätestens dann sollte man auch an den Code. Was man da überprüfen sollte ist ganz einfach: Die Setups, welche oft zu schlechten Gesamtergebnissen führen bzw. die sehr unzuverlässig sind und daher hohe Schwankungen in den Ergebnissen führen.

Um herauszufinden welche das sind, lohnt es sich die Setups einzeln auswählbar zu machen und dann langsame und vollständige Optimierungen zu gebrauchen.

 
Benjamin Fotteler #:

Das sind schwierige Fragen, da sie sehr allgemein sind. Viele EA's haben gute und schlechte Monate, weshalb es ganz natürlich ist, dass auch der Forward-Phase nach einer guten Backward-Phase schlecht ausfallen kann. Die Frage ist daher eher der Rahmen, ab welchem man sich ernsthafte Gedanken machen soll, ob das verwendete System generell überdacht werden müsste.

Und spätestens dann sollte man auch an den Code. Was man da überprüfen sollte ist ganz einfach: Die Setups, welche oft zu schlechten Gesamtergebnissen führen bzw. die sehr unzuverlässig sind und daher hohe Schwankungen in den Ergebnissen führen.

Um herauszufinden welche das sind, lohnt es sich die Setups einzeln auswählbar zu machen und dann langsame und vollständige Optimierungen zu gebrauchen.

Carl Schreiber #:

Also ich habe zu dem Ganzen folgende Einstellung:

  1. Lange Optimierungen machen eher keinen Sinn (früher war alles anders)
  2. Nach einer Parameteroptimierung schau ich mir das Handelsverhalten (visueller Modus) in ausgewählten Situationen an:
    a) plötzliche starke Trendumkehr nach einem längeren Trend,
    b) lange Seitwärtsbewegung,
    c) größere Spikes oder Brüche, die meist mit Kursaussetzern einhergehen, also der Broker stellt keine Kurse für diesen Zeitabschnitt.
  3. Forwardtest mach ich nicht, ich nehme lieber einen anderen Markt also zB. Optim, in  EURUSD Test mit Gold.

@Carl Schreiber: Vielen Dank für Dein Feeback! Es wird mir helfen, ich werde jetzt mal mit 1 monatigen Tests loslegen und auf mehreren Märkten. Bei mir sind es Indizes(Dax, SP500). Interessant wär für mich noch die Fragen, wie lange Du Deine Eas beobachtest bevor Du neu "parametrierst" und was für Dich das ausschlaggebene Kriterium ist, das Dir sagt, jetzt muss neu optimiert werden. Also z.B. Drawdown ist inzwischen X % größer als in den Tests :-)

@Benjamin Fotteler: Auch Dir vielen Dank! Ja, dann werd ich mal umgejehrt gehen, bisher hab ich immer geschaut einen bestehenden EA noch besser zu machen. Aber klar, es macht Sinn sich die schlechten Settings zu picken und dann zu schauen woran es liegt. Zu "Die Frage ist daher eher der Rahmen, ab welchem man sich ernsthafte Gedanken machen soll, ob das verwendete System generell überdacht werden müsste" würde mich interessieren, was für Dich ein typischer ausschalggebener Rahmen ist. Z.B. im Zeitraum x ist der EA nicht profitabel oder hat X % Drawdown..

Was mich auch interessieren würde, wieviele unterschiedliche Eas habt ihr so am laufen, bei wieviel Einlage und wieviele Märkten? :-) Vielen Dank 

 
busybear #:

@Carl Schreiber: Vielen Dank für Dein Feeback! Es wird mir helfen, ich werde jetzt mal mit 1 monatigen Tests loslegen und auf mehreren Märkten. Bei mir sind es Indizes(Dax, SP500). Interessant wär für mich noch die Fragen, wie lange Du Deine Eas beobachtest bevor Du neu "parametrierst" und was für Dich das ausschlaggebene Kriterium ist, das Dir sagt, jetzt muss neu optimiert werden. Also z.B. Drawdown ist inzwischen X % größer als in den Tests :-)

Es gibt imho keine absoluten Werte. Ich habe eher Erwartungen, wie der EA in welchen Situationen verhalten soll. Geht das gegen meine Pläne, läuft was schief ...

Der DD ist ein wichtiger Wert, wenn ich zB. 50% verliere muss ich nachher wieder 100% Gewinn manchen um den Saldo wieder zu erreichen.

 
Der Rahmen hängt natürlich von dem EA, seiner Funktionsweise, der durchschnittlichen Gewinnwahrscheinlichkeit pro Trade und anderen Faktoren ab. Auch daran, ob man diversifiziert, d.h. mit verringertem Handelsvolumen mehrere Symbole/Instrumente handelt. Denn durch richtige Diversifizierung verringert man die Varianz und stabilisiert man das Ergebnis ... Ich persönlich meine, dass ein Drawdown von 20% eine rote Linie darstellt und dass man pro Trade nur in seltensten Fällen mehr als 2% riskieren sollte. Aber ich habe diese Werte noch nie mathematisch durchgerechnet, da dazu gewisse Faktoren nötig sind, die sich von EA zu EA unterscheiden.
 
Carl Schreiber #:

Es gibt imho keine absoluten Werte. Ich habe eher Erwartungen, wie der EA in welchen Situationen verhalten soll. Geht das gegen meine Pläne, läuft was schief ...

Der DD ist ein wichtiger Wert, wenn ich zB. 50% verliere muss ich nachher wieder 100% Gewinn manchen um den Saldo wieder zu erreichen.

Benjamin Fotteler #:
Der Rahmen hängt natürlich von dem EA, seiner Funktionsweise, der durchschnittlichen Gewinnwahrscheinlichkeit pro Trade und anderen Faktoren ab. Auch daran, ob man diversifiziert, d.h. mit verringertem Handelsvolumen mehrere Symbole/Instrumente handelt. Denn durch richtige Diversifizierung verringert man die Varianz und stabilisiert man das Ergebnis ... Ich persönlich meine, dass ein Drawdown von 20% eine rote Linie darstellt und dass man pro Trade nur in seltensten Fällen mehr als 2% riskieren sollte. Aber ich habe diese Werte noch nie mathematisch durchgerechnet, da dazu gewisse Faktoren nötig sind, die sich von EA zu EA unterscheiden.


Vielen Dank für Euer Feedback! Gibt es beim Metatrader eigentlich Möglichkeiten die Performance des EA automatisch zu tracken? Gerne nach Magic Number :-) Vielen Dank

 

??

Das wäre doch nur notwendig wenn mehrere EAs gleichzeitig laufen: Kontohistorie => Rechtsklick => Bericht.

 
Carl Schreiber #:

??

Das wäre doch nur notwendig wenn mehrere EAs gleichzeitig laufen: Kontohistorie => Rechtsklick => Bericht.

Ja, ich hab auch mehrere EAs auf einem Demokonto laufen. Ich möchte mehrere gleichzeitig testen. Ich habe bisher noch keinen Weg gefunden wo die Ergebnisse pro Magicnumber zusammengefasst werden.
 
Nein gibts nicht. Kannst nur exportieren und in excel selber machen oder du schreibst einen ea
 
Benjamin Fotteler #:

Das sind schwierige Fragen, da sie sehr allgemein sind. Viele EA's haben gute und schlechte Monate, weshalb es ganz natürlich ist, dass auch der Forward-Phase nach einer guten Backward-Phase schlecht ausfallen kann. Die Frage ist daher eher der Rahmen, ab welchem man sich ernsthafte Gedanken machen soll, ob das verwendete System generell überdacht werden müsste.

Und spätestens dann sollte man auch an den Code. Was man da überprüfen sollte ist ganz einfach: Die Setups, welche oft zu schlechten Gesamtergebnissen führen bzw. die sehr unzuverlässig sind und daher hohe Schwankungen in den Ergebnissen führen.

Um herauszufinden welche das sind, lohnt es sich die Setups einzeln auswählbar zu machen und dann langsame und vollständige Optimierungen zu gebrauchen.

je mehr setups, desto größer die Gefahr des Curve-fittings. Meine Erfahrung zeigt, je weniger indikatoren, parameter usw. desto Markttauglicher das System.
12
Neuer Kommentar