Un grande libro su test e ottimizzazione - pagina 4

 
Ho cercato molto a lungo e insistentemente una giustificazione della "stabilità" dell'ottimizzazione per parametri di EA (vicinanza dei quadrati verdi adiacenti per criterio di ottimizzazione a quello ottimale) di cui si parla tanto qui. L'unica giustificazione sostanziale che ho trovato finora è la WFA (analisi in avanti): se una strategia ottimale si trova nella zona di un estremo cavo del criterio di ottimizzazione, allora nella WFA i parametri ottimizzati in diverse zone non saranno troppo lontani da questo massimo, cioè non daranno parametri molto diversi da quelli ottimizzati per il commercio reale.

Nessuno degli altri argomenti su questo forum, e anche nel libro di Pardo, mi ha convinto della fattibilità di questa "sostenibilità". VelesFX, sono d'accordo con te su "Si vince in redditività, si perde in sostenibilità". Ci sono molti, molti pensieri; li stiamo mettendo lentamente in un articolo...
 
VelesFX:
xeon ha scritto (a):
Se niente impedisce, presto finirò la libreria che permetterà di implementare "l'analisi in avanti" in pieno.

Come funzionerà la libreria per favore?

Ho un'idea di ricerca di coerenza tramite FT, ecco come:

Cioè prendiamo tre finestre di test (TO) su ognuna di esse eseguiamo l'ottimizzazione, salviamo i risultati dell'ottimizzazione su ogni TO, poi scegliamo su una delle TO l'ordine di redditività decrescente. Prendiamo il numero di corsa, troviamo corse con lo stesso numero in due TO adiacenti e se la redditività di queste due corse ci soddisfa
consideriamo che la corsa con questo numero di FT è passata.

Se si spende FT in questo modo è possibile ottenere risultati molto interessanti secondo me: In tutti i casi le corse più redditizie su un TO, su altri mostreranno risultati molto modesti o addirittura negativi. Ma alcune corse non particolarmente redditizie possono rivelarsi molto consistenti e ogni volta mostreranno approssimativamente lo stesso profitto.

A quanto pare, c'è un modello di "si vince in redditività, si perde in coerenza", e viceversa. Cosa ne pensate?

La libreria è progettata come uno strumento che permette di testare e ottimizzare in due modalità di base:

1)Modalità automatica:

Conduzione di test e/o ottimizzazione tramite macro programmi predefiniti.

2) Modalità manuale

Esecuzione di test e/o ottimizzazione tramite routine macro scritte dall'utente. Quindi puoi facilmente implementare il tuo algoritmo di test.

Il processo di lavoro con la libreria è semplificato al massimo, per esempio in modalità automatica è necessario impostare i parametri per il test/ottimizzazione come di solito nel tester, ma invece del pulsante di avvio lancia lo script e seleziona il programma macro appropriato e questo è tutto. (al contrario dell'auto-ottimizzatore)

Ecco la versione breve.

 
xeon писал (а):


La libreria è progettata come uno strumento che permette di testare e ottimizzare in due modi principali:


1)Modalità automatica:


Condurre test e/o ottimizzazioni secondo macro programmi predefiniti.


2) Modalità manuale


Esecuzione di test e/o ottimizzazione tramite routine macro scritte dall'utente. Quindi puoi facilmente implementare il tuo algoritmo di test.


Il processo di lavoro con la libreria è semplificato al massimo, per esempio in modalità automatica è necessario impostare i parametri per il test/ottimizzazione come di solito nel tester, ma invece del pulsante di avvio lancia lo script e seleziona il programma macro appropriato e questo è tutto. (al contrario dell'auto-ottimizzatore)


Ecco la versione breve.

Forte, proprio quello che stavo sognando. Stavamo per scriverne uno anche noi.
 
Non ci sono garanzie nel forex, né backtest, né forward, né tantomeno test sul conto reale. Forex confuterà qualsiasi risultato di test, e qualsiasi strategia, ed è per questo che è Forex. Ricorda l'esperienza del lancio di una moneta: non importa come analizzi le esperienze passate, esse non ti aiutano ad anticipare il futuro. Naturalmente questo riguarda i tassi di cambio, che è quello su cui ruota tutto, mentre le azioni e i futures hanno un meccanismo diverso. Ecco perché tutta la teanalisi occidentale (leggi: americana) si basa su di loro.
 
Valmars, ho un'idea. Intenzionalmente, per divertimento, scriverò una lista completa di ciò che Pardo offre qui in questo thread. Sarà molto impressionante (ho finito oggi la mia lettura preliminare di questo libro). Che questa lista serva a ricordare ai creatori di graal quanto sottovalutino l'attuale livello di comprensione in questo campo. Eppure, questa lista è, per l'intenzione del libro, almeno una certa, non del tutto il 100%, relativa assicurazione che la strategia ha un ragionevole diritto di esistere. L'elenco sarà qui a breve.

Sì, non saremo in grado di prevedere il futuro. Ma forse non è questo il nostro obiettivo? Il nostro obiettivo è quello di costruire una strategia che funzioni con profitto sulla maggior varietà di dati possibile. Verificare questo è il compito dei test completi. Approssimativamente, dovremmo essere in grado di mettere un "quadro" sui dati di mercato dando i punti di entrata/uscita. E ciò che questo quadro farà in futuro non ci riguarda...
 
Mathemat:
Valmars, ho un'idea. Intenzionalmente, per divertimento, scriverò una lista completa di ciò che Pardo offre qui in questo thread. Sarà molto impressionante (ho finito oggi la mia lettura preliminare di questo libro). Che questa lista serva a ricordare ai creatori di graal quanto sottovalutino l'attuale livello di comprensione in questo campo. Eppure, questa lista è, per l'intenzione del libro, almeno una certa, non del tutto il 100%, relativa assicurazione che la strategia ha un ragionevole diritto di esistere. L'elenco sarà qui a breve.

Sì, non saremo in grado di prevedere il futuro. Ma forse non è questo il nostro obiettivo? Il nostro obiettivo è quello di costruire una strategia che funzioni con profitto sulla maggior varietà di dati possibile. Verificare questo è il compito dei test completi. Approssimativamente, dovremmo essere in grado di mettere un "quadro" sui dati di mercato dando i punti di entrata/uscita. E ciò che questo quadro farà in futuro non ci riguarda...

Non pensi che sia meglio non lasciarsi trasportare dai test in avanti: ????? :(( perché si deve eseguire il sistema ancora una volta, aumentiamo solo N - il numero di accordi, che riduce l'errore standard.
Se si vuole aumentare il numero di scambi dobbiamo ridurre l'errore standard.
Il modo in cui ho suggerito di fare FT 6 messaggi sopra è simile alla fusione di tre TO in uno grande e all'ottimizzazione stupida su questo grande TO? :))) anche se naturalmente non è assolutamente tutto così, ma quasi.

E cosa succede se si considera, il lavoro delle tattiche di trading configurato in condizioni di trading reale come un evento casuale, per esempio un lancio della stessa moneta o dadi. Cioè il profitto del sistema per l'i-esimo mese di lavoro è un valore casuale e non c'è niente da fare con questa casualità, probabilmente possiamo solo cambiare i suoi parametri (impostazione, ottimizzazione).
Correggetemi se sbaglio!!!
 
Ad essere onesti, quello che hai evidenziato in grassetto non l'ho capito. Per favore, spiega,VelesFX. Vedo il valore della WFA proprio nella "diversificazione" del sistema ottimizzato su diversi comportamenti di mercato, e proprio sui dati su cui non è stata eseguita l'ottimizzazione. E ciò che è interessante, WFA ripete le azioni di un trader quando entra nel mercato reale con questo sistema. Cosa lo rende così brutto?

Un muto consolidamento di tutte le sezioni di ottimizzazione in una sola non darà un effetto walk-forward.
 
Mathemat:
Sì, non possiamo prevedere il futuro. Ma forse non è questo il nostro obiettivo? Il nostro obiettivo è quello di costruire una strategia che funzioni con profitto su quanti più dati possibili. Verificare questo è il compito di un test completo. Approssimativamente, dovremmo essere in grado di mettere un "quadro" sui dati di mercato dando i punti di entrata/uscita. Quello che questo quadro farà in futuro non ci riguarda...

Io, invece, penso che il nostro obiettivo sia diverso: in termini pratici, non mi interessa quanto profitto (o perdita) ha fatto la mia strategia un anno o due o cinque anni fa. Ciò che è importante per me è che darebbe un profitto palpabile ora, due o sei mesi in futuro, e poi potrebbe iniziare a perdere. Rinuncerò e ne troverò un altro, se posso, che sta perdendo soldi ora e che inizierà a lavorare tra sei mesi. Naturalmente, perderò prima di poter determinare che la strategia ha smesso di funzionare (dando profitti, o che in altre parole il mercato è cambiato), ma si spera non tutto.

È probabilmente possibile trovare una strategia che sarà redditizia per 7 anni, ma non sarà ottimale per il momento attuale, darà risultati peggiori della mia attuale (in passato - prugna) strategia. Penso che dobbiamo concentrarci sullo stato e il tempo di cambiamento del mercato globale (i fondamentali dell'economia mondiale), e tali cambiamenti si verificano entro ~ 2 anni, a mio parere, questo è il "tempo di vita" di una strategia redditizia.

Cioè, l'approccio pratico differisce dalla creazione teorica di una "strategia universale". Inoltre, credo che sia impossibile creare una tale strategia per una coppia di valute, per esempio. Penso che si possa creare un "Sistema Esperto" che analizzi le condizioni del mercato, scelga strumenti promettenti per le operazioni, calcoli i rischi nelle transazioni secondo le probabilità degli eventi, trovi i punti migliori (ottimali in termini di rischi) per entrare in una posizione quando viene presa la decisione sullo strumento, copra le posizioni con altri strumenti, esegua un money management multivaluta, cioè simuli il lavoro di un esperto, o anche di un'intera società di investimento (fondo) o banca. E penso che tali sistemi sono stati creati ed esistono all'interno del sistema finanziario internazionale con le sue possibilità finanziarie illimitate. Ma questo va oltre le possibilità di MQL e di voi e me.

 
Mathemat:
Onestamente, quello che hai evidenziato in grassetto non l'ho capito. Per favore, spiega, VelesFX. Vedo il valore della WFA proprio nella "diversificazione" del sistema ottimizzato su diversi comportamenti di mercato e proprio sui dati su cui non è stata eseguita l'ottimizzazione. E ciò che è interessante, WFA ripete le azioni di un trader quando entra nel mercato reale con questo sistema. Cosa lo rende così brutto?

Una combinazione stupida di tutte le sezioni di ottimizzazione in una sola non avrà alcun effetto walk-forward.
WFA - NIENTE MALE!!!!! :))))

E questa frase non riesco a capirla del tutto: " Vedo il valore della WFA nella "diversificazione" del sistema ottimizzato su diversi comportamenti di mercato ed esattamente su quei dati, sui quali l'ottimizzazione non è stata condotta.

Lasciatemi spiegare l'essenza del FT usando il mio metodo:
1. Se abbiamo tre TO conduciamo l'ottimizzazione sul mezzo (nella finestra temporale #2), TO #1 - questa finestra è situata nel "passato relativo al TO #2", TO3 - rispettivamente nel futuro.
Quindi, se abbiamo bisogno di raggiungere determinati parametri del sistema (rendimento, fattore di profitto, max drawdown ... ). Poi ...

Prendiamo tre finestre di test (TO) su ognuna delle quali eseguiamo l'ottimizzazione, salviamo i risultati dell'ottimizzazione su ogni TO, poi scegliamo le corse su una delle TO in ordine decrescente di redditività. Prendiamo il numero di una corsa, troviamo corse con lo stesso numero in due servizi di manutenzione vicini e se la redditività di queste due corse ci soddisfa
consideriamo che la corsa con questo numero è passata.
Puoi prendere le corse non in ordine decrescente di redditività, ma in ordine decrescente di qualsiasi criterio composito di qualità (per esempio K = Redditività - Drawdown).
Come risultato di questa ricerca troveremo un sistema "stabile sulla storia", cioè il sistema che disegna qualcosa come questo ad ogni mantenimento:




E di conseguenza disegnerà una linea con la stessa pendenza al test (TO1+To2+To3) - quindi questo sistema sarà il più "stabile", possiamo anche assumere che sarà il più stabile, perché è stato testato in un contesto di mercato vario e mostra una crescita stabile del deposito ad ogni mantenimento. Beh, questo non è FT, questo è un modo sofisticato (perverso) di ottimizzazione :))), e FT come tentativo di "diversificare" il sistema ottimizzato da diversi comportamenti di mercato è un caso speciale di questo metodo.

Quindi WFA è solo un modo per evitare l'overfitting !!!!

E, cosa interessante, WFA ripete le azioni del trader quando va a fare un vero commercio con questo sistema. Cosa lo rende così brutto?
No - numero di accordi su TO di ottimizzazione, Nf - numero di accordi su TO di test in avanti.
Forse è solo l'aumento di N = No+Nf - dimensione del campione, aumento dell'affidabilità della previsione. Maggiore è N, maggiore è la probabilità P che il sistema mostri una redditività simile a quella precedente nella prossima finestra di test.

 
La WFA non permette di evitare di armeggiare.