L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 3175

 
СанСаныч Фоменко grafico di ottimizzazione sotto forma di "superficie bidimensionale".

Può essere utilizzato per monitorare il sovrallenamento.

Se in questa superficie è possibile identificare un pezzo in cui una cella è circondata da altre celle approssimativamente dello stesso colore, allora questa cella centrale darà i parametri della TC NON sovrallenata. Questa posizione corrisponde al fatto che l'optimum trovato è un plateau.

Se invece la "superficie" assomiglia a una pelle di leopardo, la ST è senza speranza, perché il tester ha trovato un gran numero di massimi, il che indica una probabilità estremamente bassa di centrarli in futuro.

Non è possibile.

La natura del modello (superficie) indica solo le caratteristiche della ST secondo un particolare criterio di ottimizzazione. Se prendiamo un altro criterio, il modello sarà diverso. L'incomprensione di questo aspetto porta a pensare erroneamente che l'ottimizzazione (l'apprendimento) non debba essere condotta verso il massimo globale, al contrario. È la scelta di un criterio di ottimizzazione adeguato alla strategia la chiave per un apprendimento corretto.

Tutto questo è stato discusso molte volte in precedenza.

 
fxsaber #:
E' così, ho fatto una domanda e poi sono arrivati i professionisti con le loro risposte))))))

Come una divorziata su un giovane stupido informatico))) almeno reagisci con i bastoni ora))))
 
fxsaber #:

Per favore, chiarite qual è il significato di questi intervalli?

In questo momento sto immaginando questo schema su di essi.

  1. Il frantumatore di numeri funziona a treno, filtrando per test.
  2. Il frantumatore di numeri viene spento completamente. E alcuni dei migliori risultati vengono presi all'esame.


Il primo punto sembra strano. Una sorta di "forward test" nel tester. È meglio della semplice ottimizzazione senza filtro, ma su un intervallo combinato: treno+test?

In medicina, un gruppo di 60 pazienti approssimativamente ugualmente malati viene diviso a caso in tre gruppi, il primo gruppo viene trattato con un nuovo farmaco, il secondo con uno vecchio, il terzo gruppo non viene trattato, gli viene dato un placebo. Se il primo gruppo risulta migliore del secondo e del terzo, il farmaco viene riconosciuto come valido e l'esperimento viene ripetuto su un numero elevato di volte, cioè monitorato, e poi rilasciato in libera circolazione.

Sembra logico che la probabilità di risultati falsi positivi e negativi diminuisca, ma per me non è una panacea contro gli errori.

E non capisco o riconosco la valutazione categorica dei risultati di studi rumorosi all'indirizzo )))).

 
Andrey Dik #:

No, non si può.

Il carattere del modello (superficie) indica solo le caratteristiche del veicolo secondo un particolare criterio di ottimizzazione. Se adottiamo un altro criterio, il modello sarà diverso. L'incomprensione di questo aspetto porta all'idea errata che l'ottimizzazione (formazione) non debba essere condotta verso il massimo globale, al contrario. È la scelta di un criterio di ottimizzazione adeguato alla strategia la chiave per una formazione corretta.

Tutto questo è stato discusso molte volte in passato.

E ognuno è rimasto della propria opinione. A me sembra che lei sia l'unico.

Bisogna cercare gli altipiani, non i singoli picchi, che a causa della casualità del processo non appariranno mai più.

 
Valeriy Yastremskiy #:

In medicina, un gruppo di 60 pazienti approssimativamente ugualmente malati viene diviso a caso in tre gruppi, il primo viene trattato con un nuovo farmaco, il secondo con uno vecchio, il terzo non viene trattato, gli viene dato un placebo. Se il primo gruppo risulta migliore del secondo e del terzo, il farmaco viene riconosciuto come valido e l'esperimento viene ripetuto su un numero elevato di volte, cioè monitorato, e poi rilasciato in libera circolazione.

Sembra logico che la probabilità di risultati falsi positivi e negativi diminuisca, ma per me non è una panacea contro gli errori.

E non capisco o riconosco la valutazione categorica dei risultati di studi rumorosi all'indirizzo )))).

La suddivisione del file in diverse sezioni e, nell'esempio da lei fornito, l'inclusione casuale dei pazienti nel gruppo che corrisponde al mio campione funzionano solo se i predittori sono rilevanti per la variabile target. In medicina, la relazione tra un farmaco (predittore) e una malattia si ottiene comprendendo la fisiologia del processo di immissione del farmaco nel corpo. Dobbiamo disporre di altri metodi per determinare la relazione tra il predittore e la variabile target: tutto questo è preelaborazione, che viene fatta PRIMA di addestrare il modello e questa fase è obbligatoria.

Allo stesso modo, l'architettura di test è obbligatoria e deve essere eseguita PRIMA dell'overtraining del modello.

 
СанСаныч Фоменко #:

E ognuno ha la sua opinione. Mi sembra che lei sia unico nel suo genere.

Bisogna cercare gli altipiani, non i singoli picchi, che a causa della casualità del processo non si ripresenteranno mai più.

Non mi importa molto di essere l'unico numero, questo dimostra solo che ci sono davvero poche persone che capiscono la problematica))))

Se i plateau o i picchi dipendono dalla superficie del criterio di ottimizzazione, il criterio! Perché pensi che usino spesso il criterio dell'errore in MO? Perché la superficie è monotona)) cioè cercano sempre di scegliere un criterio che sia il più monotono possibile e che abbia un unico criterio globale, se possibile.

Quindi non dobbiamo cercare un plateau, ma un criterio con un'ipersuperficie il più possibile monotona.

A proposito, il criterio dell'errore ha esattamente un globale con il valore 0. E il fatto che sia necessario interrompere l'allenamento senza raggiungere il globale è un'altra questione e non ha nulla a che fare con la superficie del criterio.

 
Quanto mi fanno pena quei poveretti con la mente immatura che leggono queste sciocchezze e pensano che qui le persone intelligenti discutano di qualcosa di intelligente....
 
Maxim Dmitrievsky #:
Si potrebbe concludere che lo fate da anni. Oppure si potrebbe fare una ricerca casuale, come si sta facendo ora.

Ho appena scritto che la ricerca casuale è un approccio improduttivo.

Uso la randomizzazione con un elemento di casualità nella selezione dei predittori quando verifico il potenziale di campionamento, e la uso da anni in CatBoost.

La randomizzazione non giustifica l'aspettativa che il modello continui a funzionare, perché le risposte dei predittori sono state randomizzate.

 
Aleksey Nikolayev #:

IMHO, sembra un pi-hacking, di cui Maxim ha scritto recentemente. A meno che non vengano utilizzati test statistici per determinare la significatività dei quanti assegnati, si tratta sicuramente di lui.

Una volta ho fatto un semplice esempio quando l'ora migliore della settimana per il trading è stata selezionata su SB (quando ovviamente non esiste). C'erano solo 5*24=120 varianti, ma era sufficiente che tale ora fosse sempre trovata (l'intervallo di tempo era di mezzo anno, credo). Anche in questo caso esiste una "stabilità di campionamento".

Quali test di significatività suggerisce? Non sto dicendo che l'algoritmo per la selezione dei segmenti quantici sia perfetto, anzi - c'è molta spazzatura e voglio migliorarlo.

Non capisco, in base a quali indizi hai deciso che si tratta di una sorta di "pi-hacking" - e quale parte esattamente, la selezione dei segmenti quantistici o la selezione delle stringhe, che sono ben schermate e senza allenamento dai segmenti quantistici (cioè i grafi che ho costruito)? Sì, il metodo è un po' diverso dall'approccio comune alla costruzione di modelli di legno, ma non molto, il concetto rimane.

Per quanto riguarda l'esempio su SB, ci sono due considerazioni da fare:

1. Se il processo è sconosciuto e ci sono solo dati, allora si può ipotizzare che ci sia un'ora migliore per fare trading. Oppure c'è una considerazione per rifiutare questa ipotesi?

2. Se queste osservazioni sono state distribuite in modo relativamente uniforme nel tempo (storia degli eventi), allora si tratta più di un errore del generatore di numeri casuali.

Nell'addestramento, utilizzo campioni su un ampio periodo, di solito almeno 10 anni.

 
СанСаныч Фоменко #:

Dividere il file in diverse sezioni e, nell'esempio che avete fatto, includere casualmente i pazienti in un gruppo, che corrisponde al mio campione, funziona solo se i predittori sono rilevanti per la variabile target, cioè se non è spazzatura. In medicina, la relazione tra un farmaco (predittore) e una malattia si ottiene comprendendo la fisiologia del processo di introduzione del farmaco nell'organismo. Dobbiamo disporre di altri metodi per determinare la relazione tra il predittore e la variabile target - tutto questo è preelaborazione, che viene fatta PRIMA di addestrare il modello e questa fase è obbligatoria.

Allo stesso modo, l'architettura di test è obbligatoria e deve essere eseguita PRIMA dell'overtraining del modello.

Purtroppo no. La fagocitosi è visibile al microscopio, ma per la scienza medica, dove il microscopio non aiuta, le ipotesi sono confermate da esperimenti appropriati).

E tra l'altro, i pazienti non sanno in quale gruppo si trovano.))))

In generale, condizioni simili, senza capire le relazioni di causa ed effetto, cercano queste relazioni.