L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 2552

 
Vladimir Perervenko #:

C'è un altro problema nell'uso dei predittori: la loro deriva.

La deriva è la stessa cosa della non stazionarietà come la intendo io?

Cosa succede se addestriamo un modello che prende un prezzo come input e produce una serie stocastica massima che correla con il prezzo? Avete provato qualcosa del genere?

 
Vladimir Perervenko #:

C'è un altro problema con l'uso dei predittori: la loro deriva. E questo problema deve essere identificato e preso in considerazione sia nei test che nel funzionamento. C'è una traduzione dell'articolo in appendice (cercatene altre sul web) e c'è un pacchetto di drifter. Non è l'unico. Ma il punto è che quando si selezionano i predittori bisogna considerare non solo la loro importanza ma anche la loro deriva. Per gli alti drifters li scartiamo o li trasformiamo, per i low drifters dovremmo considerarli (correggerli) durante i test e il funzionamento.

Sono d'accordo, la non stazionarietà (deriva) complica molto le cose. Purtroppo, è molto più complicato che nell'esempio con lo spam. Ma è necessario tenerne conto.

 
elibrarius #:
Il colore di una candela, anche con un errore del 30%, può essere un perdente. Non sappiamo quanto profitto possiamo ricavarne... il colore è di solito ben indovinato nei movimenti lenti del prezzo (overnight), e 1 candela diurna forte indovinata può valere 10 piccole candele notturne. Penso che indovinare il colore dei candelieri sia di nuovo un'uscita casuale (a causa delle dimensioni casuali).
Ecco perché ho fatto la classificazione con TP, SL. Se sono uguali, allora il 52% dei trade di successo sono già redditizi. Se TP=2*SL. Allora >33% delle operazioni di successo saranno redditizie. Il meglio che ho avuto è il 52-53% di trade di successo con TP=SL in 2 anni. Ma in generale, sto pensando di usare la regressione con TP/SL fisso. Per essere più precisi, in qualche modo fare una classificazione sulla regressione.

Sì, questo mi ricorda che un obiettivo del genere non mi sembra molto efficace perché non tiene conto della volatilità.

Ho ragione nel supporre che una posizione viene aperta praticamente ogni barra per preparare un campione?

 
SanSanych Fomenko #:

In linea di principio, non ci sono, e non possono esserci, metodi matematici che fanno caramelle dalla spazzatura. O c'è un insieme di predittori che predice l'insegnante, o non c'è.

E i modelli non giocano praticamente nessun ruolo, né le convalide incrociate e altre perversioni ad alta intensità di calcolo.


PS.

A proposito, l'"importanza" dei predittori nel modello non ha niente a che vedere con la capacità di prevedere l'insegnante.

Lei si sbaglia di grosso: non esistono metodi perfetti di costruzione di modelli in grado di selezionare da soli i predittori "giusti". O di cui non sono a conoscenza.

Forse non si può descrivere perfettamente il mercato, ma applicando il campionamento e l'analisi dei predittori si può migliorare significativamente il risultato del modello, anche se con una sbirciatina ai dati per i quali avviene l'allenamento.

La questione è come selezionare efficacemente i predittori e controllare i loro cambiamenti anomali quando si applica il modello.

 
Vladimir Perervenko #:

Ci sono tre opzioni per gestire i campioni di rumore: cancellare, ri-partizionare (correggere il markup) e separare i campioni di rumore in una classe separata. Nella mia esperienza, circa il 25% del campione è "rumore". Il miglioramento della qualità è di circa il 5%, dipende dai modelli e dalla preparazione dei dati. Lo applico di tanto in tanto.

C'è un altro problema quando si usano i predittori: la loro deriva. E questo problema deve essere identificato e preso in considerazione sia nei test che nel funzionamento. Nell'appendice c'è una traduzione dell'articolo (cercatene altri in rete) e c'è un pacchetto di drifter. Non è l'unico. Ma il punto è che quando si selezionano i predittori bisogna considerare non solo la loro importanza ma anche la loro deriva. Per le alte derive scartare o trasformare, per le basse derive tenerne conto (fare delle correzioni) durante i test e il lavoro.

Buona fortuna

Da quanto ho capito, gli autori dell'articolo propongono di analizzare precisamente la distribuzione dei valori dei predittori sulla finestra, e se è molto diversa, allora segnalare un'anomalia. Se ho capito bene, l'esempio prende una finestra di 1000 indicatori - questa è una grande finestra, ma apparentemente statisticamente difendibile. Domanda, quale metrica si usa per confrontare le due distribuzioni per rilevare un cambiamento significativo in essa?

Ulteriori riflessioni, il cambiamento stesso può essere predetto da qualche altro predittore, diciamo che abbiamo un cambiamento di tendenza globale nelle settimane causato da un cambiamento nel tasso di interesse - in tutti i campioni tali cambiamenti sono pochi - e il modello può semplicemente non raccogliere questi predittori, ma se combiniamo i due predittori, il cambiamento "anomalo" si presta all'interpretazione. Così arrivo all'idea che la deriva in sé non è una ragione per buttare via un predittore, ma una ragione per cercare un fattore che la spieghi - cioè per cercare di trovare un predittore correlato e combinarli, creando un nuovo predittore.

A mia volta dirò brevemente del mio metodo - rompo i predittori in 'quanti' (segmenti) e stimo la risposta binaria dei quanti attraverso il loro potere predittivo. Facendo una sezione trasversale di tali stime nel corso della storia, riesco a scegliere buoni insiemi di quanti che possono servire come predittori individuali, e possono anche essere usati per selezionare predittori di base. Questo approccio migliora anche i risultati. Corrispondentemente, la stima della stabilità del comportamento dei quanti, e la loro selezione, sui campioni di controllo migliora essenzialmente i risultati dell'addestramento del modello in CatBoost, e qui mi chiedo se è ammissibile usarlo o è già un autoinganno.

 
Aleksey Vyazmikin #:

Sì, questo mi ricorda che non credo che il targeting sia molto efficace perché non tiene conto della volatilità.

Sono d'accordo. Di notte l'affare si blocca per diverse ore, e durante il giorno può finire in 5 minuti. Ecco perché sto pensando a come collegare un modello di regressione alla classificazione. Non posso prevedere le cifre 0,1,2 "con una figurina". Abbiamo bisogno di qualcosa di più intelligente.

Ho capito bene che si apre una posizione praticamente ogni barra per preparare un campione?

Sì, se c'è una classe di acquisto/vendita prevista. C'è anche una classe - aspetta.

 
elibrario #:

Sono d'accordo. Un affare resterà appeso per ore durante la notte, ma durante il giorno può essere finito in 5 minuti. Ecco perché mi sto chiedendo come collegare un modello di regressione alla classificazione. Non posso prevedere il numero 0,1,2 "con una figurina". Abbiamo bisogno di qualcosa di più intelligente.

Regressione logistica
 
SanSanych Fomenko #:

Non sono stato sul forum per alcuni anni ed è ancora lì, come dice la canzone: "Come eri, così sei, aquila della steppa, cosacco focoso...".

La statistica inizia con un assioma che, essendo un assioma, non viene discusso:


"Entrano i rifiuti, escono i rifiuti".


In linea di principio, non ci sono e non possono esserci metodi matematici che possono fare un dolce dalla spazzatura. O c'è un insieme di predittori che PREVENGONO l'insegnante, o non c'è.

E i modelli non giocano praticamente nessun ruolo, né le convalide incrociate e altre perversioni ad alta intensità di calcolo.


PS.

A proposito, l'"importanza" dei predittori in un modello non ha niente a che vedere con la capacità di prevedere un insegnante.

C'è sempre chi, come il compagno Sukhov, pensa: "Meglio torturare, naturalmente")

Sono d'accordo che trovare i giusti predittori è più importante del modello specifico. Ed è meglio costruirli basandosi principalmente su uno studio del dominio del soggetto, piuttosto che affidarsi solo alla potenza degli algoritmi MO (e costruendo i predittori in modo non interpretabile dalle barre).

Non meno importante dei predittori è la funzione di perdita, che deve essere ben adattata alla materia e al problema da risolvere.

 
Non so nemmeno se lavorare con AMO può essere chiamato una ricerca di modelli, piuttosto è una semplice approssimazione/adattamento alla funzione obiettivo.
AMO può inventarsi qualcosa di intelligente?
 
mytarmailS #:
AMO può inventarsi qualcosa di intelligente?

No, è un database di storia memorizzata. Cos'è una foglia in un albero? 10-20-100-1000 esempi/corde del passato, in qualche modo selezionati come simili. Scheda risposta: per la classificazione - % della classe più frequente o solo della classe più frequente, per la regressione - media aritmetica di tutti i valori.

Inoltre, se foresta, fa una media del valore di tutti gli alberi della foresta. Se boosting, somma i valori di tutti gli alberi (ogni albero successivo corregge la somma di tutti gli alberi precedenti per ottenere la risposta più precisa).