L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 179

 
Dr.Trader:


Stai parlando dell'analisi dei componenti PCA o di qualcos'altro? Non riesco a ricordare tutti gli esempi che ho postato qui :)

Se si parla di PCA, non si può comunque fare un dolce dalla spazzatura. Dovete avere predittori abbastanza buoni mischiati a quelli cattivi, poi la PCA può setacciare i cattivi dai buoni.

Lei sottovaluta i risultati positivi della sua esperienza. Non ci sono graal. Ma c'è uno strumento completo per combattere mali come il sovrallenamento.

Il primo passo è quello di eliminare la vera spazzatura, che è ciò che ha un impatto decisivo sul sovrallenamento. E in questo primo passo, la PCA è molto utile. Dopo questo passo, i predittori rilevanti per la variabile obiettivo rimarranno, e tutta la fantasia scomparirà. Ma non sopravvalutate l'importanza di questo passo - è il primo passo. Dopo di che, sono necessari i passi successivi:

  • rfe prima di ogni allenamento
  • riqualificazione del modello ad ogni nuovo bar (idealmente) o nei fine settimana.

E i tuoi esperimenti con rfa si riveleranno estremamente utili.

PS.

Notate che ho deliberatamente taciuto sul lavoro con i modelli stessi.

 
SanSanych Fomenko:

Lei sottovaluta i risultati positivi della sua esperienza. Non ci sono graal. Esiste uno strumento completo per combattere la piaga del sovrallenamento.

Il primo passo è quello di eliminare la vera spazzatura - che è ciò che ha un impatto decisivo sulla riqualificazione. E in questo primo passo, la PCA è molto utile. Dopo questo passo, i predittori rilevanti per la variabile obiettivo rimarranno, e tutta la fantasia scomparirà. Ma non sopravvalutate l'importanza di questo passo - è il primo passo. Dopo di che, sono necessari i passi successivi:

  • rfe prima di ogni allenamento
  • riqualificazione del modello ad ogni nuovo bar (idealmente) o nei fine settimana.

E i tuoi esperimenti con rfa si riveleranno estremamente utili.

PS.

Notate che ho deliberatamente taciuto sul lavoro con i modelli stessi.

Può spiegare meglio la PCA? Come si fa a eliminare la spazzatura in questo modo?
 
SanSanych Fomenko:

Lei sottovaluta i risultati positivi della sua esperienza. Non ci sono graal. Esiste uno strumento completo per combattere la piaga del sovrallenamento.

Il primo passo è quello di eliminare la vera spazzatura - che è ciò che ha un impatto decisivo sulla riqualificazione. E in questo primo passo, la PCA è molto utile. Dopo questo passo, i predittori rilevanti per la variabile obiettivo rimarranno, e tutta la fantasia scomparirà. Ma non sopravvalutate l'importanza di questo passo - è il primo passo. Dopo di che, sono necessari i passi successivi:

  • rfe prima di ogni allenamento
  • riqualificazione del modello ad ogni nuovo bar (idealmente) o nei fine settimana.

E i tuoi esperimenti con rfa si riveleranno estremamente utili.

PS.

Notate che ho deliberatamente taciuto sul lavoro con i modelli stessi.

Riadattamento del modello su ogni bar.... Questo significa che una singola barra ha un impatto su tutto il modello? Alla luce dell'importanza di ogni barra nell'apprendimento, la tua lotta senza fine con la riqualificazione diventa comprensibile...
 
Andrey Dik:
Riadattamento del modello su ogni bar.... Significa che una singola barra influenza l'intero modello? A causa dell'importanza di ogni barra nella formazione, rende chiara la tua lotta senza fine con la riqualificazione...

Il modello che sto cercando di mettere a punto ora - sì, sto imparando di più ad ogni nuovo bar. Ad essere onesti, non vedo un grande impatto... A volte per decine di barre di fila, il modello rimane lo stesso di prima (il meccanismo di protezione contro l'overfitting del modello). Ma se qualche banchiere dice qualcosa di sbagliato nelle notizie, e il prezzo va da qualche parte sbagliata - c'è la speranza che il modello raggiunga tutti i cambiamenti recenti entro un paio di barre. Non ha molto senso adattare il modello ad ogni barra, ma se c'è un modo per reagire rapidamente ai cambiamenti - è un peccato non usarlo.

Mihail Marchukajtes:
Può spiegare meglio la PCA? Come si fa ad eliminare i rifiuti in questo modo?

Un centinaio di pagine fa, Sannych ha postato un link all'articolo "Principal component analysis" in questo topic. L'ho usato per fare del codice e l'ho inserito anche qui. Bisogna leggere molte pagine per trovarlo.

Anche a me è piaciuto questo articolo, ma non ha né R né MQL, contiene solo excel. Ma spiega meglio il principio di funzionamento. h ttp://www.chemometrics.ru/materials/textbooks/pca.htm

 
Mihail Marchukajtes:
Posso parlare di più della PCA? Come si fa a setacciare la spazzatura in questo modo?

Vedere come funziona il metodo dei componenti principali.

Ma c'è anche un interessante commento di darkAlert che spiega perché questo metodo non funziona in alcune applicazioni. Cito:

"Hai dimenticato di menzionare che la PCA (come altri metodi classici di riduzione dei dati multivariati) cerca solo dipendenze lineari..."

Quando viene applicato al trading, il metodo non è adatto a causa del fatto che le proprietà predittive sotto forma di valori di indici e oscilli alimentati agli input sono intrinsecamente non lineari.

Как работает метод главных компонент (PCA) на простом примере
Как работает метод главных компонент (PCA) на простом примере
  • habrahabr.ru
В этой статье я бы хотел рассказать о том, как именно работает метод анализа главных компонент (PCA – principal component analysis) с точки зрения интуиции, стоящей за ее математическим аппаратом. Максимально просто, но подробно. Математика вообще очень красивая и изящная наука, но порой ее красота скрывается за кучей слоев абстракции...
 

^GSPC proviene da http://finance.yahoo.com, penso che sia affidabile

UNRATE, PAYEMS, GDP sono presi da FRED (probabilmente https://fred.stlouisfed.org/), questa è la parte difficile, grazie per l'avvertimento.

Preferirei usare l'eurusd orario più tardi.

*qualcuno ha strofinato qualcosa, era una risposta al fatto che tutti quegli indici governativi a volte ricalcolano e cambiano i loro valori storici.

 
Vizard_:
Si può, ma non lo dirò))
La significatività è calcolata dal peso della despersione. Questo è tutto. Se usare o no,
se la riduzione dimensionale è necessaria, se non si finisce per buttare il bambino con l'acqua,
applicare a abissalmente o pre-elaborazione... un'altra domanda...

Non sto facendo la pre-elaborazione in un modo molto più semplice con alcuni dati cancellati che non credo sia buono..... Perché è necessario alimentare ogni segnale a TC senza cancellare. C'è un'unica idea, che è quella di portare la variabile di uscita all'ingresso. Tale, qualche elemento di adattamento :-) MA

se si tiene conto che la variabile di uscita è controllata dalla quantità di profitto di TC, allora cambiando questo parametro, in ogni caso, è possibile sapere che qualità di dati di input abbiamo. HM.... Lasciatemi spiegare. C'è una filosofia di selezione della variabile di uscita Un semplice esempio: abbiamo due segnali:

Il guadagno del blu di 1 pip. Nelle mie condizioni di setup dice di segnare con uno i segnali con più di 50 pips. Questo blu sarà segnato come 0, anche se il mercato tende a salire e questo segnale blu potrebbe essere segnato come 1. Regolando il parametro di profitto, includiamo ed escludiamo così quelli aggiuntivi nel nostro set di uscita per ottenere la massima capacità generalizzante..... Questo può essere fatto in un range di meno 100 pips di spread. Con il metodo della forza bruta ci vuole un tempo dannatamente lungo, anche in incrementi di 10 dovrebbe funzionare almeno dieci volte...... Comunque, la questione rimane aperta.

 
Mihail Marchukajtes:
Puoi approfondire il concetto di PCA? Come si fa a setacciare la spazzatura in questo modo?

Non solo sono troppo pigro per trovare un link per te in questo thread, ma non ne ho nemmeno bisogno.

Se volete essere così gentili da sfogliare questo thread. L'APC non vaglia la spazzatura in questo modo - c'è una sfumatura. Quindi ha senso cercarlo.

 
Dr.Trader:

Il modello che sto cercando di mettere in pratica ora - lo sto facendo, sì, sto imparando di più ad ogni nuovo bar. Ad essere onesti, non vedo un grande impatto... A volte per decine di barre di fila, il modello rimane lo stesso di prima (il meccanismo di protezione contro l'overfitting del modello). Ma se qualche banchiere dice qualcosa di sbagliato nelle notizie, e il prezzo va da qualche parte sbagliata - c'è la speranza che il modello raggiunga tutti i cambiamenti recenti entro un paio di barre. Non ha senso adattare il modello ad ogni barra, ma se c'è un modo per reagire rapidamente ai cambiamenti, usiamolo.


Ho cercato ripetutamente di spingere un'idea che per me è ovvia: non c'è uno strumento che possa essere utilizzato senza riqualificare il modello con un piccolo errore.

Si deve andare per il verso giusto: ripulito l'evidente spazzatura, scalato, forse Voh-Soh, selezionato i predittori, scelto un modello..... e poi si scopre che tutto deve essere buttato via perché l'obiettivo è solo un totale bidone....

Nella mia pratica c'è letteralmente il 3-5% di errore in meno ad ogni passo. E se inizialmente il modello dava un errore superiore al 40%, e veniva riqualificato, riuscivo a spostare il modello non riqualificato al 20%. Circa sei mesi di lavoro.

 

OK, c'è qualche esperto di MQL qui???? Visto che siamo tutti qui :-)

Puoi dirmi come ottimizzare una variabile in modo che l'altra arrivi a 0 ???? O almeno vicino allo zero .....

Generalmente l'ottimizzazione di una variabile sulla base di un'altra variabile....