L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 161

 
Ildottor Trader:

E se vi dicessi che non esiste la "legge di Newton" in natura? Ed è solo una formula derivata per semplificare i calcoli. E con la frase "la legge di Newton funziona o non funziona", è implicito che questa formula può essere usata per calcolare qualche processo, o viceversa non può essere applicata a causa della complessità del problema e della natura caotica del mondo.

Supponiamo che ci sia una palla d'acciaio. Conoscendo la sua massa, si può determinare quanto velocemente cadrà, quanto velocemente arriverà a terra, ecc. Nel caso di un fluff, tuttavia, ci sono così tante influenze su di esso che applicare le leggi di Newton non vi aiuterà a calcolare dove e quando il fluff cadrà. Anche se vi chiudete in una stanza senza vento sul fondo dell'oceano, anche qualsiasi attività sismica cambierà e la lanugine non cadrà dove l'avete calcolata. Anche un esperimento così complesso si trova già oltre i limiti dell'ordinarietà, ma non è ancora abbastanza preciso.

Il comportamento del fluff è un'analogia con il comportamento di un simbolo del forex trading. Si può fare un Expert Advisor con migliaia di formule, ma tutte descriveranno solo i fenomeni che si osservano in questo processo. Non capirete mai completamente i processi sottostanti, quindi qualsiasi formula accurata creerete, funzionerà solo in condizioni ideali, descrivendo solo i fenomeni osservati in precedenza. Ma in realtà accadrà qualcosa di inaspettato e il mercato andrà contro tutte le vostre formule e porterà fuori tutti i vostri stop.

Ero impegnato nel calcolo della dinamica del flusso di liquidi e gas. Con piena responsabilità posso dichiarare che se l'oggetto "fluff" si comporta in modo "insolito" per qualsiasi osservatore non significa che le leggi di Newton non funzionano, significa che l'osservatore non ha considerato le forze che influenzano l'oggetto, in questo caso il movimento delle masse d'aria che, tenendo conto del rapporto tra la massa dell'oggetto e l'area della sua superficie, rendono molto più influenza della forza di gravitazione. Ma queste sono tutte le stesse forze newtoniane, che non sono state prese in considerazione dall'osservatore.

Capite cosa intendo? Sono cose elementari, amico. Se non funziona, significa che c'è qualcosa che non è stato considerato. Non è colpa di nessuno, a parte l'osservatore.

Ora tracciate un'analogia, forse mentalmente, tra quanto sopra e il mercato.
 
Dr.Trader:Diciamo che c'è una palla d'acciaio. Conoscendo la sua massa, si può determinare quanto velocemente cadrà, quanto velocemente arriverà a terra, ecc. Nel caso della piuma, tuttavia, c'è un numero così grande di impatti su it....
Lo stesso! Sia sulla discesa che sul pallone)))
 
Andrey Dik:
La legge funziona, e anche per il fluff. Ma quando si guardano le cose "a livello domestico", è questo che si ottiene....
La cosa più interessante è che Vetrov dice anche su questo - "Non conosciamo parte delle variabili nel lancio di una moneta..."
Fa, le variabili conosciute sono scartate subito, suggerendo la preghiera)))
 
SanSanych Fomenko:

Grazie, l'ho letto.

Penso che l'autore sia troppo ottimista.

La clip suggerisce solo distribuzioni a posteriori per ammassare, con un avvertimento! per quali aree si applica.
Quando si usano dati standard preprocessati (fx), si pensa che questo approccio funzioni
e con una struttura più complessa (numero di mattoni), sarà il più difficile.
Tutto imho naturalmente...
 
Andrey Dik:

movimenti di masse d'aria che, dato il rapporto tra la massa di un oggetto e la sua superficie, hanno un impatto molto maggiore della gravità. Ma queste sono tutte le stesse forze newtoniane che non sono state considerate dall'osservatore.

Stiamo parlando della difficoltà di applicare la legge di Newton per determinare il moto di un oggetto soffice a livello domestico. Prima hai sogghignato dicendo che era un gioco da ragazzi. Ora all'improvviso bisogna prendere in considerazione le masse d'aria e tutte le forze newtoniane. Che razza di vita è per voi che usare un centro dati per calcolare le masse d'aria è un luogo comune? Dovete costruire razzi, o qualche altro veicolo spaziale.

E che tipo di forze newtoniane sono queste? La forza usata da Isaac Newton per girare una volta ogni 1 secondo? (Scherzo)

Vizard_:
Lo stesso! Sia sulla lanugine che sulla palla)))

Sono un po' un somaro, sì ) È più o meno la stessa cosa ad un certo punto. Ma il pallone cadrà e basta. E la traiettoria del proiettile in caduta è più contorta, quindi dovrà volare una distanza maggiore e la somma degli effetti per tutto il tempo di caduta sarà diversa. Beh, a meno che la situazione non sia nel vuoto con zero influenze esterne.

 
Dr.Trader:

1. Stiamo parlando della difficoltà di applicare la legge di Newton per determinare il moto di un grumo a livello domestico.

2. Prima hai sogghignato dicendo che era un gioco da ragazzi.

3. Ora all'improvviso bisogna tenere conto delle masse d'aria e di tutte le forze newtoniane. Che tipo di vita domestica è che l'uso di un centro dati per calcolare le masse d'aria è comune? Dovete costruire razzi, o qualche altro veicolo spaziale.

4 E che tipo di forze newtoniane sono queste? La forza usata da Isaac Newton per girare una volta ogni 1 secondo? (Scherzo)

1. Sei tu che parli dell'ignoto, e SanSanych, per il quale ti stai intromettendo, stava dicendo che "a livello domestico" le leggi non si applicano al fluff. Ma vi assicuro che il down è soggetto alle leggi della fisica come qualsiasi altro corpo.

2. È semplice come un pezzo di torta? - Questa è la tua fantasia, non ho detto semplice o facile.

3) Se non si tiene conto di tutte le forze che agiscono sul corpo, diventa impossibile determinare l'ulteriore traiettoria del movimento. E alcuni possono anche pensare che il corpo sia al di là del controllo delle leggi fisiche. Ripeto ancora una volta, in termini semplici - se "qualcosa" non funziona per qualcuno, significa che questa persona non tiene conto di tutti i fattori che agiscono su "qualcosa".

4) Familiarizzate prima con le tre leggi di Newton e le conseguenze di queste leggi. Poi si può procedere a uno studio approfondito della cinematica di un corpo solido, e poi, se si vuole, alla meccanica di un corpo solido deformabile.

Per consolidare ciò che hai letto, prova a disegnare su carta una palla metallica con una densità specifica di 7,8 g/cm3 e una palla di dimensioni simili con una densità di 0,00001 g/cm3. Applica schematicamente un vettore di forza a questi corpi e segna i vettori di forza. Diventerà chiaro perché la palla e la lanugine si comportano in modo diverso quando vengono mandati in caduta libera. Subito non ci sarà più il desiderio di affrontare lo studio dei processi nel mercato "a livello familiare".

"Non dire sciocchezze" (s) Reshetov, non ricordo l'anno.

 

L'analisi dei sistemi dichiara un errore del primo tipo:

"Applicare i metodi giusti ai problemi sbagliati".

Il mio esempio.

Applicare la legge di Newton alla caduta di una palla d'acciaio è un esempio di applicazione del metodo corretto a un problema correttamente formulato, poiché si può essere guidati solo dalla legge di Newton esi possono trascurare tutti gli altri fattori che influenzano la caduta della palla.

Applicare la legge di Newton a un grumo è un esempio di applicazione del metodo corretto a un problema NON corretto, poiché nel caso di un grumo,la legge di Newton può essere trascurata e si devono prendere in considerazione altre forze che determinano il moto del grumo.

In forex, il problema di selezionare i fattori (predittori) rilevanti per la variabile obiettivo dal rumore è estremamente acuto, perché la presenza di predittori di rumore in un modello porta all'overfitting di quel modello. Il problema è la riqualificazione del modello (sistema di trading).

Per me il quadro è il seguente.

Su una quantità sufficientemente grande di osservazioni (5000 - 10 000 barre) selezioniamo tra diverse centinaia di predittori 20-30 predittori che sono rilevanti per la variabile obiettivo. La selezione sarà individuale per una particolare variabile target.

Poi in una finestra più piccola di 100-300 barre da questo set riselezioniamo i predittori, ad esempio per rfe. Sono rimasto sorpreso nel vedere che quando la finestra si muove, la lista dei predittori e il loro numero cambia. Nel mio caso: lista iniziale = 170 predittori. Ho selezionato 27 predittori, e con rfe ottengo da 5 a 15 predittori man mano che la finestra si sposta.

Con questo approccio, l'errore di previsione di rf può essere approssimato al 20%. Ada sembra migliore e gbm ancora meglio. Noterò soprattutto che l'errore sul campione di allenamento è circa uguale all'errore al di fuori di quel campione. Il modello NON viene riqualificato.

Questo è ciò che significa "applicare i metodi giusti al problema giusto" nel forex.

E cosa significa "applicare il giusto metodo rf all'insieme sbagliato di predittori?

Prendiamo un insieme di predittori dal nulla. Allo stesso tempo è molto importante prendere in considerazione l'esperienza dell'AT - a loro piacciono gli indicatori di tendenza - vari dummies.

Usando una tale lista di predittori sul set di allenamento, rf può essere facilmente addestrato con un errore entro il 5%.

E se prendiamo l'insieme al di fuori di questo set di allenamento, diventerà immediatamente chiaro che gli alberi trovati dall'algoritmo rf non hanno alcuna relazione con il nuovo segmento kotir - il modello è riqualificato, cioè ha ricordato i dettagli del set di allenamento ed è completamente inutilizzabile al di fuori di questo set. Un'immagine familiare, vero?

 
sibirqk:

Al link il tizio parla di idee interessanti su come fare questo sulla base delle probabilità bayesiane.

Dmitry Vetrov:
Di conseguenza, abbiamo due tendenze opposte: da un lato, abbiamo un campione di allenamento che vorremmo prevedere il più accuratamente possibile, a parità di altre condizioni, mentre dall'altro lato, abbiamo la complessità dei modelli trovati, la complessità dell'algoritmo di previsione e vorremmo renderlo meno complicato. Questi requisiti si contraddicono a vicenda, quindi un compromesso deve essere trovato in qualche modo, ma per trovarlo abbiamo bisogno di esprimere sia la complessità che la precisione in alcuni termini unificati.

https://postnauka.ru/video/55303

Purtroppo Dimitri Vetrov non riesce a distinguere tra la capacità di apprendimento dei modelli e la capacità di generalizzazione. Perciò non ha compromessi. Tuttavia se guardiamo il grafico (preso da QUI) possiamo vedere che il compromesso può essere facilmente trovato:



Cioè, se seguiamo il ragionamento di Vetorov, non c'è capacità di apprendimento per il trade-off (la linea blu è la capacità di apprendimento. Tuttavia, se guardiamo la dipendenza dell'errore di generalizzabilità del modello dalla complessità, vediamo che il trade-off è raggiunto al valore M della complessità del modello (l'estremo della generalizzabilità).

jPrediction, dalla versione 9 in poi, trova questo compromesso, cioè complica i modelli a un valore di M e produce come risultato il modello trovato a M.

Per complessità del modello in jPrediction intendiamo un aumento graduale del numero di predittori. Per in jPrediction il numero di neuroni nello strato nascosto è 2^(2*n+1), dove n è il numero di predittori. Di conseguenza, all'aumentare del numero di predittori aumenta la complessità del modello (il numero di neuroni nello strato nascosto). Così, aumentando gradualmente la complessità dei modelli, jPrediction raggiungerà prima o poi il valore di M, dopo di che un ulteriore aumento della complessità dei modelli porterà a un'ulteriore diminuzione della generalizzabilità (aumento degli errori nella generalizzabilità).

In questo modo, jPrediction prende due piccioni con una fava:

  1. I predittori più significativi sono selezionati
  2. I modelli diventano più complessi fino a raggiungere la massima generalizzabilità.

E non ci sono problemi, come dice D. Vetrov. E anche Newton non c'entra niente.

 
Andrey Dik:

1) Sei tu che parli dell'ignoto, e SanSanych, che tu sostieni, stava dicendo che "a livello domestico" le leggi non si applicano ai down. Ma vi assicuro che il down è soggetto alle leggi della fisica come qualsiasi altro corpo.


Non mi sono piaciuti nemmeno i commenti dei troll che si sono abbattuti su SS in stile sarcastico. Non hai bisogno di impegnarti nel tuo passatempo preferito in questo thread. È come se gli "ingegneri dell'apprendimento automatico MQL sfavoriti" avessero una giornata campale qui con i loro compagni che fanno le loro ricerche usando altri strumenti.

Mettiamola così: CC ha detto che se si prende solo il fluff delle poplitee, le loro traiettorie di atterraggio estremamente rumorose sarebbero molto più difficili da derivare dalle leggi di Newton. Questo - sono d'accordo con lui - riecheggia i problemi che abbiamo. Il segnale estremamente rumoroso da cui stiamo cercando di discernere le vere leggi.

E tutte le altre considerazioni suonano come trolling. SS ci ha dato una metafora da comprendere. Questo è tutto!

 
Alexey Burnakov:

Non mi sono piaciuti nemmeno i commenti dei troll che si sono abbattuti su SS in stile sarcastico. Non fare la tua cosa preferita in questo thread. È come se "gli ingegneri impoveriti del machine learning MQL" avessero una giornata campale con i loro compagni che fanno le loro ricerche usando altri strumenti.

Mettiamola così: CC ha detto che se si prende solo il fluff delle poplitee, le loro traiettorie di atterraggio estremamente rumorose sarebbero molto più difficili da derivare dalle leggi di Newton. Questo - sono d'accordo con lui - riecheggia i problemi che abbiamo. Un segnale estremamente rumoroso dal quale stiamo cercando di cavare le vere leggi.

E tutte le altre considerazioni suonano come trolling. SS ci ha dato una metafora da comprendere. Proprio così!

SS ha appena dato un esempio molto spiacevole, continuando a persistere nella sua ignoranza. Andrebbe bene dire del tipo "beh, sì, ho esagerato con l'esempio", ma no, lui persiste, guarda cosa scrive anche dopo le mie raccomandazioni per cercare di disegnare lo schema delle forze che agiscono sulla palla e la peluria:

L'applicazione della legge di Newton al fluff è un esempio di applicazione del metodo corretto al problema NON corretto, perché nel caso del fluffsi può trascurare la legge di Newton e bisognaconsiderare altre forze che determinano il movimento del fluff.

Cosa intende per "altre forze"? Le stesse forze agiscono sulla palla e sulla lanugine - la forza di gravità (peso) e la forza del flusso del vento distribuita su metà della superficie del corpo. Quindi ci sono solo 2 forze in entrambi i casi. Il flusso del vento è lo stesso, ma il peso è migliaia di volte diverso. Costruisci la somma dei vettori delle forze applicate e vedi cosa succede.

Quindi la metafora non funziona per SS.

Altrimenti ha ragione a proposito di "applicare metodi giusti a predittori sbagliati", ma non c'è niente di molto saggio qui, sì - il cielo è blu, il sole splende, l'autobus #16 passa davanti alla casa esattamente alle 13:07... E allora, qual è la saggezza o almeno il valore pratico di questo detto?

SZY. Probabilmente ho meno esperienza nel MOE di te, e se dico qualcosa di eretico sul MOE, difficilmente passerai e cercherai di aiutarmi a correggere i miei pregiudizi (credo che tu sia una persona comprensiva e non indifferente ai casi flagranti di eccessivo entusiasmo nel calpestare lo stesso rastrello). E anch'io non riesco a superare gli evidenti blooper "i poteri di Nyuto non funzionano su un fluffer".