L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 789

 

Ho capito bene che AUTO ARIMA calcola tutto da solo, devo solo caricare le quotazioni.

Ho controllato su diversi siti e c'è un modello ARIMA(0,1,0) ovunque.

 
Anatolii Zainchkovskii:

Ecco un quadro della situazione, solo perché avete visto questo calo tre barre prima, non significa che ne stiate tenendo conto ora.


Bella foto, la userò come esempio...

Quindi, se non c'è un errore nella previsione come possiamo ottenere il meno se vediamo che ci sarà una caduta. Quando la barra zero si chiude con segno opposto, sappiamo ancora che ci sarà una caduta. Spero che non ci siano domande su questa foto..... Abbiamo scelto la finestra a caso ma prevediamo ogni barra in questa finestra e di conseguenza quando la terza barra è zero e vediamo una grande differenza nella previsione vendiamo. Ma quando abbiamo visto una leggera differenza di modulo nella previsione sulla prima barra, sappiamo già su quale barra ci sarà un aumento significativo. Ci sono solo due malintesi che sono il problema. Per prima cosa, mi spiego omettendo alcuni punti che mi sembrano ovvi. In secondo luogo, non lo capite a causa della mancanza di esperienza. Ma è normale fare domande, quindi continuiamo...

 
Mihail Marchukajtes:

Bella foto, la userò come esempio...

Quindi, senza errori nelle previsioni, come possiamo ottenere un meno se possiamo vedere che ci sarà una caduta. Quando la barra zero si chiude con segno opposto, sappiamo ancora che ci sarà una caduta. Spero che non ci siano domande su questa immagine..... Abbiamo scelto la finestra a caso ma prevediamo ogni barra in questa finestra e di conseguenza quando la terza barra è zero e vediamo una grande differenza nella previsione vendiamo. Ma quando abbiamo visto una leggera differenza di modulo nella previsione sulla prima barra, sappiamo già su quale barra ci sarà un aumento significativo. Ci sono solo due malintesi che sono il problema. Per prima cosa, mi spiego omettendo alcuni punti che mi sembrano ovvi. In secondo luogo, non lo capite a causa della mancanza di esperienza. Ma è giusto fare domande, quindi andiamo avanti...

Se guardo le statistiche, non credo che siano basate su previsioni e non credo che debbano essere basate su di esse, ma possono essere basate su previsioni. Ma tutto questo va benissimo nelle previsioni al 100%, ma cosa fare quando c'è anche il 90% di previsioni, perché il 10% di previsioni sbagliate può far pendere troppo la bilancia.

 

Penso che tornerò a casa tardi oggi, ma è da qualche giorno che voglio scrivere un lungo post. Lo farò ora e vedrò. Ma prima un piccolo inciso.

La parte scritta dell'articolo sarà effettivamente pubblicata sul blog e il link ad essa. Poi invece di questo articolo ho iniziato a scriverne un altro che suona come "Linee guida metodologiche per lavorare nel Machine Learning". Un giorno stavo camminando per la città e pensai che sarebbe stato bello avere una metodologia, come nelle università, che fosse descritta senza acqua, le regole di base di ciò che si può e non si può fare. Beh, allora, come si dice, aspetta e vedrai. E ora il soggetto del lungo post. Il senso di tutto ciò.....

Durante questo mese ho fatto una svolta e si vede chiaramente, qualcuno la riconosce, e qualcuno la confuta, ma nessuno ha una domanda che l'ottimizzatore di Reshetova ho avuto a lungo, ma ottenere un buon modello, ho iniziato quando il doc mi riempie i comandi dal P con spiegazioni e il giorno dopo ho ricevuto i risultati dei test che non ho mai visto in tutti i 15 anni. So che non si tratta della bobina e che l'ottimizzatore sta facendo un buon lavoro, ma non si tratta di lui. Sono solo sicuro al 100% che non è l'unico ottimizzatore al mondo che fa il lavoro migliore. Certo che non lo è. La maggior parte dei pacchetti P funziona altrettanto bene. Quindi qual è il problema? Perché i risultati sono così scarsi e l'intera spina dorsale del ramo dell'apprendimento automatico viene ancora cercata e non può essere trovata. La risposta è semplice. Si fanno errori in una fase o nell'altra della preparazione del modello. Logicamente, si pensa di fare la cosa giusta quando si sceglie una certa previsione o trasformazione, ma si fa qualche piccolo errore pensando di avere ragione, ma in realtà non è così.

Per questo ho iniziato a parlare di regressione, per capire cosa si può o non si può fare. Ho affrontato il mio malinteso nel modo seguente. Logicamente se ci pensi. Quel modello con più ingressi e un polinomio più lungo è presumibilmente più intelligente e più parametrico, ma la pratica ha mostrato il risultato opposto quando i modelli con un numero minimo di ingressi sui feedback hanno guadagnato di più dei modelli con più ingressi. Questo è l'esempio di quando pensi di avere ragione per logica, ma in pratica si scopre che non è così.

Ma il problema dell'apprendimento automatico si rivela non essere nel metodo di ottenere un modello o di utilizzare alcune trasformazioni super segrete. Il principale tallone d'Achille è un'altra cosa e posso spiegarlo con un esempio, sarà comprensibile e distruggerò le immagini di Maxim allo stesso tempo.

Supponiamo di aver creato un sistema per ottenere un modello di regressione o di classificazione. E crediamo di non aver fatto errori grossolani durante la progettazione. Supponiamo.

Abbiamo un dossier di formazione. Lo eseguiamo per l'ottimizzazione 10 volte e otteniamo 10 modelli. Quindi, la domanda più difficile per me era. Come selezionare il modello che non sia stato sovrallenato e sottoallenato, ma che sia adeguato al mercato, ecc. È questa domanda che è il tallone d'Achille. Puoi aver fatto un sistema di IA e aver commesso alcuni errori in esso, ma questo non significa che il tuo sistema NON PUÒ GENERARE un modello generalizzante.

La qualità di un sistema di IA è definita precisamente dal numero di modelli adeguati al numero totale di ottimizzazioni. Diciamo che un sistema su 100 ottimizzazioni dà solo un modello che può essere usato, e il secondo sistema sulle stesse cento ottimizzazioni dà 20 modelli che sono adatti all'uso. È chiaro che il secondo sistema è migliore del primo, poiché ha più modelli corretti del primo, data la stessa quantità di ottimizzazioni. Per esempio Optimizer Reshetova su quattro modelli (come regola non farli più di quattro) dà uno a due modelli adatti. A volte quattro non sono sufficienti. Nessun problema, alla quinta, sesta o decima ottimizzazione darà un modello adeguato al mercato. E ora la cosa più interessante è come identificare e trovare questo modello. Ho trovato un modo. Lo faccio nel seguente modo. Genero un file di allenamento ed eseguo quattro allenamenti. Poi valuto questi modelli e scelgo quello che è adeguato e per questo ho bisogno solo di una sezione d'intervento in cui c'è una convalida o un test nel processo d'intervento. Lascio una piccola sezione dell'OOS sotto forma di 3-4 segnali per essere finalmente convinto che è questo e poi lo metto su strada. Ecco perché la questione della selezione del modello è una delle più importanti quando si prepara il TS. Continuerò.

 
forexman77:

Ho capito bene che AUTO ARIMA calcola tutto da solo, devo solo caricare le quotazioni.

Ho controllato su diversi grafici e mostra ARIMA(0,1,0) ovunque.

auto.arima {forecast}
> y <- dd$OPEN
> auto.arima(y)
Series: y 
ARIMA(3,1,5) 

Coefficients:
         ar1     ar2      ar3      ma1      ma2     ma3      ma4      ma5
      0.3956  0.4421  -0.6151  -0.4159  -0.4165  0.6288  -0.0257  -0.0515
s.e.  0.0904  0.0701   0.0827   0.0905   0.0708  0.0797   0.0105   0.0115

sigma^2 estimated as 3.406 e-06:  log likelihood=66279.3
AIC=-132540.6   AICc=-132540.6   BIC=-132473
 

Ho scritto e il forum si è bloccato, quindi leggilo così. Non posso riscriverlo...


 
Mihail Marchukajtes:

Penso che tornerò a casa tardi oggi, ma è da qualche giorno che voglio scrivere un lungo post. Lo farò ora e vedrò. Ma prima un piccolo inciso.

La parte scritta dell'articolo sarà effettivamente pubblicata sul blog e il link ad essa. Poi invece di questo articolo ho iniziato a scriverne un altro che suona come "Linee guida metodologiche per lavorare nel Machine Learning". Un giorno stavo camminando per la città e pensai che sarebbe stato bello avere una metodologia, come nelle università, che fosse descritta senza acqua, le regole di base di ciò che si può e non si può fare. Beh, allora, come si dice, aspetta e vedrai. E ora l'argomento del lungo post. Il senso di tutto ciò.....

Durante questo mese ho fatto una svolta e si vede chiaramente, qualcuno la riconosce, e qualcuno la confuta, ma nessuno ha una domanda che l'ottimizzatore di Reshetova ho avuto a lungo, ma ottenere un buon modello, ho iniziato quando il doc mi riempie i comandi dal P con spiegazioni e il giorno dopo ho ricevuto i risultati dei test che non ho mai visto in tutti i 15 anni. So che non si tratta della bobina e che l'ottimizzatore sta facendo un buon lavoro, ma non si tratta di lui. Sono solo sicuro al 100% che non è l'unico ottimizzatore al mondo che fa il lavoro migliore. Certo che non lo è. La maggior parte dei pacchetti P funziona altrettanto bene. Quindi qual è il problema? Perché i risultati sono così scarsi e l'intera spina dorsale del ramo dell'apprendimento automatico viene ancora cercata e non può essere trovata. La risposta è semplice. Si fanno errori in una fase o nell'altra della preparazione del modello. Logicamente, si pensa di fare la cosa giusta quando si sceglie una certa previsione o trasformazione, ma si fa qualche piccolo errore pensando di avere ragione, ma in realtà non è così.

Per questo ho iniziato a parlare di regressione, per capire cosa si può o non si può fare. Ho affrontato il mio malinteso nel modo seguente. Logicamente se ci pensi. Quel modello con più ingressi e un polinomio più lungo è presumibilmente più intelligente e più parametrico, ma la pratica ha mostrato il risultato opposto quando i modelli con un numero minimo di ingressi sui feedback hanno guadagnato più dei modelli con più ingressi. Questo è l'esempio di quando pensi di avere ragione per logica, ma in pratica si scopre che non è così.

Ma il problema dell'apprendimento automatico si rivela non essere nel metodo di ottenere un modello o di utilizzare alcune trasformazioni super segrete. Il principale tallone d'Achille è un'altra cosa e posso spiegarlo con un esempio, sarà comprensibile e distruggerò le immagini di Maxim allo stesso tempo.

Supponiamo di aver creato un sistema per ottenere un modello di regressione o di classificazione. E crediamo di non aver fatto errori grossolani durante la progettazione. Supponiamo.

Abbiamo un dossier di formazione. Lo eseguiamo per l'ottimizzazione 10 volte e otteniamo 10 modelli. Quindi, la domanda più difficile per me era. Come selezionare il modello che non sia sovrallenato e sottoallenato ma che sia adeguato al mercato, ecc. È questa domanda che è il tallone d'Achille. Puoi aver fatto un sistema di IA e aver commesso alcuni errori in esso, ma questo non significa che il tuo sistema NON PUÒ GENERARE un modello generalizzante.

La qualità di un sistema di IA è definita precisamente dal numero di modelli adeguati al numero totale di ottimizzazioni. Diciamo che un sistema su 100 ottimizzazioni dà solo un modello che può essere usato, e il secondo sistema sulle stesse cento ottimizzazioni dà 20 modelli che sono adatti all'uso. È chiaro che il secondo sistema è migliore del primo, poiché ha più modelli corretti del primo, data la stessa quantità di ottimizzazioni. Per esempio Optimizer Reshetova su quattro modelli (come regola non farli più di quattro) dà uno a due modelli adatti. A volte quattro non sono sufficienti. Nessun problema, alla quinta, sesta o decima ottimizzazione darà un modello adeguato al mercato. E ora la cosa più interessante è come identificare e trovare questo modello. Ho trovato un modo. Lo faccio nel seguente modo. Genero un file di allenamento ed eseguo quattro allenamenti. Poi valuto questi modelli e scelgo quello che è adeguato e per questo ho bisogno solo di una sezione d'intervento in cui c'è una convalida o un test nel processo d'intervento. Lascio una piccola sezione dell'OOS sotto forma di 3-4 segnali per essere finalmente convinto che è questo e poi lo metto su strada. Ecco perché la questione della selezione del modello è una delle più importanti quando si prepara il TS. Continuerò.

Non posso più leggere tutte queste sciocchezze, mi state uccidendo.

il resto di voi capitani dell'ovvietà e gendarmi della chiarezza

levatevi dai coglioni )

 
Maxim Dmitrievsky:

Non posso più leggere tutte queste sciocchezze lunatiche, mi state uccidendo.

Il resto di voi, Capitani dell'Ovvietà e Gendarmi della Chiarezza

levatevi dai coglioni )

Ha scritto che era ubriaco e che è rimasto sveglio per due notti. Voleva "parlare")).

Mihail Marchukajtes:
In generale, Mikhail, dovresti dormire di notte.

 
Maxim Dmitrievsky:

Non posso più leggere tutte queste stronzate assurde, mi stai uccidendo.

Il resto di voi, Capitani dell'Ovvietà e Gendarmi della Chiarezza

Me ne vado).

Max ha trovato un graal di sicuro))

 
Maxim Dmitrievsky:

l'argomento è andato oltre il regno della ragione - alcune persone sono diventate da tempo rigide e ossessionate dal sovrallenamento e dai "pacchetti"

Alcune persone sono ancora le stesse dell'idiota del Ministero della Difesa.

Non è che l'argomento sia andato da qualche parte - è "confuso". Non c'è una moderazione regolare. Un po' di pila, anche peggio del mio thread.

Ma dobbiamo aspettare che l'uomo con il Graal venga alla ribalta.

Aspettiamo.