L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 1854

Nuovo commento
 
come mai non c'è un archivio OI in borsa? sembra che ci siano alcuni servizi a pagamento, forse vendono
 
Maxim Dmitrievsky:
Come mai non c'è un archivio OM in borsa?
Questo è il punto che non esiste un archivio. È stato a lungo suggerito che gli sviluppatori includano OM nel copiatore che si può prendere dalla storia. Ma a quanto pare ci sono alcune restrizioni. Come opzione, posso chiedere al tizio che mi ha fatto un consulente. Lo scrive sempre, ma non per tutti i simboli. Ho smesso di scriverlo solo a causa delle scarse prestazioni dell'indicatore :-(.
 

Ho scoperto una strana caratteristica nel comportamento dei diversi metodi di rilevamento degli errori. Modello di regressione. Apprendimento con l'insegnante y = 0 o 1. Dati del Titanic.

   oob   RMSEr     AvgEr     AvgRelEr    Train  RMSEr     AvgEr     AvgRelEr

        0.409762  0.333394  0.431368          0.406325  0.330199  0.430042
        0.384805  0.293965  0.377680          0.380747  0.289936  0.377605
        0.383891  0.286546  0.356373          0.370912  0.275152  0.358349
        0.370671  0.261466  0.321370          0.353781  0.250322  0.326013
        0.380332  0.259588  0.299060          0.337633  0.227993  0.296931
        0.388428  0.248587  0.245976          0.309293  0.191325  0.249176
        0.401764  0.237416  0.195562          0.273932  0.150077  0.195456

Per Train tutto è come dovrebbe essere, più forte si insegna, meno errori per tutti i metodi.

Su OOV l'errore RMSE raggiunge 0,370671 e poi inizia a crescere dicendo che è iniziato il sovrallenamento. Ma AvgEr e AvgRelEr continuano a scendere ulteriormente. Mi sembrava che tutti gli errori dovessero comportarsi in sincronia, cioè avrebbero dovuto iniziare a salire insieme al RMSE.
Formule di calcolo:

for (r=0;r<rows;r++){
  RMSEr += Sqr (pred[r] - y[r]);
  AvgEr += fabs(pred[r] - y[r]);
}
//После суммирования:
RMSEr= sqrt(RMSEr / rows);
AvgEr = AvgEr / rows;

I calcoli sono molto simili (la quadratura (Sqr) e il modulo di valore (fabs) tolgono il segno), ma il comportamento delle curve è diverso...
Allenamento ripetuto con il modello di classificazione, ha anche un minimo nel punto in cui RMSE raggiunge 0,370671.
Qualcuno ha incontrato tale comportamento di errori? Come si può spiegare?

 
elibrarius:

Ho scoperto una strana caratteristica nel comportamento dei diversi metodi di rilevamento degli errori. Modello di regressione. Apprendimento con l'insegnante y = 0 o 1. Dati del Titanic.

Per Train tutto è come dovrebbe essere, più forte si insegna, meno errori per tutti i metodi.

Su OOV l'errore RMSE raggiunge 0,370671 e poi inizia a crescere dicendo che è iniziato il sovrallenamento. Ma AvgEr e AvgRelEr continuano a scendere ulteriormente. Mi sembrava che tutti gli errori dovessero comportarsi in sincronia, cioè avrebbero dovuto iniziare a salire insieme al RMSE.
Formule di calcolo:

I calcoli sono molto simili (la quadratura (Sqr) e il modulo di valore (fabs) tolgono il segno), ma il comportamento delle curve è diverso...
Allenamento ripetuto con il modello di classificazione, ha anche un minimo nel punto in cui RMSE raggiunge 0,370671.
Qualcuno ha incontrato tale comportamento degli errori? Come si può spiegare?

E questo è effettivamente un argomento quando l'errore si riduce per la prima volta durante l'ottimizzazione e quindi inizia a crescere. Puramente in teoria, se assumiamo che il sovrallenamento inizia quando l'errore inizia a crescere, allora in sostanza dovremmo smettere di allenarci quando o appena prima che l'errore inizi a crescere. È una questione di metodo di rilevamento stesso. Quali metodi di valutazione lo implementeranno è un'altra questione, ma il fatto che l'errore inizi a crescere come segno dell'inizio della riqualificazione è geniale. senza alcun sarcasmo :-) Ora penserò a cosa lo renderà possibile...
 
Mihail Marchukajtes:
E questo è effettivamente un argomento quando durante l'ottimizzazione l'errore diminuisce all'inizio e poi comincia a crescere. Puramente teorico, se assumiamo che all'inizio della crescita dell'errore inizia il sovrallenamento, allora in effetti dovremmo smettere di allenarci proprio nel momento in cui l'errore inizia a crescere o poco prima. È una questione di metodo di rilevamento stesso. Quali metodi di valutazione lo implementeranno è un'altra questione, ma il fatto che l'errore inizi a crescere come segno dell'inizio della riqualificazione è geniale. senza alcun sarcasmo :-) Ora penserò a cosa lo renderà possibile...

Questo è un metodo noto da molto tempo per determinare l'overtraining, penso circa 50 anni, cioè dall'inizio delle reti neurali e degli alberi. Vedi gli articoli di V. Perervenko, per esempio.
Non mi è chiaro in questa situazione il diverso comportamento degli errori. Con RMSE possiamo determinare l'inizio della riqualificazione, con altri no.

 
elibrarius:

Questo è un metodo noto da molto tempo per determinare il sovrallenamento, credo, da circa 50 anni, cioè dall'inizio delle reti neurali e degli alberi. Vedi per esempio gli articoli di V. Perervenko.
Non mi è chiaro in questa situazione il diverso comportamento degli errori. Da RMSE si può determinare l'inizio della riqualificazione, da altri no.

Si'? Sono proprio un somaro :-)
 
elibrarius:

Ho scoperto una strana caratteristica nel comportamento dei diversi metodi di rilevamento degli errori. Modello di regressione. Apprendimento con l'insegnante y = 0 o 1. Dati del Titanic.

Per Train tutto è come dovrebbe essere, più forte si insegna, meno errori per tutti i metodi.

Su OOV l'errore RMSE raggiunge 0,370671 e poi inizia a crescere dicendo che è iniziato il sovrallenamento. Ma AvgEr e AvgRelEr continuano a scendere ulteriormente. Mi sembrava che tutti gli errori dovessero comportarsi in sincronia, cioè avrebbero dovuto iniziare a salire insieme al RMSE.
Formule di calcolo:

I calcoli sono molto simili (la quadratura (Sqr) e il modulo di valore (fabs) tolgono il segno), ma il comportamento delle curve è diverso...
Allenamento ripetuto con il modello di classificazione, ha anche un minimo nel punto in cui RMSE raggiunge 0,370671.
Qualcuno ha incontrato tale comportamento degli errori? Come si può spiegare questo?

È come lo SMA e l'EMA, AvrEr è più in ritardo - lo prendo - un gioco di numeri.

 
Qualcuno ha avuto a che fare con Keras, come preparare i dati per LSTM?
 
Mihail Marchukajtes:
Questo è il punto: non c'è un archivio. Abbiamo suggerito a lungo che gli sviluppatori includano l'OM nel copybook in modo che possa essere preso dalla storia. Ma sembra che ci siano alcune restrizioni. Come opzione, posso chiedere al tizio che l'ha fatto per me. Lo scrive sempre, ma non per tutti i simboli. Ho smesso di scriverlo solo a causa delle scarse prestazioni dell'indicatore :-(.

Misha, ho registrato un video per te.

 
Maxim Dmitrievsky:

Misha, ti ho fatto un video, lo caricherò presto.

Vai avanti. Vediamo che tipo di bestia :-)
1...184718481849185018511852185318541855185618571858185918601861...3399
Nuovo commento