L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 596

 
Aleksey Terentev:
Prova la convalida incrociata (K-fold).
Come può aiutare ad aumentare l'impatto dei dati freschi?
 
elibrario:
Come si fa ad aumentare l'impatto dei dati freschi?
Pensateci, addestrate il modello alimentando singoli blocchi di dati, che daranno al modello una certa indipendenza dalla sequenza di serie temporali, il che risulta nella valutazione dei nuovi dati senza "bias".
 
Aleksey Terentev:
Pensateci: insegnate al modello alimentando blocchi separati di dati, questo darà al modello una certa indipendenza dalla sequenza delle serie temporali e i nuovi dati saranno valutati senza "bias".

Le "serie temporali indipendenti dalla sequenza" sono garantite dall'agitazione. Senza di essa, il modello non arriva a nulla.

E la domanda è su come aumentare l'importanza dei dati più freschi quando si mescolano, in modo che il modello raccolga più velocemente le nuove tendenze del mercato.

 
elibrario:

Le "serie temporali indipendenti dalla sequenza" sono garantite dall'agitazione. Senza di essa, il modello non arriva a nulla.

E la domanda è come con la miscelazione aumentare l'importanza dei dati più freschi, in modo che il modello raccolga più velocemente le nuove tendenze del mercato.

Il pre-addestramento è condotto su vecchi dati. Le fasi finali della formazione sono condotte su nuovi dati.
 

Cioè la formazione in 2 fasi?
Addestramento su una grande quantità di dati + riaddestramento del modello risultante su dati freschi.
È possibile provare.


Ho avuto un'idea, basta aggiungere dati freschi 2 -3 volte al totale dei dati di allenamento. Anche con il rimescolamento, l'importanza aumenterà.

 
elibrario:

Mi chiedevo, se tutto viene rimescolato, come possiamo fare in modo che i dati freschi abbiano un impatto più forte sull'apprendimento?

C'è un trucco per duplicare più volte gli esempi di allenamento più recenti.
E per esempio nel pacchetto gbm si può impostare un coefficiente di importanza per ogni esempio di allenamento, ma non è un neurone, ho solo dato un esempio.


elibrario:

La "serie temporale indipendente dalla sequenza" è fornita dallo shuffling. Senza di essa, il modello non arriva a nulla.

La maggior parte dei modelli non ha alcuna dipendenza dalla sequenza. Nei neuroni, per esempio, viene calcolato un errore per ogni esempio di allenamento, e poi la somma di tutti gli errori influisce sui cambiamenti dei pesi. La somma non cambia quando cambia l'ordine dei sommatori.

Ma i modelli hanno spesso il parametro batch.size o qualcosa di simile che influenza la percentuale di dati di allenamento da prendere per la formazione. Se prendete una piccolissima percentuale di dati di allenamento, e disattivate la miscelazione, allora il modello prenderà lo stesso piccolo insieme di dati ogni volta, e le cose finiranno male. Non so di darch nello specifico, ma disabilitare la miscelazione non dovrebbe causare un fallimento completo, hai qualcosa di sbagliato con altri parametri.


Aleksey Terentev:
Prova la convalida incrociata (K-fold).

Sono completamente d'accordo. Qualunque siano le forti affermazioni dell'autore del modello sulla sua protezione contro la sovralimentazione, solo k-fold mostrerà se è vero o no.

 
È il momento di arrotondare e trarre una conclusione.
E mostra la pratica.
 
Alexander Ivanov:
È il momento di arrotondare e fare una conclusione.
E mostra la pratica.

Prossimamente... "quasi finito".

Questa è la cosa più difficile che abbia mai fatto in vita mia.

 
Maxim Dmitrievsky:

Prossimamente... "Quasi finito".

Questa è la cosa più difficile che abbia mai fatto in vita mia.

Ugh, strofinare le penne per provare la demo 😀👍👍👍👍 come una fresca e gustosa torta della nonna😂😀
 
Imho naturalmente, ma qui ogni pagina del ramo, è necessario iniziare con lo slogan di SanSanych - "rubbish in - rubbish out". E tutti i vostri talenti cognitivi e creativi dovrebbero prima di tutto essere finalizzati a ridurre la spazzatura in ingresso, e solo dopo cercare di caricare l'hardware del computer in misura estrema.