L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 3293

 
Maxim Dmitrievsky #:

Nel Ministero della Difesa viene utilizzato un calendario diverso

Nell'inferenza di Kozol è più facile lavorare con il bias che con la varianza. Da qui la conclusione non ipotetica che la complessità del modello o l'aumento del numero di caratteristiche ostacola più che aiutare.


Da dove viene questo grafico?

MO utilizza criteri completamente diversi, come l'AIC, che viene penalizzato per la presenza di troppi parametri.

Questo e altri criteri informativi sono in linea con un assunto comune nella modellazione, ovvero che tra due modelli con le stesse prestazioni viene scelto quello con meno parametri.

Non dimentichiamo che il concetto stesso di "modello" è un'operazione di sminuzzamento della realtà. Qui non ci sono estremi. C'è un equilibrio tra la grossolanità e l'accettabilità dell'accuratezza del modello. Ma la cosa principale non è l'accuratezza del modello, bensì la sua grossolanità, la sua capacità di generalizzazione. E questo è comprensibile, dato che il principale nemico della modellazione è l'over-fitting, il fratello dell'accuratezza del modello.

 
СанСаныч Фоменко #:

Da dove viene quel grafico?

Le basi delle basi

https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff

 
СанСаныч Фоменко #:

Non dimentichiamo che la nozione stessa di "modello" è una condensazione della realtà. Non ci sono estremi qui. Esiste un equilibrio tra la grossolanità e l'accettabilità dell'accuratezza del modello. Ma la cosa principale non è l'accuratezza del modello, bensì la sua grossolanità, la sua capacità di generalizzazione. E questo è comprensibile, dato che il principale nemico della modellazione è l'over-fitting, il fratello dell'accuratezza del modello.

Lei confonde costantemente il concetto di "estremo" con quello di "picco netto" (il punto in cui una funzione non ha derivata).

Anche una superficie piatta ha un estremo.

Un'altra cosa è che le FF cercano sempre di scegliere in modo che la superficie della FF sia il più liscia possibile e che l'estremo globale sia l'unico. L'unico estremo globale deve essere l'unica soluzione non ambigua del problema.

Se l'estremo globale della FF non è l'unico, e a maggior ragione se non ha una derivata, significa che la scelta della FF (il criterio di valutazione del modello) è errata. L'incomprensione di questo aspetto porta al termine "overfitting", l'incomprensione di questo aspetto porta alla ricerca di un qualche estremo locale ambiguo.

Possiamo fare un'analogia: uno specialista - un medico - viene addestrato, vengono sviluppati esami di qualificazione (FF) per la certificazione, per un medico non può esistere il concetto di "overtrained" o "overfitted", se un medico non ottiene il punteggio massimo - significa che è sotto-addestrato. E secondo voi, un buon medico dovrebbe sempre essere un sotto-allenato.

Ancora una volta, il problema dell'"overtraining" è la scelta sbagliata dei criteri di valutazione del modello. Sembra che sul forum siano presenti esperti di questo tipo, ma ripetono sempre gli stessi errori. Lo sviluppo di criteri di stima corretti non è meno importante della scelta dei predittori, altrimenti è semplicemente impossibile stimare adeguatamente il modello.

Prevedo una raffica di obiezioni, ma va bene così, ci sono abituato. Se sarà utile a qualcuno - ottimo, e a quelli che non lo saranno - pazienza, quindi pensano che vada bene così com'è.

 
Andrey Dik #:

Si continua a confondere il concetto di "estremo" con quello di "picco" (il punto in cui una funzione non ha derivata).

Anche una superficie piana ha un estremo.

Un'altra cosa è che le FF cercano sempre di scegliere in modo che la superficie della FF sia il più liscia possibile e che l'estremo globale sia l'unico. L'unico estremo globale deve essere l'unica soluzione non ambigua del problema.

Se l'estremo globale della FF non è l'unico, e a maggior ragione se non ha una derivata, significa che la scelta della FF (il criterio di valutazione del modello) è errata. L'incomprensione di questo aspetto porta al termine "overfitting", l'incomprensione di questo aspetto porta alla ricerca di qualche estremo locale ambiguo.

Possiamo fare un'analogia: uno specialista - un medico - viene addestrato, vengono sviluppati esami di qualificazione (FF) per la certificazione, per un medico non può esistere il concetto di "overtrained" o "overfitted", se un medico non ottiene il punteggio massimo - significa che è sotto-addestrato. E secondo voi, un buon medico dovrebbe sempre essere un non scienziato poco preparato.

Ancora una volta, il problema dell'"overtraining" è la scelta sbagliata dei criteri di valutazione del modello. Sembra che sul forum siano presenti esperti di questo tipo, ma ripetono sempre gli stessi errori. Lo sviluppo di criteri di stima corretti non è meno importante della selezione dei predittori, altrimenti è semplicemente impossibile stimare adeguatamente il modello.

Prevedo una raffica di obiezioni, ma va bene così, ci sono abituato. Se sarà utile a qualcuno - ottimo, e a quelli che non lo saranno non importa nulla, quindi pensano che vada bene così com'è.

Stai confondendo le entità. State cercando di adattare l'ottimizzazione all'approssimazione, o viceversa.

L'approssimazione e l'ottimizzazione sono approcci diversi per risolvere i problemi di apprendimento automatico.


L'approssimazione si riferisce alla costruzione di un modello che approssima la relazione tra i dati di input e di output. Può trattarsi, ad esempio, della costruzione di una funzione lineare o non lineare che descriva al meglio i dati. L'approssimazione non considera l'obiettivo o il problema da risolvere, ma cerca solo di costruire un modello che si adatti al meglio ai dati.


L'ottimizzazione, invece, si riferisce alla ricerca dei parametri ottimali del modello per raggiungere un particolare obiettivo o problema. In questo caso, il modello può essere più complesso e contenere più parametri rispetto al caso dell'approssimazione. L'ottimizzazione tiene conto dell'obiettivo e regola i parametri del modello per ottenere il miglior risultato possibile.


In generale, l'approssimazione e l'ottimizzazione sono spesso utilizzate insieme per costruire modelli di apprendimento automatico efficaci. In primo luogo, si esegue l'approssimazione per costruire il modello, quindi si esegue l'ottimizzazione per regolare i parametri di tale modello al fine di raggiungere l'obiettivo o il compito desiderato.

 
La rete neurale non si preoccupa delle vostre FF. Svolge il suo compito su dati non disponibili. La discussione riguarda il modo in cui trovare un equilibrio tra la varianza e la distorsione di un modello di questo tipo. Mitramiles ha inserito diverse FF nella seconda estremità del NS. Tutti hanno ottenuto gli stessi risultati.

Lei scrive di trovare un target f-i, che noi abbiamo già impostato per default.

È comunque necessario rendersi conto della differenza.
 
Ecco perché è stato scritto sopra sull'importanza di un markup o di un Oracolo corretti, basati sulla conoscenza di esperti o su decisioni algoritmiche. È questo che si porta nel modello a priori. Nessun FF vi salverà da questo punto di vista.

Se ne è già discusso più volte, girando in tondo. O si discute di qualcosa di concreto, o ognuno tira la corda dalla propria parte.
 

Beh, te l'ho detto.

Capirei se Sanych cominciasse a reagire, ma Max....

La FF è una valutazione, noi valutiamo tutto. Se valutiamo male quello che facciamo, non significa che lo facciamo male. Senza un'adeguata valutazione è 50/50 e poi si dice: questo non funziona, quello non funziona.... Non pretendo di essere un esperto di progettazione della valutazione, è un compito molto difficile.

"È solo la stessa cosa che viene detta in cerchio" - queste non sono parole mie, semmai)))))) È possibile cambiare le parole in alcuni punti in modo che il testo suoni ancora peggio, in questo caso il criterio di valutazione è il "numero di parole", ma non è una valutazione corretta, perché cambiando le parole in alcuni punti il significato può cambiare radicalmente.

 
Non posso fare a meno di condividere la notizia sbalorditiva (così vera per me) che è stato trovato un algoritmo ancora più forte di SSG.
 
C'è una continua sostituzione di concetti, è impossibile comunicare.
 
Maxim Dmitrievsky #:
C'è una continua sostituzione di concetti, è impossibile comunicare.

Sono d'accordo, nessuno si capisce, non esiste un criterio unico per valutare un'affermazione e il suo carico semantico. Nessuno sa chi vuol dire cosa, come in quell'aneddoto:

- Cosa vuoi dire?

- Voglio dire quello che voglio dire.

È così che funziona nel Ministero della Difesa.