Come formare correttamente i valori di input per il NS. - pagina 24

 
Reshetov писал (а) >>

E infine, per quei nerd che pensano che le capacità di interpolazione di NS siano necessarie per il trading, posso fornire un controargomento concreto. Basta prendere qualsiasi indicatore o oscillatore di ridisegno per ottenere un'interpolazione sorprendente sulla storia senza reti neurali e architetture complicate. Naturalmente i trader evitano di ridisegnare gli indici perché ciò che è adatto all'interpolazione o all'approssimazione non è adatto all'estrapolazione in condizioni di non stazionarietà.

Questa è una sciocchezza... Cosa c'entra un indicatore di ridisegno con l'interpolazione e le previsioni future?

 
Reshetov писал (а) >>

E infine, per quei nerd che pensano che le capacità di interpolazione di NS siano necessarie per il trading, posso fornire un controargomento concreto. Basta prendere qualsiasi indicatore o oscillatore di ridisegno per ottenere un'interpolazione sorprendente sulla storia senza reti neurali e architetture complicate. Naturalmente i trader evitano di ridisegnare gli indici perché ciò che è adatto all'interpolazione o all'approssimazione non è adatto all'estrapolazione in condizioni di non stazionarietà.

Non si capisce bene cosa si sta approssimando. C'è un vettore di ingresso X di dimensione N e un vettore di uscita Y di dimensione M. NS stabilisce una relazione tra loro, cioè approssima la dipendenza Y = F(X). Y può essere qualsiasi cosa, anche tripla, a NS non importa, risolve esattamente il problema di approssimazione F(X) sul campione di allenamento.

 

IL RIDISEGNO È L'OPPIO DEI POPOLI!!! ))))

 
Mathemat писал (а) >>
Rafforzerei anche questo consiglio: dividere per 10. Per qualche ragione mi viene in mente il thread sulla risonanza stocastica. Allenare la maglia fino alla fine può portare la funzione obiettivo a un minimo profondo, cioè a uno stato stazionario. Gli stati stabili non sono affatto tipici dei mercati finanziari. Sono quasi stabili, cioè tali che sono pronti a trasformarsi in un disastro (tendenza) in qualsiasi momento sotto l'influenza di un "rumore" anche minimo. Ma questo è solo un pensiero filosofico...

A mio parere, c'è un malinteso sulla natura dello stato del NS, che può essere descritto come "sovrallenato" e "sottoallenato". Questi termini si riferiscono a tratti che mettono in relazione la lunghezza del campione di addestramento, il numero di parametri liberi (sinapsi) di un dato NS, e la grandezza dell'errore di generalizzazione sul test set. Se la lunghezza del campione è paragonabile al numero di pesi regolabili (nel limite inferiore o uguale), allora sul campione di addestramento otterremo qualsiasi corrispondenza esatta della risposta NS ai vettori di input, ma sul campione di test otterremo un totale nonsenso! Questo è un esempio di una rete sovrallenata. Se la lunghezza del campione di allenamento è troppo lunga (quanto lunga è una domanda a parte), otterremo una scarsa corrispondenza sul campione di allenamento (al limite, determineremo solo la media del campione). Sul campione di prova, otterremo la stessa cosa: la media.

Come si può vedere, il numero di epoche di allenamento è fuori questione. Inoltre, per ottenere un minimo globale (apprendimento NS), dobbiamo tra tutte le possibili soluzioni del sistema ridefinito di equazioni non lineari (cosa fa NS), scegliere quella che ci darà l'errore cumulativo più basso (soddisferà almeno TUTTE le equazioni del sistema). Questa condizione è naturalmente soddisfatta dalla soluzione (pesi trovati delle sinapsi) che tende a quelle limite - ottenuta quando il numero di epoche di allenamento tende all'infinito.

Perciò non si dovrebbe confondere il sovrallenamento o il sottoallenamento di NS con il numero di epoche di allenamento - quest'ultimo dovrebbe essere sempre ragionevolmente grande (il numero esatto dovrebbe essere determinato sperimentalmente).

Ho incontrato una discussione del "problema dell'arresto precoce" nella letteratura, ma la mia impressione è che gli autori non capiscano bene la natura di ciò di cui stanno scrivendo. Infatti, se prendiamo una situazione in cui la lunghezza del campione di addestramento è inferiore a quella ottimale, allora nel processo di addestramento si verificherà una situazione in cui l'errore sul test set prima diminuirà, e poi, con un ulteriore aumento del numero di epoche di addestramento, inizierà nuovamente a crescere... Beh, questa è un'altra storia, compagni!

 

Mi ritiro ora che abbastanza grandi NN si sono riuniti qui. La mia opinione è insignificante, poiché sono un dilettante in reti nervose.

Non ho nemmeno parlato del rapporto tra ingressi e gradi di libertà, supponendo che sia almeno 10 come raccomandato dalla teoria. Ho detto solo del momento in cui TF alla sezione di verifica passa attraverso il minimo. Sembra essere descritto abbastanza chiaramente da Shumsky, se non mi sbaglio.

 
Mathemat писал (а) >>

Mi ritiro ora che abbastanza grandi NN si sono riuniti qui. La mia opinione è insignificante, poiché sono un dilettante in reti nervose.

Non ho nemmeno parlato del rapporto tra ingressi e gradi di libertà, supponendo che sia almeno 10 come raccomandato dalla teoria. Ho detto solo del momento in cui TF alla sezione di verifica passa attraverso il minimo. Sembra essere descritto abbastanza vividamente anche da Shumsky, se non mi sbaglio.

Anche i gran premi in matematica non sarebbero male, per favore non farti scoraggiare :) . Penso che altri si uniranno alla richiesta.

 
Mathemat писал (а) >>
Rinforzerei ulteriormente questo consiglio: dividere per 10. Per qualche motivo mi viene in mente un ramo sulla risonanza stocastica. Allenare la maglia fino alla fine può portare la funzione obiettivo a un minimo profondo, cioè a uno stato stazionario. Gli stati stabili non sono affatto tipici dei mercati finanziari. Sono quasi stabili, cioè tali che sono pronti a trasformarsi in un disastro (tendenza) in qualsiasi momento sotto l'influenza di un "rumore" anche minimo. Ma sono solo riflessioni filosofiche...

Beh, intendo la stessa cosa. È solo che il termine "steady-state" è stato usato al posto del termine popolare "steady-state". Con entrambi i termini si intende che i dati statistici (fitting) sono vicini a quelli probabilistici. Ma chiunque abbia avuto a che fare con gli strumenti finanziari sa molto bene che la statistica non è applicabile ad essi a causa della non stazionarietà.


Solo empiricamente, trovo che la griglia deve essere riqualificata di circa un terzo. Di nuovo, però, dipende dall'adeguatezza degli input. È possibile che altri abbiano empiricamente bisogno di essere addestrati solo per il 10%.

 
Reshetov писал (а) >>

Beh, è quello che intendo anch'io. È solo che il termine "steady-state" è stato usato al posto del termine popolare "steady-state". Con entrambi i termini si intende che i dati statistici (di adattamento) sono vicini a quelli probabilistici. Ma chiunque abbia avuto a che fare con gli strumenti finanziari sa molto bene che la statistica non è applicabile ad essi a causa della non stazionarietà.


Solo empiricamente, trovo che la griglia deve essere riqualificata di circa un terzo. Di nuovo, però, dipende dall'adeguatezza degli input. È possibile che altri abbiano empiricamente bisogno di allenarsi solo del 10%.


Secondo Haikin ci può essere una discrepanza tra i risultati dell'addestramento completo sull'addestramento e sul campione di prova solo se il numero di modelli non è abbastanza alto.

Se ci sono abbastanza modelli, l'addestramento completo produce risultati migliori per il campione di prova che per il breakpoint iniziale, come menzionato sopra.

Dalla mia esperienza tendo a credere a questi risultati.



Per quanto riguarda la rete neurale lineare, se è riuscita a ottenere risultati positivi con un sufficiente grado di fiducia, ci può essere solo una conclusione: una rete neurale è inutile.

 
TheXpert писал (а) >>

Questa è una sciocchezza... Cosa c'entra l'indicatore di ridisegno con l'interpolazione e le previsioni future?

Caro signore, dove ho affermato che l'interpolazione è legata al futuro? Vai da un oculista e leggi attentamente i post invece di buttare in giro espressioni. Ho riportato e ribadisco per i particolarmente dotati che l'estrapolazione è necessaria per il futuro.


Il mio post era in risposta al post di rip:


------------------ Citazione ------------------------


rip 14.07.2008 00:01
Reshetov ha scritto (a) >>.

Giusto. L'architettura, con input adeguati, non è più un problema. Si potrebbe dire: gli input sono tutto, l'architettura è niente.


Qui, i signori hanno preso input normali e hanno ottenuto risultati appropriati con MTS "Combo":

Sono d'accordo con te in una certa misura. Ma l'architettura della rete gioca un ruolo importante... per esempio, le reti RBF sono molto meglio per risolvere alcuni compiti di interpolazione.

 
TheXpert писал (а) >>

Secondo Heikin, una discrepanza nei risultati dell'addestramento completo su un campione di addestramento e di test può verificarsi solo se il numero di modelli non è abbastanza grande.

Signor Nerd, le persone normali hanno il loro cervello e la loro esperienza, mentre i nerd citano altri nerd perché non ci sono e non possono esserci cervelli propri.


Haykin molto probabilmente ha addestrato la rete in un ambiente stazionario, da cui le sue conclusioni. In un ambiente non stazionario la rete può non imparare affatto se le vengono dati troppi modelli perché, per esempio nel trading, oggi un modello punta a comprare e la volta successiva punta a vendere. Perché ogni entrata ha una certa probabilità di falsi segnali.