rete neurale e ingressi - pagina 10

 
Figar0:
NS è complesso.

1)Tutti "raggiungono" gli ingressi (alcuni li attraversano fino a diventare palle grigie),

2) Alcune persone pensano all'uscita, scelgono il compito della rete, il suo tipo e la sua architettura,

3) solo pochi fanno un tuffo serio nella formazione in rete.

Non c'è nulla di minore in NS, da cui la mancanza di risultati.


  1. Ho provato diversi input - dall'aumento delle quotazioni e degli indici alle trasformazioni FFT e all'alimentazione delle componenti spettrali. Provato l'alimentazione da schede Kohonen addestrate.
  2. L'architettura è un peseptron multistrato con funzione di attivazione a tangente iperbolica.
  3. Vari algoritmi dal semplice Back Prop, all'algoritmo Levenberg - Marquardt con calcolo esatto dell'Hessiano.
 
TimeMaster:
  1. diversi algoritmi dal semplice Back Prop, all'algoritmo Levenberg-Marquardt con calcolo esatto dell'Hessiano.
L'algoritmo di apprendimento non si preoccupa di tre volte, anche se è un algoritmo gen).
 
TheXpert:
L'algoritmo di apprendimento non si preoccupa dell'algoritmo tre volte, anche se è un algoritmo gen )


Sono d'accordo. L'unica differenza è la velocità di apprendimento. Non vedo il senso di "catturare" 6-7 decimali con MSE, quindi uso più spesso un semplice Back Prop con tre campioni. Un campione di formazione, un campione di convalida e un campione di prova. Valido è selezionato in diversi modi, o valido è selezionato immediatamente dopo quello di addestramento, secondo l'intervallo di tempo, o "afferro" casualmente esempi da quello di addestramento, rispettivamente con la rimozione di esempi dal campione di addestramento.
 

A proposito di algoritmi genetici...

È difficile immaginare l'"utilità" di usarlo su reti neurali con più di 10000 sinapsi. Richiede una popolazione di circa 10000*1000 individui, che non è "buono" in termini di velocità. Taccio sulle epoche...

 
<br/ translate="no">

Per esempio, se voglio addestrare una rete. che 2*2 = 4, non 5 o 6 o 7 . allora dipende da me deve capire chiaramente. cosa insegnare. Non così che a volte 2*2=4 e a volte 5 ...

La dichiarazione del problema in generale è importante. Cosa voglio? E così via.


Con il mercato che cambia, "2*2" non è sempre uguale a 4, e questo è il problema. Il mercato cambia, le condizioni cambiano. I dati incoerenti cominciano ad essere presenti nei campioni di allenamento. La rete non impara. Se si riducono i campioni per "catturare" solo lo stato attuale, si affronta la dimensione dei campioni stessi - è troppo piccola per addestrare una rete neurale più o meno volumetrica. Il sovrallenamento ha luogo. Anche l'uso di semplici reti neurali non è un'opzione, è MOLTO difficile "stipare" dati utili nell'input, poiché l'input è piccolo.
 
TimeMaster:

A proposito di algoritmi genetici...

È difficile immaginare l'"utilità" di usarlo su reti neurali con più di 10000 sinapsi. Richiede una popolazione di circa 10000*1000 individui, che non è "buono" in termini di velocità. Sulle epoche sono silenzioso...

L'anno scorso ho scritto un'ottimizzazione genetica dentro un gufo su 4. Per divertimento, ho inserito 88 parametri di input nell'intervallo 0...200. Allenato su 15 minuti per 2 settimane ~20 min (P-4 3GHz, 2GB). Ho preso l'idraulico - nessuna strategia, solo un esperimento. Se siete interessati, posso parlarvene.

 
icas:

L'anno scorso ho scritto un'ottimizzazione genetica dentro un gufo in 4. Per divertimento, ho inserito 88 parametri di input nell'intervallo 0...200. Allenato su 15 min per 2 settimane ~20 min (P-4 3GHz, 2GB). Ho preso l'idraulico - nessuna strategia, solo un esperimento. Posso parlarvene se siete interessati.


E se ci sono 10000 parametri di input, allora il problema nella sua forma BEST diventerà 10000/88 volte più complicato, rispettivamente ~20min*100=2000min ....

È più o meno un giorno e mezzo...

Le regole della genetica, quando si hanno miliardi di anni, ci si può guardare allo specchio. :-)

 
solar:
è la raccolta dei dati, la preparazione dei dati, lo sbiancamento del rumore, il razionamento e così via che deve essere fatto. È così che si combatte la non stazionarietà del mercato. (In teoria)) )


La raccolta dei dati è un campo ben studiato, ci sono modi e luoghi per scaricare la storia di citazioni relativamente "buone".

Anche la preparazione dei dati appartiene al passato. Posso dirvi che anche applicando una conversione side-by-side ad ogni dimensione del vettore di input, non si elimina il problema dei dati incoerenti.

È più complicato con il rumore, l'intervallo è IMPORTANTE qui, minuti contro settimane è naturalmente "rumoroso", ma 15 minuti contro ore è una questione di scavo...

Anche la normalizzazione è una questione banale.

 
TimeMaster:

A proposito di algoritmi genetici... È difficile immaginare l'"utilità" di usarlo su reti neurali con più di 10000 sinapsi. Richiede una popolazione di circa 10000*1000 individui, che non è "buono" in termini di velocità. Non sto parlando di epoche...

10000 sinapsi? Imho, questo è un serio overkill, ho raggiunto il massimo a circa 500-700. Non avevo bisogno di altro. A proposito, è GA che insegna NS. Sì, è lento, ma è più conveniente per me e ha i suoi vantaggi.
TimeMaster:

Con il mercato che cambia, "2*2" non è sempre uguale a 4, e qui sta il problema. Quando il mercato cambia, le condizioni cambiano. I campioni di allenamento iniziano a contenere dati incoerenti. La rete non impara. Se si riducono i campioni per "catturare" solo lo stato attuale, si affronta la dimensione del campionamento - è troppo piccola per addestrare una rete neurale più o meno volumetrica.

2*2 non è sempre 4? Mi basta che 2*2=4 per esempio nel 70% dei casi, e non filtro nemmeno il restante 30% degli esempi, dove 2*2 non è uguale a 4. La rete può gestirla bene da sola... Se 2*2 è uguale a 4 nel 50% dei casi, dovreste provare a cambiare qualcosa, per esempio ingressi.... Penso di aver fatto il mio punto)

icas:

L'anno scorso ho scritto l'ottimizzazione genetica all'interno di owl on 4. Per divertimento, ho inserito 88 parametri di input nell'intervallo 0...200. Allenato su 15 minuti per 2 settimane ~20 min (P-4 3GHz, 2GB). Ho preso l'idraulico - nessuna strategia, solo un esperimento. Se siete interessati, posso parlarvene.

Raccontami, certo che è interessante.
 
Figar0:
10000 sinapsi? Imho, questo è un serio overkill, ho avuto al massimo 500-700. Non avevo bisogno di altro. A proposito, è GA che insegna NS. Sì, è lento, ma per me è più comodo e ha i suoi vantaggi.

2*2 non è sempre 4? Mi basta che 2*2=4 per esempio nel 70% dei casi, e non filtro nemmeno il restante 30% di esempi in cui 2*2 non è uguale a 4. La rete può gestirla bene da sola... Se 2*2 è uguale a 4 nel 50% dei casi, dovreste provare a cambiare qualcosa, per esempio ingressi.... Penso di aver fatto il mio punto)

Raccontami, certo che è interessante.

Puoi farmi un esempio in cui 2*2 non è uguale a 4?

L'ho letto spesso nella letteratura, ma purtroppo non ci sono esempi.