Rete neurale in forma di script - pagina 12

 
TheXpert писал (а) >>

Tuttavia, molti problemi sono risolti con un perseptron a 5 strati, l'esistenza del teorema non significa che un perseptron a 3 strati sia una panacea.

Afferma semplicemente che tutti i problemi (con pochissime eccezioni) sono risolti da un perseptron a 2 strati con uno strato nascosto! Sì, riguardo alla terminologia, sembra che tu conti i nodi d'ingresso del NS (quelli che non contengono neuroni) come uno strato, e io no.

Cosa è meglio: usare una rete 5-6-6-2 o una sostituzione a 3 strati di 5-25-2? Un numero così grande può anche funzionare per garantire una corretta non linearità.

Io userei l'architettura X-Y-1 - risolve il problema. E io regolerei sperimentalmente il numero di neuroni in uno strato nascosto Y partendo da 2 e salendo fino a quando le proprietà di generalizzazione della rete non migliorano. Secondo la mia modesta esperienza, per molte implementazioni pratiche due neuroni in questo strato sono sufficienti. Aumentando ulteriormente il numero di neuroni il tempo di addestramento aumenta, e a causa dell'aumento del numero di sinapsi dobbiamo aumentare la dimensione del campione di addestramento o dell'input, il che porta al "trattamento" di informazioni insignificanti o al peggioramento delle proprietà approssimative del NS (queste proprietà, secondo Ezhov, cadono come 1/d, dove d è il numero di input) ecc. ecc.

Certo, è possibile costruire un perseptron a dieci strati e funzionerà... ma qual è il punto?

 
Neutron писал (а) >>

Si sostiene semplicemente che tutti i problemi (con pochissime eccezioni) sono risolti da un perseptron a 2 strati con uno strato nascosto! Sì, riguardo alla terminologia, sembra che tu conti i nodi d'ingresso del NS (quelli che non contengono neuroni) come uno strato, e io no.

Io userei l'architettura X-Y-1 - risolve il problema. E sceglierei sperimentalmente il numero di neuroni nello strato nascosto Y a partire da 2 e fino a quando le proprietà di generalizzazione della rete non migliorerebbero. Secondo la mia modesta esperienza, per molte implementazioni pratiche due neuroni in questo strato sono sufficienti. Aumentando ulteriormente il numero di neuroni il tempo di addestramento aumenta, e a causa dell'aumento del numero di sinapsi dobbiamo aumentare la dimensione del campione di addestramento o la dimensione dell'input, il che porta al "trattamento" di informazioni insignificanti o al peggioramento delle proprietà approssimative di NS (queste proprietà, secondo Ezhov, cadono come 1/d, dove d è il numero di input) ecc, ecc che non è buono.

Diciamo che abbiamo 10 nell'input. Sono sufficienti 2 nello strato nascosto? Non credo, non è un compito abbastanza semplice.

Riguardo al livello di input. A volte vale la pena fare uno strato di input con soglie, quindi è meglio trattarlo come un altro strato, come parte integrante dell'intero sistema.

 
sergeev писал (а) >>


Hmmm... c'è un modo per riassumere questo optimum. E mi chiedo anche di quelli a 5 e 3 strati. Dov'è la teoria?



Circa l'optimum - la mia personale, forse errata, esperienza. Riguardo al numero di strati - l'ho incontrato nella pratica. Dipende dalla non linearità della conversione ingresso-uscita, la maggior parte dei problemi può essere risolta con una rete a 3 strati. Per quanto riguarda la teoria, mi dispiace, è stato molto tempo fa...

 
TheXpert писал (а) >>

Tuttavia, molti problemi possono essere risolti da un perseptron a 5 strati, l'esistenza del teorema non implica che un perseptron a 3 strati sia una panacea.


Cos'è meglio, una rete 5-6-6-2 o una sostituzione 5-25-2 a 3 strati? Un numero così grande potrebbe funzionare bene per una corretta non linearità.

A proposito, conoscete l'architettura più simile per XORa?


4 neuroni centrali -- sigmoide


Esiste una soluzione analitica per XOR-a:


outXOR = in1 + in2 - 2*in1*in2


dove: gli ingressi in1 e in2 prendono valori da 0 a 1


La convergenza è istantanea.

 
Reshetov писал (а) >>


Per XOR-a c'è una soluzione analitica:


outXOR = in1 + in2 - 2*in1*in2


dove: gli ingressi in1 e in2 prendono valori da 0 a 1


La convergenza è istantanea.

LOL, ogni funzione ha una soluzione analitica, ma trovarla... A volte è molto, molto difficile.

Ho fatto questo esempio per mostrare ancora una volta che un perseptron a 3 strati non è sempre l'opzione migliore.

 
TheXpert писал (а) >>

Ho fatto questo esempio per mostrare ancora una volta che un perseptron a 3 strati non è sempre l'opzione migliore.

Questo problema può anche essere risolto da un perseptron a 3 strati con una soglia nei neuroni e il NS basato su funzioni radiali può gestirlo:

In generale, ci sono molte varianti, il compito è di trovarne una adeguata.

 
Neutron писал (а) >>

Questo problema può anche essere risolto da un perceptron a 3 strati con soglia nei neuroni, e l'NS basato su funzioni radiali può gestirlo:

In generale, ci sono molte varianti, il compito è di trovarne una adeguata.

>> Grazie per la foto.

 
Per favore, datemi questi libri. O chi sono gli autori.
 
Questo è di Haykin. I dettagli sono nella pagina precedente dell'argomento.
 

C'è un compito specifico di scrivere uno script che, ad una data profondità della storia, produrrà una soluzione -.

Poi è necessario determinare la configurazione minima specifica della rete e il numero minimo richiesto di ingressi. Significa che è necessario definire i termini di riferimento e poi tutto il mondo dovrebbe arrivare alla realizzazione per avere un prodotto concreto pronto per essere attaccato a un grafico e vedere il risultato. Ho visto qualcosa di simile sotto forma di neuroindicatore sul sito di Klot .

http://www.fxreal.ru/forums/topic.php?forum=2&topic=1