Rete neurale in forma di script - pagina 11
Ti stai perdendo delle opportunità di trading:
- App di trading gratuite
- Oltre 8.000 segnali per il copy trading
- Notizie economiche per esplorare i mercati finanziari
Registrazione
Accedi
Accetti la politica del sito e le condizioni d’uso
Se non hai un account, registrati
"cambiamento nel numero di neuroni negli strati".
Numero di neuroni negli strati
1. lo stesso:
2. diverso:
a) aumentano di numero da uno strato all'altro;
b) diminuire da uno strato all'altro.
c) aumentare (diminuire) il rapporto?
Il prodotto del numero di ingressi per la dimensione del campione di allenamento (numero di modelli) dovrebbe essere uguale al quadrato dei pesi NS.
Sono un po' spaventato da questa cifra. Si tratta di un numero minimo per un funzionamento normale o ottimale?
In altre parole, se do un vettore di 20 valori all'ingresso e ho il numero totale di vettori di almeno 50000, significa che il numero di pesi nella rete non deve essere inferiore a Sqrt(20*50000)=1000? Giusto?
Una domanda leggermente riformulata da Andy_Kon.
Ho visto esempi di reti organizzate secondo il principio dell'onda, ad esempio 20-50-10-1 o 20-40-1. Cioè, c'è un'espansione della rete nel mezzo. (il numero di neuroni dello strato nascosto è diverse volte più grande dello strato di ingresso).
Dai test delle mie maglie sono arrivato alla conclusione che più strati nascosti di neuroni, l'apprendimento va più liscio e il risultato è un po' spalmato sull'output. Se per esempio 20-20-1, allora la rete trova la soluzione in modo più netto e produce valori netti alle uscite.
Se per esempio ci sono principi teorici e pratici del numero ottimale di neuroni negli strati nascosti a seconda del numero di neuroni di ingresso.
Grazie.
"cambiamento nel numero di neuroni negli strati".
Numero di neuroni negli strati
1. lo stesso:
2. diverso:
a) aumentano di numero da uno strato all'altro;
b) diminuire da uno strato all'altro.
c) aumentare (diminuire) il rapporto?
Beh, ho dato un link a un teorema, secondo il quale uno strato nascosto è sufficiente.
Ecco perché tutti i problemi enumerati scompaiono naturalmente. Un'altra cosa è se hai deciso di diminuire la dimensionalità degli input usando il metodo dei componenti principali non lineari o usare NS ibrido con strato competitivo... ma anche le domande devono essere appropriate.
Ero un po' intimidito da questa figura. Questo è anche il numero minimo per il funzionamento normale o l'ottimale?
Cioè, se prendo un vettore di 20 valori e ho il numero totale di vettori di almeno 50000, significa che l'intera rete di pesi dovrebbe contenere non meno di Sqrt(20*50000)=1000? È giusto?
Corretto.
Ecco un link al libro di Ezhov e Shumsky "Neurocomputing" dove questa questione è studiata superficialmente (in modo intelligente).
Qual è la dipendenza della dimensionalità e della "stratificazione" della rete dal numero di modelli (patters)?
1. Lo strato nascosto deve essere più grande dello strato di ingresso di almeno 1 elemento, altrimenti l'informazione sullo strato nascosto sarà compressa, il che non aiuta affatto il risultato.
2. Considerate il numero di parametri da regolare. Se il numero di parametri supera il numero di modelli, si rischia di avere una rete troppo addestrata. Ci devono essere più schemi. È possibile ridurre la dimensione della rete mentre la rete sta imparando.
Una domanda leggermente riformulata da Andy_Kon.
Ho visto esempi di reti che sono organizzate secondo uno schema a onda, per esempio 20-50-10-1 o 20-40-1. Cioè, c'è un'espansione della rete nel mezzo. (il numero di neuroni dello strato nascosto è diverse volte più grande dello strato di ingresso).
Dai test delle mie maglie sono arrivato alla conclusione che più strati nascosti di neuroni, l'apprendimento va più liscio e il risultato è un po' spalmato sull'output. Se per esempio 20-20-1, allora la rete trova la soluzione in modo più netto e produce valori netti alle uscite.
Se per esempio ci sono principi teorici e pratici del numero ottimale di neuroni negli strati nascosti a seconda del numero di neuroni di ingresso.
Grazie.
Meglio ancora, 20-21-1
O meglio ancora, 20-21-1
A proposito, ho anche notato che lo strato nascosto non rende il numero di neuroni un multiplo dello strato di ingresso. >> Perché?
Beh, ho dato un link al teorema che dice che uno strato nascosto è sufficiente.
Così tutti i problemi di cui sopra scompaiono naturalmente. Un'altra cosa è se hai deciso di ridurre la dimensionalità degli input usando il metodo dei componenti principali non lineari o usare NS ibrido con strato competitivo... ma allora le domande devono essere appropriate.
Tuttavia, molti problemi sono risolti da un perseptron a 5 strati, l'esistenza del teorema non significa che un perseptron a 3 strati sia una panacea.
Cosa è meglio: usare una rete 5-6-6-2 o una sostituzione a 3 strati di 5-25-2? Un numero così grande potrebbe funzionare bene per una corretta non linearità.
A proposito, conoscete l'architettura più convergente per XORa?
4 neuroni centrali -- sigmoidale
A proposito, ho anche notato che il numero di neuroni nello strato nascosto non è un multiplo dello strato di ingresso. >> Perché?
Nella mia esperienza, più vicino all'ingresso, meglio è. 21 è ottimale per 20 ingressi.
Nella mia pratica, più vicino all'ingresso, meglio è, 21 -- ottimale per 20 ingressi
Hmmm... c'è un modo per riassumere questo optimum. E mi chiedo anche di quelli a 5 e 3 strati. Dov'è la teoria?