Rete neurale in forma di script - pagina 10

Nuovo commento
 

Si prega di descrivere la notazione nella formula S[j] = Sum(i)(y[i]*w[i,j] - t[j]). Come ho capito:

t[j] è il peso della soglia (è moltiplicato per un segnale pari a -1)

y[i]*w[i,j] - l'ingresso moltiplicato per il suo peso

S[j] - il risultato prima dell'applicazione della funzione logistica

Cos'è Sum(i)?

 
sergeev писал (а) >>

Si prega di descrivere la notazione nella formula S[j] = Sum(i)(y[i]*w[i,j] - t[j]). Come ho capito:

t[j] è il peso della soglia (è moltiplicato per un segnale pari a -1)

y[i]*w[i,j] - ingresso moltiplicato per il suo peso

S[j] - il risultato prima dell'applicazione della funzione logistica

Cos'è Sum(i)?

Sum[i] è la somma su i. Non so come scrivere le formule qui.


t[j] - valore di soglia del neurone

y[i]*w[i,j] - l'output dello strato moltiplicato per il peso vincolante

S[j] è la somma ponderata prima dell'applicazione della funzione logistica

 
TheXpert писал (а) >>

Sum[i] è la somma su i. Non posso scrivere formule qui.

Questo è fondamentalmente quello che ho pensato immediatamente che fosse l'importo.

--------------

Il punto è che la soglia non viene aggiunta ad ogni valore di ingresso, ma alla fine della somma totale prima di essere alimentata alla sigmoide. Cioè, è la soglia per l'uscita nel suo insieme e non per ogni ingresso individualmente.

La formula è la seguente:

S[j]=Somma{y[i]*w[i,j]} - t[j].

È come quello di Yuri.

for(i=0;i<NUM_INP;i++) // входной слой
    { 
        sum=0;
        for(j=0;j<NUM_INP;j++) sum+=ipl_W[i,j]*Input[j];
        ipl_Out[i]=Sigmoid(sum+ipl_Threshold[i]);
    }

e in linea di principio sono d'accordo, perché ho visto una notazione simile in letteratura.

 
sergeev писал (а) >>

Questo è fondamentalmente quello che ho pensato immediatamente che fosse la quantità.

--------------

Il punto è che la soglia non viene aggiunta ad ogni valore d'ingresso, ma alla fine della somma totale prima di essere alimentata alla sigmoide.

Quindi la formula è

S[j]=Somma{y[i]*w[i,j]} - t[j].

Ecco come fa Yuri.

e in linea di principio sono d'accordo, dato che ho visto una notazione simile in letteratura.



Certo che hai ragione, ho sbagliato a mettere le parentesi.

 

2 IlXpert

Dai tuoi post mi sembra di capire che sei un esperto di NS. Potreste consigliare a un principiante da dove cominciare ad analizzare in NS per familiarizzare con il suo funzionamento...

Ed è una buona cosa usare il feedback nelle reti? Quanto è stato efficace nella sua pratica?

 
sergeev писал (а) >>

2 IlXpert

Dai tuoi post mi sembra di capire che sei un esperto di NS. Potreste consigliare a un principiante da dove cominciare ad analizzare in NS per familiarizzare con il principio del suo lavoro...

E l'uso di reti di feedback è anche una buona cosa. Quanto è stato efficace nella sua pratica?


Onestamente, non so nemmeno cosa dire. Abbiamo fatto 2 corsi sulle NS all'università, abbiamo iniziato con le basi: modello base del neurone, classificazione delle reti, metodi di formazione, ecc., poi perseptron, lineare e non lineare, poi Kohonen, Hopfield, Hemming, ricorrenti, reti ricorrenti....



A proposito di reti ricorrenti - non usate in pratica, IMHO, il suo vantaggio e contemporaneamente svantaggio è che dipende dai suoi stati precedenti, cioè per definizione è adatto allo scambio.

Ma, di nuovo, IMHO, credo che risultati simili possano essere ottenuti da un perseptron senza feedback se addestrato usando il principio della finestra scorrevole. C'è anche un vantaggio in questo, il metodo della finestra scorrevole ci permette di valutare la robustezza/stocasticità (vedi teoria del caos) della previsione ottenuta con poco sangue, che può essere di grande aiuto quando il mercato è molto volatile e il risultato imprevedibile.

 
Qual è la dipendenza della dimensionalità e della "stratificazione" della rete dal numero di modelli?
 
Andy_Kon писал (а) >>
Qual è la dipendenza della dimensionalità e della "stratificazione" della rete dal numero di modelli?

Simon Heikin, nel suo libro Reti Neurali a pagina 282, dà un teorema sull'universalità dei NS con UNO strato nascosto. Ecco l'implicazione:

E che senso dai alla frase "dimensione della rete" non lo capisco. È il numero di neuroni negli strati nascosti o il numero di ingressi a NS?

Se si tratta di un numero di ingressi, il prodotto del numero di ingressi per la dimensione del campione di allenamento (numero di modelli) deve essere uguale al quadrato dei pesi NS.

Se si tratta del numero di neuroni negli strati nascosti, il loro numero è determinato dalla complessità del problema e viene trovato sperimentalmente.

 

dimensionalità e "stratificazione

1. La dimensionalità è il numero di neuroni nel/i livello/i.

2. "Layering" è il numero di strati.

3 Da questo segue la domanda successiva, il cambiamento dei neuroni negli strati, da strato a strato?

4. Numero di cicli di apprendimento dal numero di strati, dimensionalità e numero di modelli (paternali) - (in modo ottimale)?
 

Cos'è il "cambiamento dei neuroni negli strati", è un processo di modifica dei pesi sinaptici dei neuroni durante l'addestramento del NS, o la ricerca dell'architettura ottimale del NS attraverso il cambiamento graduale del numero di neuroni negli strati durante l'ottimizzazione?

Bene, il numero di cicli di addestramento è definito dal raggiungimento di un minimo errore di generalizzazione e non è direttamente legato al numero di strati (e altre cose), anche se dipende debolmente non linearmente dal numero di neuroni e dal numero di strati. Dipende dalla "robustezza" della superficie caratteristica multidimensionale che il NS costruisce per trovare il suo minimo globale. Se la rete funziona correttamente, allora 50-100 epoche di addestramento con il metodo della Backward Error Propagation sono sufficienti. Tuttavia, ci vorrà molto sforzo per farlo bene.

1...34567891011121314
Nuovo commento