Neuronales Netz in Form eines Skripts - Seite 10

Neuer Kommentar
 

Beschreiben Sie bitte die Notation der Formel S[j] = Summe(i)(y[i]*w[i,j] - t[j]). So wie ich es verstehe:

t[j] ist das Gewicht der Schwelle (es wird mit einem Signal von -1 multipliziert)

y[i]*w[i,j] - die Eingabe multipliziert mit ihrem Gewicht

S[j] - das Ergebnis, bevor die logistische Funktion angewendet wurde

Was ist Summe(i)?

 
sergeev писал (а) >>

Beschreiben Sie bitte die Notation der Formel S[j] = Summe(i)(y[i]*w[i,j] - t[j]). So wie ich es verstehe:

t[j] ist das Gewicht der Schwelle (es wird mit einem Signal von -1 multipliziert)

y[i]*w[i,j] - Eingabe multipliziert mit ihrem Gewicht

S[j] - das Ergebnis, bevor die logistische Funktion angewendet wurde

Was ist Summe(i)?

Sum[i] ist die Summe über i. Ich weiß nicht, wie man hier Formeln schreibt.


t[j] - Schwellenwert des Neurons

y[i]*w[i,j] - die Ausgabe der Schicht multipliziert mit dem verbindlichen Gewicht

S[j] ist die gewichtete Summe, bevor die logistische Funktion angewendet wurde

 
TheXpert писал (а) >>

Sum[i] ist die Summe über i. Ich kann hier keine Formeln schreiben.

Das ist im Grunde das, was ich sofort für den Betrag gehalten habe.

--------------

Der Punkt ist, dass der Schwellenwert nicht zu jedem Eingabewert addiert wird, sondern am Ende der Gesamtsumme, bevor sie dem Sigmoid zugeführt wird. Das heißt, es handelt sich um den Schwellenwert für die Ausgabe insgesamt und nicht für jeden einzelnen Eingang.

Die Formel lautet wie folgt:

S[j]=Summe{y[i]*w[i,j]} - t[j].

Es ist wie bei Yuri.

for(i=0;i<NUM_INP;i++) // входной слой
    { 
        sum=0;
        for(j=0;j<NUM_INP;j++) sum+=ipl_W[i,j]*Input[j];
        ipl_Out[i]=Sigmoid(sum+ipl_Threshold[i]);
    }

und im Prinzip bin ich damit einverstanden, denn ich habe eine solche Notation in der Literatur gesehen.

 
sergeev писал (а) >>

Das ist im Grunde das, was ich sofort für den Betrag gehalten habe.

--------------

Der Punkt ist, dass der Schwellenwert nicht bei jedem Eingabewert addiert wird, sondern am Ende der Gesamtsumme, bevor sie dem Sigmoid zugeführt wird.

Die Formel lautet also

S[j]=Summe{y[i]*w[i,j]} - t[j].

So macht es Yuri.

und im Prinzip bin ich damit einverstanden, da ich eine solche Notation in der Literatur gesehen habe.



Ach, du hast natürlich recht, ich habe die Klammern falsch gesetzt.

 

2 TheXpert

Aus Ihren Beiträgen entnehme ich, dass Sie ein Experte für NS sind. Könnten Sie einem Anfänger raten, wo er mit der Analyse in NS beginnen sollte, um sich mit der Funktionsweise vertraut zu machen?

Und ist es gut, Feedback in Netzwerken zu nutzen? Wie wirksam war es in Ihrer Praxis?

 
sergeev писал (а) >>

2 TheXpert

Aus Ihren Beiträgen entnehme ich, dass Sie ein Experte für NS sind. Könnten Sie einem Anfänger raten, wo er mit der Analyse in NS beginnen sollte, um sich mit dem Prinzip seiner Arbeit vertraut zu machen?

Und ist die Nutzung von Rückkopplungsnetzen auch eine gute Sache. Wie wirksam war es in Ihrer Praxis?


Ehrlich gesagt, weiß ich nicht einmal, was ich sagen soll. Wir hatten 2 Kurse über NS an der Universität, wir begannen mit den Grundlagen: grundlegendes Neuronenmodell, Klassifizierung von Netzen, Trainingsmethoden usw., dann Perseptron, linear und nichtlinear, dann Kohonen, Hopfield, Hemming, rekurrent, rekurrente Netze....



Über rekurrente Netze - nicht in der Praxis verwendet, IMHO, sein Vorteil und gleichzeitig Nachteil ist, dass es auf seine vorherigen Zustände abhängt, d.h. per Definition ist es für den Austausch geeignet.

Aber auch hier bin ich der Meinung, dass ähnliche Ergebnisse mit einem Perseptron ohne Rückkopplung erzielt werden können, wenn es nach dem Prinzip des gleitenden Fensters trainiert wird. Die Methode der gleitenden Fenster hat auch einen Vorteil: Sie ermöglicht es, die Robustheit/Stochastizität (siehe Chaostheorie) der erhaltenen Vorhersage mit wenig Blut zu bewerten, was sehr hilfreich sein kann, wenn der Markt sehr volatil und das Ergebnis unvorhersehbar ist.

 
Welche Abhängigkeit besteht zwischen der Dimensionalität und der "Schichtung" des Netzes und der Anzahl der Muster?
 
Andy_Kon писал (а) >>
Welche Abhängigkeit besteht zwischen der Dimensionalität und der "Schichtung" des Netzes und der Anzahl der Muster?

Simon Heikin gibt in seinem Buch Neural Networks auf Seite 282 ein Theorem über die Universalität von NS mit EINER versteckten Schicht. Dies ist die Konsequenz:

Und welchen Sinn Sie der Formulierung "Netzwerkdimension" geben, verstehe ich nicht. Ist es die Anzahl der Neuronen in den versteckten Schichten oder die Anzahl der Eingänge zu NS?

Wenn es sich um die Anzahl der Eingänge handelt, muss das Produkt aus der Anzahl der Eingänge und der Größe der Trainingsstichprobe (Anzahl der Muster) gleich dem Quadrat der NS-Gewichte sein.

Wenn es sich um die Anzahl der Neuronen in den versteckten Schichten handelt, wird deren Anzahl durch die Komplexität des Problems bestimmt und experimentell ermittelt.

 

Dimensionalität und "Überlagerung"

1. Die Dimensionalität ist die Anzahl der Neuronen in der/den Schicht(en).

2. "Layering" ist die Anzahl der Schichten.

3 Daraus folgt die nächste Frage, der Wechsel der Neuronen in den Schichten, von Schicht zu Schicht?

4. Anzahl der Lernzyklen aus der Anzahl der Schichten, Dimensionalität und Anzahl der Muster (Paternale) - (optimal)?
 

Was bedeutet "Änderung der Neuronen in den Schichten"? Handelt es sich dabei um einen Prozess der Änderung der synaptischen Gewichte von Neuronen während des Trainings von NS oder um die Suche nach der optimalen Architektur von NS durch schrittweise Änderung der Anzahl von Neuronen in den Schichten während der Optimierung?

Nun, die Anzahl der Trainingszyklen wird durch das Erreichen eines Minimums an Generalisierungsfehlern definiert und hängt nicht direkt mit der Anzahl der Schichten (und anderen Dingen) zusammen, obwohl sie schwach nicht-linear von der Anzahl der Neuronen und der Anzahl der Schichten abhängt. Sie hängt von der "Robustheit" der mehrdimensionalen Merkmalsoberfläche ab, die der NS aufbaut, um sein globales Minimum zu finden. Wenn das Netz korrekt funktioniert, reichen 50 bis 100 Epochen des Trainings mit der Methode der Rückwärtsfehlerfortpflanzung aus. Es wird jedoch viel Mühe kosten, es richtig zu machen.

1...34567891011121314
Neuer Kommentar