Neuronales Netz in Form eines Skripts - Seite 12

 
TheXpert писал (а) >>

Allerdings werden viele Probleme mit einem 5-schichtigen Perseptron gelöst, die Existenz des Theorems bedeutet nicht, dass ein 3-schichtiges Perseptron ein Allheilmittel ist.

Sie besagt einfach, dass alle Probleme (mit sehr wenigen Ausnahmen) durch ein 2-Schicht-Perseptron mit einer versteckten Schicht gelöst werden! Ja, was die Terminologie angeht, so scheinen Sie die Eingangsknoten des NS (die keine Neuronen enthalten) als eine Schicht zu zählen, ich nicht.

Was ist besser - ein 5-6-6-2-Netz oder ein 3-Schichten-Ersatz von 5-25-2? Eine so große Zahl kann durchaus geeignet sein, eine angemessene Nichtlinearität zu gewährleisten.

Ich würde die X-Y-1-Architektur verwenden - damit ist das Problem gelöst. Und ich würde die Anzahl der Neuronen in einer versteckten Schicht Y experimentell anpassen, beginnend mit 2 und aufsteigend, bis sich die Generalisierungseigenschaften des Netzes nicht mehr verbessern würden. Nach meiner bescheidenen Erfahrung reichen für viele praktische Implementierungen zwei Neuronen in dieser Schicht aus. Mit zunehmender Anzahl der Neuronen erhöht sich die Trainingszeit, und aufgrund der zunehmenden Anzahl von Synapsen müssen wir die Größe der Trainingsstichprobe oder der Eingangsdimension erhöhen, was zur "Verarbeitung" unbedeutender Informationen oder zur Verschlechterung der Näherungseigenschaften des NS führt (diese Eigenschaften fallen nach Ezhov mit 1/d, wobei d die Anzahl der Eingänge ist) usw. usw., was nicht gut ist.

Natürlich ist es möglich, ein zehnschichtiges Perseptron zu bauen, und es wird funktionieren... aber was soll das bringen?

 
Neutron писал (а) >>

Es wird einfach behauptet, dass alle Probleme (mit sehr wenigen Ausnahmen) durch ein 2-Schicht-Perseptron mit einer versteckten Schicht gelöst werden! Ja, was die Terminologie betrifft, so scheinen Sie die Eingangsknoten des NS (die keine Neuronen enthalten) als eine Schicht zu zählen, ich nicht.

Ich würde die X-Y-1-Architektur verwenden - damit ist das Problem gelöst. Und ich würde experimentell die Anzahl der Neuronen in der versteckten Schicht Y wählen, beginnend mit 2 und so lange, bis sich die Generalisierungseigenschaften des Netzes nicht mehr verbessern würden. Nach meiner bescheidenen Erfahrung reichen für viele praktische Implementierungen zwei Neuronen in dieser Schicht aus. Mit zunehmender Anzahl der Neuronen nimmt die Trainingszeit zu, und aufgrund der zunehmenden Anzahl der Synapsen müssen wir die Größe der Trainingsstichprobe oder die Dimension des Inputs erhöhen, was zur "Verarbeitung" unbedeutender Informationen oder zur Verschlechterung der Näherungseigenschaften von NS führt (diese Eigenschaften fallen nach Ezhov mit 1/d, wobei d die Anzahl der Inputs ist) usw., usw., was nicht gut ist.

Nehmen wir an, wir haben 10 in der Eingabe. Sind 2 in der verborgenen Schicht genug? Das glaube ich nicht, denn es handelt sich um eine recht einfache Aufgabe.

Über die Eingabeschicht. Manchmal lohnt es sich, eine Eingabeschicht mit Schwellenwerten zu erstellen, so dass es besser ist, sie als eine weitere Schicht zu behandeln, als integralen Bestandteil des gesamten Systems.

 
sergeev писал (а) >>


Hmmm... gibt es eine Möglichkeit, dies optimal zusammenzufassen. Und über die 5- und 3-lagigen frage ich mich auch. Wo bleibt die Theorie?



Über das Optimum - meine persönliche, vielleicht irrige, Erfahrung. Was die Anzahl der Ebenen betrifft, so habe ich das in der Praxis erlebt. Abhängig von der Nichtlinearität der Input-Output-Umwandlung können die meisten Probleme mit einem 3-Schichten-Netz gelöst werden. Was die Theorie angeht, tut mir leid, das ist schon lange her...

 
TheXpert писал (а) >>

Viele Probleme können jedoch mit einem 5-schichtigen Perseptron gelöst werden, und die Existenz des Theorems bedeutet nicht, dass ein 3-schichtiges Perseptron ein Allheilmittel ist.


Was ist besser, ein 5-6-6-2-Netz oder ein 5-25-2-Ersatz mit drei Schichten? Eine so große Zahl könnte durchaus für eine angemessene Nichtlinearität sorgen.

Übrigens, kennen Sie die ähnlichste Architektur für XORa?


4 Neuronen Mitte - Sigmoid


Es gibt eine analytische Lösung für XOR-a:


outXOR = in1 + in2 - 2*in1*in2


wobei: die Eingänge in1 und in2 Werte von 0 bis 1 annehmen


Die Konvergenz erfolgt augenblicklich.

 
Reshetov писал (а) >>


Für XOR-a gibt es eine analytische Lösung:


outXOR = in1 + in2 - 2*in1*in2


wobei: die Eingänge in1 und in2 Werte von 0 bis 1 annehmen


Die Konvergenz erfolgt sofort.

LOL, es gibt für jede Funktion eine analytische Lösung, aber sie zu finden... Manchmal ist das sehr, sehr schwierig.

Ich habe dieses Beispiel angeführt, um noch einmal zu zeigen, dass ein dreischichtiges Perseptron nicht immer die beste Option ist.

 
TheXpert писал (а) >>

Ich habe dieses Beispiel angeführt, um noch einmal zu zeigen, dass ein dreischichtiges Perseptron nicht immer die beste Option ist.

Dieses Problem kann auch durch ein dreischichtiges Perseptron mit einem Schwellenwert in den Neuronen gelöst werden, und der auf radialen Funktionen basierende NS kann es bewältigen:

Im Allgemeinen gibt es viele Varianten, die Aufgabe besteht darin, eine geeignete zu finden.

 
Neutron писал (а) >>

Dieses Problem kann auch durch ein 3-Schicht-Perzeptron mit Schwellenwert in den Neuronen gelöst werden, und die auf radialen Funktionen basierende NS kann es bewältigen:

Im Allgemeinen gibt es viele Varianten, die Aufgabe besteht darin, eine geeignete zu finden.

>> Danke für das Bild.

 
Bitte geben Sie mir diese Bücher. Oder wer die Autoren sind.
 
Dies ist von Haykin. Die Einzelheiten finden Sie auf der vorherigen Seite dieses Themas.
 

Es gibt eine spezifische Aufgabe, ein Skript zu schreiben, das in einer bestimmten Tiefe der Geschichte eine Lösung hervorbringt -

Dann ist es notwendig, die spezifische Mindestkonfiguration des Netzes und die Mindestanzahl der erforderlichen Eingänge zu bestimmen. Das bedeutet, dass es notwendig ist, die Aufgabenstellung zu definieren, und dann sollte die ganze Welt zu der Erkenntnis gelangen, dass ein konkretes Produkt zur Verfügung steht, das an einer Karte befestigt werden kann, um das Ergebnis zu sehen. Ich habe etwas Ähnliches in Form eines Neuroindikators auf der Klot-Seite gesehen .

http://www.fxreal.ru/forums/topic.php?forum=2&topic=1