Neuronale Netze, wie beherrscht man sie, wo fängt man an? - Seite 12

 
Neutron >> :

Egal wie man den NS dreht und wendet, egal was man in seine Eingänge steckt, es gibt keine Wunder!

Daraus folgt: Einerseits ist die Vorhersagekraft umso höher, je mehr Schichten das NS hat, andererseits ist es sinnlos, mehr als drei Schichten zu bilden - ein dreischichtiges Netz ist bereits ein universeller Approximator.

Im Allgemeinen werde ich mich nicht streiten - ich langweile mich.

Daraus folgt: Je mehr Schichten der NS hat, desto länger muss die Trainingsstichprobe für sein Training verwendet werden. Nicht nur die Trainingskomplexität wächst mit P^3, sondern es können auch die Daten ausgehen!


Das ist das zweite Mal, dass ich diesen Abschluss sehe. Rechnen wir mal nach.


Nehmen wir als Beispiel ein Netz m - n - k -- die Buchstaben stehen für die Anzahl der Neuronen in der Eingabe-, der versteckten und der Ausgabeschicht.

Die Komplexität der Signalausbreitung ist O(m*n + n*k) für vollständig gekoppelte Synapsen.

Die Komplexität der Rückverfolgung ist ähnlich.

Nun wollen wir eine zusätzliche verborgene Schicht derselben Größe einführen.

Die Komplexität ist O(m*n + n*n + n*k).

Nehmen wir das Verhältnis - wir erhalten (m + n + k)/(m + k).


Außerdem kann durch die Einführung der 2. versteckten Schicht die Größe der 1. Schicht deutlich reduziert werden.

Zu diesem Zweck habe ich drei Netze - 1, 2 und 3 - in Mathcad erstellt und die Ergebnisse der Vorhersage des Vorzeichens von Kotierinkrementen eine Zählung voraus verglichen (ich habe Statistiken von 100 unabhängigen Experimenten gesammelt). Die Ergebnisse sind wie folgt:

1 - p=10% richtig erratene Zeichen (Wahrscheinlichkeit=1/2+p).

2 - 15-16%

3 - 12%

Hier gibt es einige freie Parameter: Dimension der Eingabe und Anzahl der Neuronen in der/den Schicht(en). Der erste Parameter war für alle Architekturen gleich, der zweite wurde persönlich gewählt. Wir sehen, dass das dreischichtige NS-Gitter kein Allheilmittel ist, und die beste Option für uns als Händler ist wahrscheinlich ein zweischichtiges Gitter - aus der Sicht der maximalen Vorhersagegenauigkeit und der minimalen Anforderungen an die Komplexität des Trainings (Leistung von RS, große Historie und deren Nicht-Wachstum).

Es ist höchste Zeit, über fraktale NS mit einer gebrochenen Anzahl von Schichten nachzudenken :)) . 2,5 wäre genau richtig.

 

Hypothetischer Weg zur Beherrschung der NS-Technologie
Schritt 1.

Erstellen Sie einen NS in NS mit einem Kauf-/Verkaufsausgang, füttern Sie ihn mit Close[x], schauen Sie sich den Chart an und sehen Sie - das Raster ist verrauscht!
Schritt 2.

Jetzt füttern wir etwas, das glatter ist als das ursprüngliche Angebot, aber NS ist trotzdem laut.
Warum? Weil der Lehrer ungleichmäßig ist. Ich bin zu faul, sie von Hand zu machen. (Hierfür benötigen Sie einen Spiralisierer)
Schritt 3.

Lesen Sie den Artikel von Reshetov, senden Sie NS, trainieren Sie es im Tester und stellen Sie fest - ohne explizit definierte Fehlerfunktion.
Der Strategietester poltert also, der Entwickler schnurrt, sagt, Reshetov sei schlau, er habe alles herausgefunden und einen echten Lehrer erfunden.
Aber Reshetov ist ein schlaues Kerlchen, aber mein Computer funktioniert nicht gut mit MT-4, also wo ist MT-5?
Und bei 4 Eingängen ist dieser "NS" wieder verrauscht. Jetzt erweisen sich die historischen Daten als uneinheitlich - sie enthalten verschiedene Arten von Märkten und wir wissen nicht, welche)
.... wir wiederholen die Schritte 1-3 in der Schleife.
Schritt 4.

Wir stellen fest, dass wir nicht weiterkommen - wir können das Netzwerk nicht ausbauen, MQL ist langsam und das Neuropathentraining ist ziemlich weit vom Handel entfernt.
Schritt 5.

Denken am Scheideweg - jetzt haben wir begonnen, mit NS arbeiten, wissen wir, dass NS ist nicht so viel Mathematik. als Technologie,
kann von NS Trader gespeichert werden, es hat eine bessere Tester.
gut und...
Wozu ist das alles gut?
Schritt 6

Wenn wir ein Netz erfinden und es trainieren, wird in diesem Prozess klarer, was wir wirklich brauchen, und die wirkliche Sache wird ohne NS durchgeführt,
ohne NS überhaupt.
es stellt sich heraus
Das NS wird nur benötigt, um zu verstehen, was erklärt werden kann, während man es einer dummen Person erklärt)))

 
TheXpert писал(а) >>

Rechnen wir mal nach.

Auf Seite 7 des Themas, zu dem ich das Archiv mit dem Artikel gepostet habe, gibt es eine Schätzung der Komplexität des Trainings (S. 65-66): C=P*w^2=d*P^2=(w^4)/d, was darauf hindeutet, dass ich mich leicht vertan habe (ein wenig schwanger) und die Komplexität proportional zu d*P^2 oder durch die Anzahl der Synapsen ist: (w^4)/d

Durch die Einführung einer 2. verborgenen Schicht können Sie außerdem die Größe der 1.

Woher kommt das?
 
Neutron >> :
Woher kommt sie?

Wenn nicht streng, dann indirekt über die Anzahl der einstellbaren Parameter. Strictly nyahsil. Ich bin nicht gut im Beweisen.

Und wenn ich meine eigene Idee hinzufüge, denke ich seit einiger Zeit, dass die beste Struktur für die nichtlineare Konvergenzgeschwindigkeit von Perseptron das Fischgrätenmuster ist, aber ich habe es noch nicht überprüft.

Wenn ich dazu komme, werde ich es zeichnen.


Einige Ideen für das neue Jahr :)) .

 
Korey писал(а) >>
>>)), während er ihr etwas erklärt, sollte er verstehen, was er ihr erklärt).

Es gibt einen wichtigen Punkt, den Sie nicht erwähnen wollten - Sie müssen den NS einmal erklären (und Sie werden ihn auch verstehen, wie Sie richtig bemerkt haben), und dann wird er wie eine Drehbank an der sich verändernden Welt arbeiten (cotier), ohne sich darum zu kümmern, dass Sie vollständig verstehen, was er bedeutet!

TheXpert schrieb >>

Perseptron-Struktur - Fischgrätenmuster

Was rauchst du da?

Oh, jetzt verstehe ich! Nun, es sieht auf jeden Fall wie ein Weihnachtsbaum aus. Auf einer intuitiven Ebene habe ich dasselbe Problem.

 
Neutron >> :

...

Woher kommt das?

haykin -------> Punkt 4.15. Methoden der Netzvereinfachung

 

Es macht keinen Unterschied, welchen Algorithmus Sie zum Lernen nehmen. Das Ergebnis ist das gleiche.) Man muss nicht in das neuronale Netz eindringen, man muss nach Inputs suchen.

 
PraVedNiK писал(а) >>

haykin -------> Punkt 4.15. Methoden der Netzvereinfachung

Kein Problem. >> Lesen wir es!

 

Fichtenholz! Intuition hat nichts damit zu tun, NS ist ein pyramidaler Kodierer, und er ist ähnlich wie FFT.
Auf der Grundlage des pyramidalen Codiermodells ist es beispielsweise elementar, die Mindestanzahl von Neuronen zu berechnen.

d. h. der Pyramidencodierer deckt die Mindestanzahl der entworfenen NS ab.

 
Neutron >> :

Was rauchst du da?

Beenden :)

Oh, jetzt verstehe ich! Nun, es sieht auf jeden Fall wie ein Weihnachtsbaum aus. Ich habe das Gleiche im Bauchgefühl.