Hybride neuronale Netze. - Seite 16
Sie verpassen Handelsmöglichkeiten:
- Freie Handelsapplikationen
- Über 8.000 Signale zum Kopieren
- Wirtschaftsnachrichten für die Lage an den Finanzmärkte
Registrierung
Einloggen
Sie stimmen der Website-Richtlinie und den Nutzungsbedingungen zu.
Wenn Sie kein Benutzerkonto haben, registrieren Sie sich
Ich will es selbst wissen!
Kgm ... Ich glaube, ich weiß es :) Als ich RPRop zum ersten Mal implementierte, stieß ich auf eine Situation, in der der Fehler zu wachsen beginnt und der dEdW-Wert (Gradient) auf +Inf geht.
Begrenzen Sie die Anzahl der Lernepochen auf sagen wir 10-15 oder führen Sie eine Überprüfung des oberen Wertes des Gradienten in den Code ein, ich habe einen solchen Code dort:
if (Math::Abs(this->dEdW[j][k][i]) < 10e-25)
{
this->dEdW[j][k][i] = 0;
}
Das bedeutet, dass der Algorithmus auf ein lokales Minimum gestoßen ist oder dass es sich um eine Umschulung des Netzes handelt.
Ich verstehe, dass wir alle Beispiele aus dem Trainingssatz für jedes dedw berechnen und dann das dedw durch die Anzahl der Trainingsbeispiele dividieren.
Der Nachteil dieses Algorithmus ist, dass er diskret ist.
Also, ich verstehe, um alle Beispiele aus der Ausbildung Satz, Berechnung für jede dedw wir die Summe davon zu akkumulieren. und dann teilen dedw durch die Anzahl der Ausbildung Beispiele? ist das, wie die Batch-Modus funktioniert?
Ja, aber verwechseln Sie nicht den lokalen Gradienten für ein einzelnes Neuron und dEdW - Sie haben so viele lokale Gradienten wie Neuronen, in dEdW haben Sie so viele synaptische Verbindungen in Bezug auf die Schwelle der Funktion.
>> Der Nachteil an diesem Algorithmus ist, dass er diskret ist.
hmm ... Was meinen Sie mit diskret? Dieser Algorithmus ist bei einer Reihe von Problemen nicht schlechter als jede Gradientenmethode. Sie ist den quasi-newtonschen Methoden oder beispielsweise der LMA unterlegen. Aber es ist schneller als ein einfacher Gradient.
hmm ... Was ist mit diskret gemeint? Dieser Algorithmus ist bei einer Reihe von Problemen nicht schlechter als jede Gradientenmethode. Sie ist den quasi-newtonschen Methoden oder beispielsweise der LMA unterlegen. Aber es funktioniert schneller als ein einfacher Farbverlauf.
Ich habe nichts über die Geschwindigkeit gesagt.)
hmm ... Was ist mit diskret gemeint? Dieser Algorithmus ist bei einer Reihe von Problemen nicht schlechter als jede Gradientenmethode. Sie ist den quasi-newtonschen Methoden oder beispielsweise der LMA unterlegen. Aber es funktioniert schneller als ein einfacher Farbverlauf.
Weitere Einzelheiten zu den quasi-newtonschen und LMA-Methoden.