Was soll in den Eingang des neuronalen Netzes eingespeist werden? Ihre Ideen... - Seite 58
Sie verpassen Handelsmöglichkeiten:
- Freie Handelsapplikationen
- Über 8.000 Signale zum Kopieren
- Wirtschaftsnachrichten für die Lage an den Finanzmärkte
Registrierung
Einloggen
Sie stimmen der Website-Richtlinie und den Nutzungsbedingungen zu.
Wenn Sie kein Benutzerkonto haben, registrieren Sie sich
Die Verallgemeinerung ist eher ein Unterlernen. D.h. sie erinnerten sich daran, aber nicht ganz genau (sie bezogen auch die Nachbarn mit ein...). Fast wie ein Schuljunge mit "C"))
Aber wenn wir uns etwas merken, das durch ein Gesetz definiert ist (z. B. das Ohmsche Gesetz), gibt es kein Überlernen, sondern eher ein Unterlernen, wenn es nur wenige Beispiele und eine unendliche Anzahl von ihnen gibt.
Beim Handel, wo es fast keine Muster gibt und diese verrauscht sind, führt absolut genaues Auswendiglernen zusammen mit Rauschen zu einem Verlust.Aus irgendeinem Grund wurde dies als Überlernen bezeichnet. Genaues Auswendiglernen ist an sich nicht schädlich, wie im Falle des Musterlernens. Das Einprägen von Rauschen/Müll ist dagegen nicht förderlich.
Was ist falsch an der üblichen Definition des Lernens - den Modellparametern bestimmte Werte zuzuweisen?
Die übliche Definition des Lernens als Zuweisung bestimmter Werte zu Modellparametern kann aus mehreren Gründen unzureichend sein:
Unvollständigkeit der Prozessbeschreibung: Das Modelltraining umfasst nicht nur die Zuweisung von Werten zu Parametern, sondern auch den Prozess der Optimierung dieser Parameter auf der Grundlage der Daten. Dieser Prozess kann die Auswahl eines Optimierungsalgorithmus, die Abstimmung von Hyperparametern, die Auswahl einer Verlustfunktion und andere Aspekte umfassen, die durch eine einfache Wertzuweisung nicht abgedeckt werden.
Ignorieren der Lerndynamik: Das Modelltraining ist ein dynamischer Prozess, der viele Iterationen und Schritte umfassen kann. Eine einfache Wertzuweisung erfasst nicht diesen iterativen Charakter, bei dem die Parameter schrittweise angepasst werden, um den Fehler zu minimieren.
Fehlender Datenkontext: Die Modellschulung ist datengesteuert und der Schulungsprozess beinhaltet die Analyse und Interpretation dieser Daten. Bei der einfachen Zuweisung von Werten wird nicht berücksichtigt, wie die Daten zum Trainieren des Modells verwendet werden und wie sie sich auf die endgültigen Parameter auswirken.
Fehlende Berücksichtigung der Generalisierung: Das Ziel des Modelltrainings ist nicht nur die Minimierung des Fehlers bei den Trainingsdaten, sondern auch die Fähigkeit des Modells, sein Wissen auf neue, ungesehene Daten zu generalisieren. Die einfache Zuweisung von Werten erfasst diesen Aspekt der Generalisierung nicht.
Ignorieren von Validierung und Testen: Der Trainingsprozess beinhaltet auch die Validierung und das Testen des Modells, um seine Leistung zu bewerten und Übertraining zu vermeiden. Die einfache Zuweisung von Werten trägt diesen wichtigen Schritten nicht Rechnung.
Eine umfassendere Definition des Modelllernens sollte daher einen datengesteuerten Parameteroptimierungsprozess beinhalten, der die Lerndynamik, den Datenkontext, die Verallgemeinerungsfähigkeit sowie die Validierungs- und Testschritte berücksichtigt.
Über die Ausbildung...
Vor ein paar Jahren stieß ich auf einer allgemeinen (nicht technischen) Seite auf diesen Ausdruck: Datenbanken auf Basis neuronaler Netze. Im Allgemeinen stimmte ich diesem Begriff für mich zu.
Ich arbeite selbst mit Bäumen - eine baumbasierte Datenbank ist auch anwendbar. 1 Blatt in einem Baum = 1 Zeile in einer Datenbank. Unterschiede:
Vorteile von Bäumen gegenüber Datenbanken: Verallgemeinerung und schnelle Suche nach dem gewünschten Blatt - man muss nicht eine Million Zeilen durchgehen, das Blatt kann durch mehrere Teilungen erreicht werden.
Clustering verallgemeinert ebenfalls. Kmeans - durch die Nähe der Beispiele zum Zentrum des Clusters, andere Methoden anders.
Fazit: Baumlernen = Speichern/Aufzeichnen von Beispielen, genau wie eine Datenbank. Wenn man mit der Unterteilung/Lernen aufhört, bevor die genaueste Speicherung möglich ist,speichert man mit Generalisierung.Man kann auch durch die maximale Anzahl von Clustern = Anzahl von Beispielen dividieren und erhält ein Analogon von Datenbank/Blättern ohne Generalisierung. Neuronale Netze sind schwieriger zu verstehen und zu begreifen, aber im Wesentlichen auch eine Datenbank, wenn auch nicht so offensichtlich wie Blätter und Cluster.
Andrew möchte natürlich darauf hinweisen, dass Lernen eine Optimierung ist. Nein - es ist Auswendiglernen. Aber es gibt auch eine Optimierung. Man kann über Variationen mit Lerntiefe, aufgeteilten Methoden usw. optimieren. Mit jedem Optimierungsschritt wird ein anderes Modell trainiert. Aber Lernen ist keine Optimierung. Es ist Auswendiglernen.
Über die Ausbildung...
Vor ein paar Jahren stieß ich auf einer allgemeinen (nicht technischen) Seite auf diesen Ausdruck: Datenbanken auf Basis neuronaler Netze. Im Allgemeinen stimmte ich diesem Begriff für mich zu.
Ich arbeite selbst mit Bäumen - eine baumbasierte Datenbank ist auch anwendbar. 1 Blatt in einem Baum = 1 Zeile in einer Datenbank. Unterschiede:
Vorteile von Bäumen gegenüber Datenbanken: Generalisierung und schnelle Suche nach dem gewünschten Blatt - man muss nicht eine Million Zeilen durchgehen, das Blatt kann durch mehrere Teilungen erreicht werden.
Clustering verallgemeinert ebenfalls. Kmeans - durch die Nähe der Beispiele zum Zentrum des Clusters, andere Methoden anders.
Fazit: Baumlernen = Speichern/Aufzeichnen von Beispielen, genau wie eine Datenbank. Wenn man mit der Unterteilung/Lernen aufhört, bevor die genaueste Speicherung möglich ist,speichert man mit Generalisierung.Man kann auch durch die maximale Anzahl von Clustern = Anzahl von Beispielen dividieren und erhält ein Analogon von Datenbank/Blättern ohne Generalisierung. Neuronale Netze sind schwieriger zu verstehen und zu begreifen, aber im Wesentlichen auch eine Datenbank, wenn auch nicht so offensichtlich wie Blätter und Cluster.
Andrew möchte natürlich darauf hinweisen, dass Lernen eine Optimierung ist. Nein - es ist Auswendiglernen. Aber es gibt auch eine Optimierung. Man kann über Variationen mit Lerntiefe, aufgeteilten Methoden usw. optimieren. Mit jedem Optimierungsschritt wird ein anderes Modell trainiert. Aber Lernen ist keine Optimierung. Es ist Auswendiglernen.
Die höchste Lernqualität ergibt sich bei absolut exaktem Auswendiglernen, d. h. bei einer vollständigen Erfassung aller Daten in der Datenbank, oder beim Trainieren eines Baums bis zum allerletzten möglichen Split oder beim Clustering mit Anzahl der Cluster = Anzahl der Beispiele.
Bäume, bei denen die Aufteilung früher aufhört oder die mit weniger Clustern arbeiten, verallgemeinern und verschmelzen die Daten in den Blättern/Clustern. Es handelt sich dabei um unzureichend trainierte Modelle, die jedoch bei Vorhandensein von Rauschen erfolgreicher sein können als Modelle mit exaktem Recall.
Zu Beginn des MO-Zweiges gab es ein Beispiel, bei dem einem Gerüst das Einmaleins beigebracht wurde. Da es nicht mit einer unendlichen Anzahl von Auswahlmöglichkeiten gefüttert wurde, produziert der Wald manchmal exakte Antworten, aber meistens ungefähre Antworten. Er ist eindeutig untertrainiert. Aber er ist in der Lage, zu verallgemeinern - er findet und mittelt die Antworten, die den richtigen Antworten der einzelnen Bäume am nächsten kommen.
Beim Lernen im Rauschen ist es schwierig, die Qualität zu beurteilen. Vor allem, wenn das Rauschen viel stärker ist als die Muster, wie beim Handel.
Zu diesem Zweck erfand man die Bewertung anhand von Validierungs- und Teststichproben, die Kreuzvalidierung, das "Jacking Forward", usw.Die höchste Qualität des Trainings wird bei absolut exakter Speicherung erreicht, d. h. wenn alle Daten vollständig in der Datenbank erfasst sind, oder wenn ein Baum bis zum letztmöglichen Split oder Clustering mit Anzahl der Cluster = Anzahl der Beispiele trainiert wird.
Bäume, bei denen die Aufteilung früher aufhört oder die Clusterbildung mit weniger Clustern erfolgt, verallgemeinern und verschmelzen die Daten in den Blättern/Clustern. Es handelt sich dabei um unzureichend trainierte Modelle, die jedoch bei Vorhandensein von Rauschen erfolgreicher sein können als Modelle mit exaktem Recall.
Zu Beginn des MO-Zweiges gab es ein Beispiel, bei dem einem Gerüst das Einmaleins beigebracht wurde. Da es nicht mit einer unendlichen Anzahl von Auswahlmöglichkeiten gefüttert wurde, produziert der Wald manchmal exakte Antworten, aber meistens ungefähre Antworten. Es ist offensichtlich, dass er nicht ausreichend trainiert ist. Aber er ist in der Lage, zu verallgemeinern - er findet und mittelt die Antworten, die den richtigen Antworten der einzelnen Bäume am nächsten kommen.
Beim Lernen im Rauschen ist das schwer zu beurteilen. Vor allem, wenn das Rauschen viel stärker ist als die Muster, wie beim Handel.
Was ist falsch an der üblichen Definition des Lernens - der Zuweisung bestimmter Werte zu Modellparametern?
Sie erfasst nicht das Wesentliche.
Man kann jede Art von Kauderwelsch und Unsinn zuordnen. Wenn wir vom Gegenteil ausgehen (Auswendiglernen/Erinnern), dann ist Lernen das Erkennen bestimmter Muster, durch die man neues Wissen schaffen oder erkennen kann. Ein Beispiel: Chat schreibt Gedichte über ein beliebiges Thema.
Die Maximierung der Qualität der Ausbildung bedeutet die Maximierung der Qualität der Vorhersagen für neue Daten. Niemand ist an Vorhersagen für die Trainingsstichprobe interessiert, da diese bereits bekannt sind. Das ist kein Lernen, das ist eine Annäherung. Annäherung nennt man nicht Lernen.