Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 3293

 
Maxim Dmitrievsky #:

Im Verteidigungsministerium wird ein anderer Zeitplan verwendet

Bei der Kozol-Inferenz ist es einfacher, mit Verzerrungen als mit Varianzen zu arbeiten. Daraus ergibt sich die nicht hypothetische Schlussfolgerung, dass die Modellkomplexität oder die zunehmende Anzahl von Merkmalen eher hinderlich als hilfreich ist.


Woher stammt diese Grafik?

MO verwendet ganz andere Kriterien, wie z. B. AIC, das für zu viele Parameter bestraft wird.

Dieses und andere Informationskriterien entsprechen einer gängigen Annahme in der Modellierung, dass von zwei Modellen mit gleicher Leistung dasjenige mit weniger Parametern gewählt wird.

Vergessen wir nicht, dass schon der Begriff "Modell" eine Verharmlosung der Realität darstellt. Hier gibt es keine Extreme. Es gibt ein Gleichgewicht zwischen Vergröberung und Akzeptanz der Modellgenauigkeit. Aber die Hauptsache ist nicht die Genauigkeit des Modells, sondern seine Vergröberung, seine Verallgemeinerungsfähigkeit. Und das ist verständlich, denn der Hauptfeind der Modellierung ist die Überanpassung, das Geschwisterchen der Modellgenauigkeit.

 
СанСаныч Фоменко #:

Woher stammt diese Grafik?

Die Grundlagen der Grundlagen

https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff

 
СанСаныч Фоменко #:

Vergessen wir nicht, dass der Begriff "Modell" selbst eine Verdichtung der Realität ist. Hier gibt es keine Extreme. Es gibt ein Gleichgewicht zwischen Vergröberung und Akzeptanz der Modellgenauigkeit. Aber die Hauptsache ist nicht die Genauigkeit des Modells, sondern seine Vergröberung, seine Verallgemeinerungsfähigkeit. Und das ist verständlich, denn der Hauptfeind der Modellierung ist die Überanpassung, das Geschwisterchen der Modellgenauigkeit.

Sie verwechseln ständig den Begriff "Extremum" mit "scharfer Spitze" (dem Punkt, an dem eine Funktion keine Ableitung hat).

Auch eine ebene Fläche hat ein Extremum.

Eine andere Sache ist, dass FFs immer versuchen, so zu wählen, dass die FF-Oberfläche so glatt wie möglich ist und das globale Extremum das einzige ist. Das einzige globale Extremum muss die einzige eindeutige Lösung des Problems sein.

Wenn das globale Extremum der FF nicht das einzige ist, und noch mehr, wenn es keine Ableitung hat, bedeutet dies eine falsche Wahl der FF (das Kriterium für die Modellbewertung). Wenn man dies missversteht, spricht man von "Overfitting", wenn man dies missversteht, sucht man nach einem mehrdeutigen lokalen Extremwert.

Wir können eine Analogie ziehen: ein Spezialist - ein Arzt - wird ausgebildet, Qualifikationsprüfungen (FF) werden für die Zertifizierung entwickelt, für einen Arzt kann es keinen Begriff von "übertrainiert" oder "überangepasst" geben, wenn ein Arzt nicht die maximale Punktzahl erhält - bedeutet das, dass er untertrainiert ist. Und Ihrer Meinung nach sollte ein guter Arzt immer ein untertrainierter Leistungsverweigerer sein.

Das Problem mit dem "Übertraining" ist wieder einmal die falsche Wahl der Kriterien für die Bewertung des Modells. Es scheint, dass es solche coolen Experten im Forum gibt, aber sie wiederholen die gleichen Fehler immer wieder. Die Entwicklung korrekter Schätzkriterien ist nicht weniger wichtig als die Wahl der Prädiktoren, sonst ist es einfach unmöglich, das Modell angemessen zu schätzen.

Ich rechne mit einer Flut von Einwänden, das ist in Ordnung, ich bin daran gewöhnt. Wenn es jemandem nützt - großartig, und diejenigen, denen es nicht nützt - was auch immer, so denken sie, dass es gut ist, wie es ist.

 
Andrey Dik #:

Sie verwechseln immer wieder den Begriff "Extremum" mit "scharfer Spitze" (dem Punkt, an dem eine Funktion keine Ableitung hat).

Auch eine ebene Fläche hat ein Extremum.

Außerdem versuchen die FFs immer so zu wählen, dass die FF-Oberfläche so glatt wie möglich ist und das einzige globale Extremum darstellt. Das einzige globale Extremum muss die einzige eindeutige Lösung des Problems sein.

Wenn das globale Extremum der FF nicht das einzige ist, und erst recht, wenn es keine Ableitung hat, bedeutet dies eine falsche Wahl der FF (das Kriterium für die Modellbewertung). Wenn man dies missversteht, spricht man von "Overfitting", wenn man dies missversteht, sucht man nach einem mehrdeutigen lokalen Extremum.

Wir können eine Analogie ziehen: ein Spezialist - ein Arzt - wird ausgebildet, Qualifikationsprüfungen (FF) werden für die Zertifizierung entwickelt, für einen Arzt kann es keinen Begriff von "übertrainiert" oder "überangepasst" geben, wenn ein Arzt nicht die maximale Punktzahl erhält - bedeutet das, dass er untertrainiert ist. Und Ihrer Meinung nach sollte ein guter Arzt immer ein unausgebildeter Nicht-Wissenschaftler sein.

Das Problem mit dem "Übertraining" ist wieder einmal die falsche Wahl der Kriterien für die Bewertung des Modells. Es scheint, dass es solche coolen Experten im Forum gibt, aber sie wiederholen die gleichen Fehler immer und immer wieder. Die Entwicklung der richtigen Schätzkriterien ist nicht weniger wichtig als die Auswahl der Prädiktoren, denn sonst ist es einfach unmöglich, das Modell angemessen zu schätzen.

Ich rechne mit einer Flut von Einwänden, das ist in Ordnung, ich bin daran gewöhnt. Wenn es jemandem nützt - großartig, und denen, denen es nicht nützt, ist es egal, also finden sie es gut so, wie es ist.

Sie verwechseln da etwas. Sie versuchen, die Optimierung an die Annäherung anzupassen, oder umgekehrt.

Annäherung und Optimierung sind unterschiedliche Ansätze für die Lösung von Problemen des maschinellen Lernens.


Bei der Approximation geht es darum, ein Modell zu erstellen, das die Beziehung zwischen Eingabe- und Ausgabedaten approximiert. Dies kann z. B. die Konstruktion einer linearen oder nichtlinearen Funktion sein, die die Daten am besten beschreibt. Bei der Annäherung wird das Ziel oder das zu lösende Problem nicht berücksichtigt, sondern es wird lediglich versucht, ein Modell zu erstellen, das den Daten am besten entspricht.


Bei der Optimierung hingegen geht es darum, die optimalen Modellparameter zu finden, um ein bestimmtes Ziel oder Problem zu erreichen. In diesem Fall kann das Modell komplexer sein und mehr Parameter enthalten als im Falle der Annäherung. Bei der Optimierung wird das Ziel berücksichtigt und die Modellparameter werden angepasst, um das bestmögliche Ergebnis zu erzielen.


Im Allgemeinen werden Annäherung und Optimierung häufig zusammen verwendet, um effektive Modelle für maschinelles Lernen zu erstellen. Zunächst wird eine Annäherung durchgeführt, um das Modell zu erstellen, und dann werden die Parameter dieses Modells optimiert, um das gewünschte Ziel oder die Aufgabe zu erreichen.

 
Das neuronale Netz kümmert sich nicht um Ihre FFs. Es erfüllt seine Aufgabe mit Daten von der Stange. Die Diskussion hier ist, wie man ein Gleichgewicht zwischen Varianz und Verzerrung eines solchen Modells findet. Mitramiles hat verschiedene FFs auf das zweite Ende des NS gelegt. Sie erhielten alle die gleichen Anpassungen.

Sie schreiben über die Suche nach einem Ziel f-i, das wir bereits standardmäßig eingestellt haben.

Sie müssen noch den Unterschied erkennen.
 
Aus diesem Grund wurde oben über die Bedeutung einer korrekten Markierung oder eines Orakels auf der Grundlage von Expertenwissen oder algorithmischen Entscheidungen geschrieben. Das ist es, was Sie a priori in das Modell einbringen. Keine FFs werden Sie da retten.

Es wurde schon mehrfach diskutiert, immer wieder. Entweder es wird etwas Konkretes diskutiert, oder jeder zieht die Last auf seine eigene Seite.
 

Nun, ich habe es dir gesagt.

Ich würde es verstehen, wenn Sanych zurückschlagen würde, aber Max....

FF ist eine Bewertung, wir bewerten alles. Wenn wir das, was wir tun, falsch einschätzen, heißt das nicht, dass wir es falsch machen. Ohne eine ordentliche Bewertung steht es 50:50, und dann heißt es - das funktioniert nicht, das funktioniert nicht.... Ich behaupte nicht, dass ich ein Experte für Bewertungsdesign bin, das ist eine sehr schwierige Aufgabe.

"Es ist nur das Gleiche, was im Kreis gesagt wird" - das sind nicht meine Worte, wenn überhaupt)))))) Es ist möglich, Wörter an einigen Stellen zu ändern, so dass es sich noch schlechter anhört, hier ist das Bewertungskriterium "Anzahl der Wörter", das ist keine korrekte Bewertung, denn durch das Ändern von Wörtern an einigen Stellen kann sich die Bedeutung dramatisch ändern.

 
Ich kann nicht umhin, die verblüffende Nachricht mitzuteilen (die für mich so wahr ist), dass ein noch stärkerer Algorithmus als SSG gefunden worden ist.
 
Die Begriffe werden ständig ausgetauscht, es ist unmöglich, sich zu verständigen.
 
Maxim Dmitrievsky #:
Es gibt einen ständigen Austausch von Begriffen, es ist unmöglich zu kommunizieren.

Ich stimme zu, niemand versteht den anderen, es gibt kein einheitliches Kriterium für die Bewertung einer Aussage und ihrer semantischen Ladung. Niemand weiß, wer was meint, wie in dieser Anekdote:

- Was meinst du?!

- Ich meine, was ich meine.

So ist es auch im Verteidigungsministerium.