Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 2843
Sie verpassen Handelsmöglichkeiten:
- Freie Handelsapplikationen
- Über 8.000 Signale zum Kopieren
- Wirtschaftsnachrichten für die Lage an den Finanzmärkte
Registrierung
Einloggen
Sie stimmen der Website-Richtlinie und den Nutzungsbedingungen zu.
Wenn Sie kein Benutzerkonto haben, registrieren Sie sich
SanSanych Fomenko, sollten wir eine Probe erwarten?
Worum geht es hier?
Ich verstehe. Sie sind nur oberflächlich mit maschinellen Lernmodellen vertraut.
Das erste Element der Kette ist die Vorverarbeitung, die 50 bis 70 % der Arbeit ausmacht. Hier entscheidet sich der zukünftige Erfolg.
Das zweite Element der Kette ist das Trainieren des Modells anhand einer Reihe von Trainingsdaten.
Das dritte Glied der Kette ist die Ausführung des trainierten Modells auf der Testmenge. Weicht die Leistung des Modells auf diesen Sets um mindestens ein Drittel ab, wird das Modell neu trainiert. Das kommt hin und wieder vor, wenn nicht sogar öfters. Ein übertrainiertes Modell ist ein Modell, das zu genau ist. Tut mir leid, die Grundlagen.
Was hat das zu bedeuten?
Ich habe schon früher geschrieben
Forum über Handel, automatisierte Handelssysteme und das Testen von Handelsstrategien
Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading
Aleksey Vyazmikin, 2022.12.08:44
Können Sie mir Ihr Beispiel schicken? Wir haben die gleiche Sichtweise auf das Problem des schlechten Modelltrainings. Ich würde gerne vergleichen, inwieweit Ihre Auswahlmethode besser ist als meine und ob sie zu Ihrem Beispiel passt.
Sie haben mir geantwortet, dass dies eine gute Idee sei, aber Sie haben die Nachricht gelöscht.
Soweit ich das jetzt verstanden habe, spreche ich über Modelle des maschinellen Lernens und die Optimierung, die in diese Modelle eingebaut ist. Damit haben Sie angefangen, mit neuronalen Netzen.
Sie diskutieren über die Optimierung an sich, die für mich beim maschinellen Lernen nicht relevant ist.
Ich wünsche Ihnen viel Glück bei Ihrer Suche nach einem globalen Optimum.
Soweit ich das verstehe, spreche ich über Modelle des maschinellen Lernens und die Optimierung, die in diese Modelle eingebaut ist. Damit haben Sie angefangen, mit neuronalen Netzen.
Sie diskutieren über die Optimierung als solche, die für mich beim maschinellen Lernen nicht relevant ist.
Viel Glück bei Ihrer Suche nach dem globalen Optimum.
Ich bin zu der wichtigsten Idee gelangt: Es gibt einen unbestreitbaren Zusammenhang zwischen Optimierung und Modellumschulung. Das Modell sollte immer eher "grob" gehalten werden, und es werden sicherlich keine globalen Optima benötigt.
Die einfache Ablehnung eines globalen Optimums verhindert natürlich nicht die Überanpassung. Die Überanpassung besteht in einer zu starken Anpassung des Modells an diese spezielle Stichprobe zu Lasten der vorhandenen Regelmäßigkeit. Dies geschieht aufgrund der extrem hohen Flexibilität fast aller MO-Algorithmen. Daher besteht die übliche Vorgehensweise darin, eine Strafe für übermäßige Modellflexibilität in das Optimierungskriterium einzuführen (Beispiel: Lassoregression). Man kann die Flexibilität des Modells einfach auf eine präskriptive Weise einschränken, aber mathematisch gesehen handelt es sich dabei nur um eine strengere Strafe.
Dies ist übrigens ein gutes Beispiel dafür, warum es möglich sein sollte, benutzerdefinierte Kriterien zu erstellen.
Die Bevorzugung eines globalen Extrems gegenüber einem Plateau ist etwas anders. Hier geht es nicht mehr um eine Überanpassung an eine bestimmte Stichprobe auf Kosten einer bestehenden und unveränderlichen Abhängigkeit. Hier geht es um die Tatsache, dass sich die Abhängigkeit aufgrund der Nicht-Stationarität der Preise (von der Sie anfangs sprachen) ändert, und wir müssen nach stabilen (robusten) Parameterwerten suchen, die auch bei kleinen Änderungen der Abhängigkeit noch gut genug sind.
Man muss nicht alles auf einen Haufen mischen.
Wenn ich nach einer akzeptablen Liste von Prädiktoren suche - Optimierung im Sinne der Hose. Aber die Bedeutung ist eine ganz andere: Ich versuche, "Müll rein - Müll raus" zu vermeiden. Das ist ein qualitativer Unterschied zum Versuch, den "richtigen" Algorithmus zu finden, der das globale Optimum findet. Kein globales Optimum wird einen profitablen TS auf Müll ergeben.
Die Wahl einer Hose ist ein Beispiel für multikriterielle Optimierung - die Wahl erfolgt nach Länge, Größe, Farbe, Stoff, Preis, Marke usw. Es ist klar, dass die Pareto-Oberfläche nicht gebildet wird, aber im Kopf des Käufers werden alle Kriterien zu einem Kompromiss vermischt . Das Gleiche geschieht bei der Auswahl von Merkmalen. Der wichtige Unterschied zur Hose besteht darin, dass hier eine explizite Formalisierung des Optimalitätskriteriums für den Kompromiss nützlich ist, da ein ständiges Verlassen auf die Intuition zu unvorhersehbaren Misserfolgen führen wird.
wenn das modell funktioniert, hat es einstellungen, mit denen es bei unbekannten daten gut funktioniert. es ist auch wahrscheinlich, dass es einstellungen hat, die bei oos keine zufriedenstellende leistung erbringen - diesen fall nennen manche übertraining. in der tat ist das schätzkriterium nicht richtig gewählt. die richtigen kriterien ergeben eine violette kurve für ein funktionierendes modell. das problem liegt in der maximierung (globales maximum) des richtigen schätzkriteriums. mit anderen Worten, wenn wir das globale maximum des richtigen kriteriums finden, erhalten wir eine violette kurve.
und umgekehrt, wenn das Kriterium falsch gewählt ist, dann wird die Maximierung eines solchen falschen Kriteriums eine rote Kurve ergeben.
Und dies unter der Annahme, dass das Modell funktioniert, aber wir sehen, wie wichtig das Bewertungskriterium ist.
Wenn aber das Modell nicht funktioniert, dann hilft nichts, weder das Kriterium noch die Optimierung.
Also, Modell->Kriterium->Optimierung des Kriteriums
Die Wahl einer Hose ist ein Beispiel für eine multikriterielle Optimierung - die Wahl erfolgt nach Länge, Größe, Farbe, Stoff, Preis, Marke usw. Es ist klar, dass die Pareto-Oberfläche nicht gebildet wird, aber im Kopf des Käufers werden alle Kriterien zu einem Kompromiss zusammengeführt . Das Gleiche geschieht bei der Auswahl von Merkmalen. Der wichtige Unterschied zur Hose besteht darin, dass hier eine explizite Formalisierung des Optimalitätskriteriums für den Kompromiss nützlich ist, da ein ständiges Verlassen auf die Intuition zu unvorhersehbaren Misserfolgen führen wird.
Die Auswahl einer Hose ist ein gutes Beispiel für eine kriteriengesteuerte Optimierung. Nicht jede gute Hose passt jedem. Die benutzergesteuerte Optimierung liefert die beste, am besten passende Hose (globales Maximalkriterium).
Hose -> Hosenbewertungskriterium -> Auswahl (Optimierung des Hosenbewertungskriteriums)
Eine einfache Ablehnung des globalen Extremwerts kann ein Übertraining (Überanpassung, Overfitting) natürlich nicht verhindern. Die Überanpassung besteht in einer zu starken Anpassung des Modells an diese spezielle Stichprobe zum Nachteil der bestehenden Regelmäßigkeit. Dies geschieht aufgrund der extrem hohen Flexibilität fast aller MO-Algorithmen. Daher besteht die übliche Vorgehensweise darin, eine Strafe für übermäßige Modellflexibilität in das Optimierungskriterium aufzunehmen (Beispiel: Lassoregression). Es ist möglich, die Flexibilität des Modells einfach auf direktem Wege einzuschränken, aber mathematisch gesehen handelt es sich nur um eine strengere Strafe.
Dies ist übrigens ein gutes Beispiel dafür, warum es möglich sein sollte, benutzerdefinierte Kriterien zu erstellen.
Die Bevorzugung eines globalen Extrems gegenüber einem Plateau ist etwas anders. Hier geht es nicht mehr um eine Überanpassung an eine bestimmte Stichprobe auf Kosten einer bestehenden und unveränderlichen Abhängigkeit. Hier geht es um die Tatsache, dass sich die Abhängigkeit aufgrund der Nicht-Stationarität der Preise (von der Sie anfangs sprachen) ändert, und es ist notwendig, nach stabilen (robusten) Parameterwerten zu suchen, die auch bei kleinen Änderungen der Abhängigkeit noch gut genug sind.
Mischen Sie nicht alles auf einen Haufen.
Die Wahl einer Hose ist ein Beispiel für eine multikriterielle Optimierung - die Wahl erfolgt nach Länge, Größe, Farbe, Stoff, Preis, Marke usw. Es ist klar, dass die Pareto-Oberfläche nicht gebildet wird, aber im Kopf des Käufers werden alle Kriterien zu einem Kompromiss vermischt. Das Gleiche geschieht bei der Auswahl von Merkmalen. Der wichtige Unterschied zur Hose besteht darin, dass hier eine explizite Formalisierung des Optimalitätskriteriums für den Kompromiss nützlich ist, da ein ständiges Verlassen auf die Intuition zu unvorhersehbaren Misserfolgen führen wird.
Schön, einen Beitrag von jemandem zum Thema zu sehen!
Wenn das Modell funktioniert, dann hat es einstellungen, mit denen es bei unbekannten daten gut funktioniert. es ist auch wahrscheinlich, dass es einstellungen hat, die bei oos keine zufriedenstellende leistung erbringen - diesen Fall nennen manche übertraining. tatsächlich ist das schätzkriterium nicht richtig gewählt. das richtige kriterium ergibt eine lila Kurve für das funktionierende Modell. das Problem läuft darauf hinaus, das richtige schätzkriterium zu maximieren (globales maximum). mit anderen Worten, wenn wir das globale maximum des richtigen kriteriums finden, erhalten wir eine lila Kurve.
und umgekehrt, wenn das Kriterium falsch gewählt ist, dann wird die Maximierung eines solchen falschen Kriteriums eine rote Kurve ergeben.
Und dies unter der Annahme, dass das Modell funktioniert, aber wir sehen, wie wichtig das Bewertungskriterium ist.
Wenn das Modell aber nicht funktioniert, dann hilft nichts, weder das Kriterium noch die Optimierung.
Also, Modell->Kriterium->Optimierung des Kriteriums
.
Beispiele für integrale Kriterien: Saldo, Gewinnfaktor und andere. Diese Kriterien nehmen eine zusammenfassende Bewertung vor, ohne die Ergebnisse von Zwischenereignissen des Prozesses zu berücksichtigen (im Handel sind das Transaktionen). z.B. zwei Ergebnisse mit demselben Endsaldo von 10000, in einem Fall 1000 gewinnbringende Transaktionen und im anderen Fall 999 unrentable und 1 gewinnbringende. es ist offensichtlich, dass das integrale Kriterium zwar in beiden Fällen dasselbe ist, aber die Art und Weise, wie das Ergebnis erzielt wurde, koordiniert unterschiedlich ist. deshalb beschweren sich die Leute oft über integrale Kriterien, dass Umschulung erhalten wird, der Markt nicht stationär ist, usw.
Ein Beispiel für ein abgeleitetes Kriterium ist die Standardabweichung von einer Gleichgewichtslinie, die vom Ausgangspunkt zum Endpunkt verläuft. Im Gegensatz zu integralen Kriterien berücksichtigen solche Kriterien die Zwischenergebnisse des Prozesses.
Integrale Kriterien können auch ihre Berechtigung haben, da sie auf bestimmte Arten von Systemen anwendbar sind (z. B. wenn die Anzahl der Transaktionen pro Zeiteinheit praktisch konstant ist).
Aber sowohl bei integralen als auch bei abgeleiteten Kriterien muss ein globales Optimum erreicht werden. Die Wahl der Kriterien bestimmt die Robustheit des Systems in der Zukunft.
Wenn der Forscher eine Idee hat, dass es notwendig sein könnte, nicht nach dem globalen Maximum zu suchen, sondern nach etwas in der Mitte, dann ist es in diesem Fall notwendig, die Kriterien für die Bewertung des Modells sofort zu überdenken.