Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 1308

 
elibrarius:

ISOs werden nicht für alles freigegeben). In diesem Fall könnten Sie sich an dem orientieren, was in den MoD-Pakten als 2. Abschnitt bezeichnet wird.

In der von Ihnen verwendeten Catbust steht zwar "Test", aber in der Erläuterung heißt es, dass sie zur Validierung verwendet wird. In anderen Paketen XGBoost, Darch - sie schreiben Validierung.

Ursprünglich gab es einen Test- und einen Trainingssatz, die Methode der Kreuzvalidierung wurde eingeführt, und diese Stichprobe wurde Validierungsstichprobe genannt (sie wird tatsächlich zur Kreuzvalidierung von Training und Test verwendet). Nun gibt es ein Boosting, das eine Probe benötigt, um das Training zu beenden - es wird Test genannt, und es wird auch validiert, weil es dazu dient, die Ergebnisse des Trainings zu testen, aber es lernt nicht, im Gegensatz zur Kreuzvalidierung.

Ich will damit sagen, dass Stichproben bei verschiedenen Ausbildungsmethoden unterschiedlich eingesetzt werden können. Validierung ist eher eine Aktion als eine Art der Probenahme...

 
Vladimir Perervenko:

Der Validierungssatz wird in das Training einbezogen. Er wird verwendet, um die Modellparameter während des Trainings festzulegen. Einige Pakete benötigen keine Validierungsmenge, in diesem Fall wird die Trainingsmenge in der fit()-Funktion in einem bestimmten Verhältnis in train/valid aufgeteilt. Aber es ist besser, sie selbst zu spezifizieren.

Die Testsuite dient zur Überprüfung der Qualität des trainierten Modells, und diese Daten sollte das Modell während des Trainings nicht zu Gesicht bekommen.

Es handelt sich also um unterschiedliche Dinge, kein Grund zur Verwirrung.

Viel Glück!

Ok, so sei es. Ich habe keine Statistiken über die Aussagen von Hunderten von Personen, die an der Schaffung von verschiedenen Methoden der IR, gibt es keine Lust zu streiten, wie ursprünglich sprach ich darüber, wie bequem für mich zu teilen Konzepte in meinem Kopf, und wenn es nicht bequem für andere, dann lassen Sie mich allein bleiben mit meinen Konzepten.

 
Aleksey Vyazmikin:

OK, so sei es. Ich habe keine Statistiken über die Aussagen von Hunderten von Menschen, die an der Entwicklung verschiedener MO-Methoden beteiligt sind, und ich habe auch keine Lust zu streiten, da ich ursprünglich darüber gesprochen habe, dass ich mich mit der Trennung von Konzepten in meinem Kopf wohl fühle, und wenn andere sich nicht wohl fühlen, dann soll ich mit meinen Konzepten allein sein.

Ja, das Thema ist schon ziemlich überlaufen, und jetzt muss jeder seine eigene Terminologie erfinden:)

Auch wenn es speziell um die Bezeichnung der Datenstichproben geht, ist es meiner Meinung nach sinnlos, darüber zu streiten, denn es gibt alle möglichen Methoden für ihre Bildung und Verwendung, und wesentlich bleibt IMHO nur eine Tatsache - ob diese Daten am Lernprozess teilgenommen (In-Sample) oder nicht teilgenommen (Out-Of-Sample) haben.
Denn alle IS-Stichproben werden auf die eine oder andere Weise zur Anpassung des Modells verwendet, die OOS nur zur Bewertung seiner Qualität.


Und um eindeutig zu sein, denke ich, es wäre logisch, die Ergebnisse in der üblichen Tester Form, wo alle Proben, die in der Ausbildung verwendet wurden - IS als Backtest, und OOS als Vorwärts darstellen zu präsentieren.

 
Iwan Negreshniy:

Ja, das Thema ist schon ziemlich unübersichtlich, und jetzt muss sich jeder seine eigene Terminologie ausdenken:)

Auch wenn es speziell um die Bezeichnung der Datenstichproben geht, ist es meiner Meinung nach sinnlos, darüber zu streiten, denn es gibt alle möglichen Methoden für ihre Bildung und Verwendung, und wesentlich bleibt IMHO nur eine Tatsache - ob diese Daten am Lernprozess teilgenommen haben (In-Sample) oder nicht (Out-Of-Sample).
Denn alle IS-Stichproben werden auf die eine oder andere Weise zur Anpassung des Modells verwendet, die OOS nur zur Bewertung seiner Qualität.


Und zum besseren Verständnis wäre es meiner Meinung nach logisch, die Ergebnisse in der dem Tester vertrauten Form darzustellen, wobei alle Proben, die im Training verwendet wurden, als Backtest und OOS als Forward dargestellt werden sollten.


Es ist besser, getrennte Diagramme zu zeigen, denn die Stichprobe, die nicht an der Schulung teilgenommen hat, ist in der Regel viel kleiner als diejenige, die teilgenommen hat, und visuell ist in einem solchen gebrochenen Diagramm nichts klar, das ist für mich persönlich.

 
Catbust verfügt übrigens über eine Kreuzvalidierung - dann braucht es den "Test"-Schlüssel nicht, sondern verwendet eine einzige Stichprobe, die auf verschiedene Arten aufgeschlüsselt wird.
 
Aleksey Vyazmikin:
Übrigens verfügt Catbust über eine Kreuzvalidierung - dann braucht es den "Test"-Schlüssel nicht, sondern verwendet eine einzige Stichprobe, die auf verschiedene Arten aufgeschlüsselt wird.

Wissenschaftler arbeiten mit solchen Dingen, aber sie verstehen nicht, was in neuronalen Netzen passiert, geschweige denn in Wäldern, wie und warum die Dinge genau so sind, wie sie sind, wo sich die Dinge zu welchem Zeitpunkt ändern und warum, wir können nur ihrer Autorität vertrauen und ihre Modelle anwenden, im Vertrauen auf eine höhere Macht.

 
Kesha Rutov:

Wissenschaftler arbeiten mit solchen Dingen, aber sie verstehen nicht, was in neuronalen Netzen passiert, geschweige denn in Wäldern, wie und warum die Dinge so sind, wie sie sind, wo sich die Dinge zu welchem Zeitpunkt ändern und warum, wir müssen nur ihrer Autorität vertrauen und ihre Modelle anwenden, im Vertrauen auf eine höhere Macht.

Wälder/Bäume, mit denen Sie sich offensichtlich nicht beschäftigt haben. Ihre Lösungen sind von Menschen leicht zu interpretieren. In jedem grundlegenden Artikel über Baumalgorithmen wird dies auf ein paar Seiten erklärt.
 
Aleksey Vyazmikin:

OK, so sei es. Ich habe keine Statistiken über die Aussagen von Hunderten von Personen, die an der Schaffung verschiedener Methoden des MoD beteiligt sind, keine Lust zu streiten, da ich ursprünglich darüber gesprochen habe, dass ich mich mit der Trennung von Konzepten in meinem Kopf wohl fühle, und wenn andere sich nicht wohl fühlen, dann lass mich mit meinen Konzepten in Ruhe.

Sturheit hat eine ähnliche Bedeutung wie Starrköpfigkeit. Ich hoffe, dass sie Ihnen helfen werden, Ihre Ideen in MO erfolgreich umzusetzen. Dies sind nützliche Eigenschaften für Forscher. ;-)

PS Ich habe mir einen Namen für Ihr Blattsuchsystem ausgedacht: "Herbarium" - ergänzen Sie Ihre Sammlung von Methoden aus Bäumen, Wäldern, Baumstümpfen und Dschungeln.
 
elibrarius:

PS: Ich habe mir einen Namen für Ihr Blattauswahlsystem ausgedacht: "Herbarium" - ergänzen Sie Ihre Sammlung von Methoden aus Bäumen, Wäldern, Baumstümpfen und Dschungeln.

))) Ich würde es Lumberjack oder Sawmill nennen.

 
Kesha Rutov:

Wissenschaftler arbeiten mit solchen Dingen, aber sie verstehen nicht, was in neuronalen Netzen passiert, geschweige denn in Wäldern, wie und aus welchem Grund alles genau so ist, wie es ist, wo sich was zu welchem Zeitpunkt ändert und warum, wir können nur ihrer Autorität vertrauen und ihre Modelle anwenden, im Vertrauen auf eine höhere Macht.

Ich stimme teilweise zu, wir leben im Zeitalter der schnellen Datenverarbeitung, und während die Menschen früher Berechnungen auf Papier anstellten, bevor sie Zugang zu einem Computer hatten, sind heute die Informationsmengen und die Methoden zu ihrer Verarbeitung so groß, dass es oft sinnvoller ist, sich auf das Ergebnis zu konzentrieren als auf den Prozess.