Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 2739

 
mytarmailS #:
Alexej, es ist eine normale Suchaufgabe, genau wie du es magst, wo ist das Problem?

Macht das Skript das nun oder nicht?

Ich frage mich nur, wie viele Leute hier leicht den Faden des Gesprächs verlieren.

 

Ich kann eine Stichprobe mit vielen Prädiktoren veröffentlichen. Wer die besten Prädiktoren auswählen kann - gut gemacht - lasst uns einen Wettbewerb veranstalten.

Die besten werden anhand einer unabhängigen Stichprobe ermittelt, nachdem das Modell mit den ausgewählten Prädiktoren trainiert wurde.

Möchte jemand mitmachen, oder sind sie alle nur durch Mundpropaganda so fähig?

 

Ein zu allgemeines Thema. Zerfällt oft in seine Bestandteile. Längst überfällig, in mehrere Threads aufgeteilt zu werden. Zum Beispiel: 1. MO: Datenvorverarbeitung. 2. MO: Modellauswahl. 3. MO.Modelltraining und Optimierung. 4. MO.Implementierung von Modellen. 5.MO. IO-Automatisierung.

Die Aufteilung ist sehr groß und grob, aber es wird klar sein, worum es in der Branche geht. Und damit um alles und nichts.

Und natürlich ist es notwendig, reproduzierbare Code-Beispiele zu geben, sonst gibt es keinen praktischen Nutzen der Vorträge .

Viel Glück an alle

 
Aleksey Vyazmikin #:

Macht das Skript das nun oder nicht?

Ich bin nur überrascht, wie leicht viele Leute hier den Faden der Unterhaltung verlieren.

Alexey, du hast nach einem Beispiel gefragt, wie man die Bedeutung von Schildern mit einem Schiebefenster betrachten kann.

Ich habe ein Skript für Sie geschrieben.

Dann wollen Sie in verschiedenen Maßstäben suchen oder was auch immer Sie wollen, warum zum Teufel sollte ein Skript aus der Vergangenheit in der Lage sein, Ihre Wünsche für die Zukunft zu erfüllen?

Ich bin nur überrascht, wie viele Leute hier leicht den Faden verlieren. Das sind Sie.

 
Vladimir Perervenko #:

Ein zu allgemeines Thema. Zerfällt oft in seine Bestandteile. Längst überfällig, in mehrere Threads aufgeteilt zu werden. Zum Beispiel: 1. MO: Datenvorverarbeitung. 2. MO: Modellauswahl. 3. MO.Modelltraining und Optimierung. 4. MO.Implementierung von Modellen. 5.MO. Automatisierung von MOEs.

Die Aufteilung ist sehr groß und grob, aber es wird deutlich, worum es in dem Bereich geht. Und damit um alles und nichts.

Und natürlich ist es notwendig, reproduzierbare Code-Beispiele zu geben, sonst haben die Vorträge keinen praktischen Nutzen.

Viel Glück für alle

Vielmehr sollten wir uns nach den Aufgaben aufteilen, die wir lösen, aber das ist zu individuell...

Zum Beispiel werden zwei Leute in einem Preprocessing-Thread keine gemeinsame Basis finden, wenn einer ZZ für die gesamte Stichprobe vorhersagt und der andere MO verwendet, um 10-20 Cluster aus allen Daten für einige Bedürfnisse auszuwählen.... Etc...

Der gleiche Mist wird da sein, aber er wird mehr auf die Themen verschmiert sein
 
Valeriy Yastremskiy #:

SSF hat natürlich nicht viel Neues gesagt, denn das Ziel, eine Korrelation zwischen Prädiktoren und Ergebnissen zu finden, liegt auf der Hand. Das einzig Neue, das ich aufgeschnappt habe, war, dass er etwa 200 signifikante Merkmale für das gesamte Training gefunden hat, aber für spezifische Daten nur 5 Prozent davon verwendet.

Ich verstehe das so, dass es einige Möglichkeiten gibt, den Zustand/die Eigenschaften einer Reihe schnell zu bestimmen, um aussagekräftigere Prädiktoren nur für die neuesten Daten auszuwählen. Für die richtige Auswahl stellt sich natürlich die Frage des Umfangs oder der Länge. Aber anscheinend funktioniert es sogar mit nur 200 gefundenen und ausgewählten Prädiktoren im gesamten umfangreichen Training.

Ichsehe das folgendermaßen. Eine Reihe hat Eigenschaften, die in einigen Indizes stabil sind, aber diese Indizes und ihre Anzahl sind in verschiedenen Abschnitten unterschiedlich. MO findet einige verschiedene Zustände von ausreichender Dauer der Stabilität der Reihe, die durch verschiedene Modelle und entsprechende Modelleinstellungen - Prädiktoren - beschrieben werden können. Die Gesamtzahl der Prädiktoren ist die Gesamtzahl der Einstellungen für verschiedene Modelle, und dementsprechend kann man durch die Definition eines Modells schnell die zuvor gefundenen Einstellungen für dieses Modell finden.


Ich habe in diesem Thread schon einmal eine Tabelle gepostet, aber jetzt ist sie nicht mehr zur Hand, also werde ich meine Idee in Worten erläutern.

Ich stütze mich auf den Begriff der Prädiktor-Lehrer-Korrelation. Die "Verknüpfung" ist NICHT die Korrelation oder "Wichtigkeit" von Prädiktoren, die in fast jedes MOE-Modell passen. Letzteres spiegelt wider, wie oft ein Prädiktor in einem Algorithmus verwendet wird, so dass den Saturnringen oder dem Kaffeesatz ein hoher Wert an "Wichtigkeit" zugewiesen werden könnte. Es gibt Pakete, mit denen man die "Verbindung" zwischen Prädiktor und Lehrer berechnen kann, z. B. auf der Grundlage der Informationstheorie.

Nun noch ein Wort zu der Tabelle, die ich hier veröffentlicht habe.

Die Tabelle enthielt eine numerische Schätzung der "Verbindung" zwischen jedem Prädiktor und der Lehrkraft. Bei der Verschiebung des Fensters wurden mehrere hundert Werte für die "Konnektivität" ermittelt. Diese Werte für einen bestimmten Prädiktor variierten. Ich berechnete den Mittelwert und den sd-Wert für jede "Verbindung", was es mir ermöglichte:

- Prädiktoren zu isolieren, die einen zu kleinen "Verbindungs"-Wert haben - Rauschen;

- Prädiktoren zu isolieren, deren "Kopplungs"-Wert zu variabel ist. Es war möglich, Prädiktoren zu finden, die einen ausreichend großen Wert der "Kopplung" und einen sd-Wert von weniger als 10 % haben.


Auch hier besteht das Problem bei der Konstruktion eines auf MO basierenden TC darin, Prädiktoren zu finden, die einen großen Wert für die "Kopplung" und einen kleinen Wert für sd haben, wenn sich das Fenster bewegt. Meiner Meinung nach werden solche Prädiktoren die Stabilität des Vorhersagefehlers in der Zukunft sicherstellen.


Dies ist NICHT das erste Mal, dass ich das oben Gesagte gesagt habe. Leider geht die Diskussion immer wieder in Rauschen und Narzissmus über.

 
mytarmailS #:

Alexej, Sie haben nach einem Beispiel gefragt, wie man die Bedeutung von Merkmalen mit einem gleitenden Fenster betrachten kann.

Ich habe ein Skript für dich geschrieben...

Dann wollen Sie in verschiedenen Maßstäben suchen oder was auch immer Sie wollen, warum zum Teufel sollte ein Skript aus der Vergangenheit in der Lage sein, Ihre Wünsche für die Zukunft zu erfüllen?

Ich bin nur überrascht, wie viele Leute hier leicht den Faden der Unterhaltung verlieren. Das bist du.

Ich habe darum gebeten, ein Skript zu erstellen - ja, ich zitiere: " Können Sie ein Skript in R für die Berechnungen für meine Stichprobe erstellen - ich werde es als Experiment durchführen. Das Experiment sollte die optimale Stichprobengröße offenbaren. ", aber dies ist eine Antwort auf etwas, das bereits getan wurde.

Zuvor schrieb ich "... Und wie schlagen Sie vor, die Dynamik zu beobachten, wie zu realisieren? " - hier fragte ich nach der Umsetzung der Prädiktorenschätzung in der Dynamik, d.h. der regelmäßigen Schätzung durch ein Fenster, wobei nicht klar ist, ob es sich um ein Fenster bei jeder neuen Stichprobe oder nach jeweils n Stichproben handelt. Wenn Sie dies getan haben, verstehe ich es nicht.

Der Code, den Sie gepostet haben, ist großartig, aber es fällt mir schwer zu verstehen, was er genau tut oder was er im Wesentlichen beweist, also habe ich angefangen, zusätzliche Fragen zu stellen. Was bedeuten die beiden Bilder mit den Diagrammen?

 
СанСаныч Фоменко #:

Ich habe in diesem Thread schon einmal eine Tabelle gepostet, aber ich habe sie im Moment nicht zur Hand, also werde ich meinen Gedanken in Worten erläutern.

Ich stütze mich auf das Konzept der Prädiktor-Lehrer-Korrelation. Die "Verknüpfung" ist NICHT die Korrelation oder "Wichtigkeit" der Prädiktoren bei der Anpassung fast aller MOE-Modelle. Letzteres spiegelt wider, wie oft ein Prädiktor in einem Algorithmus verwendet wird, so dass den Saturnringen oder dem Kaffeesatz ein hoher Wert an "Wichtigkeit" zugewiesen werden könnte. Es gibt Pakete, mit denen man die "Verbindung" zwischen Prädiktor und Lehrer berechnen kann, z. B. auf der Grundlage der Informationstheorie.

Nun noch ein Wort zu der Tabelle, die ich hier veröffentlicht habe.

Die Tabelle enthielt eine numerische Schätzung der "Verbindung" zwischen jedem Prädiktor und der Lehrkraft. Bei der Verschiebung des Fensters wurden mehrere hundert Werte für die "Konnektivität" ermittelt. Diese Werte für einen bestimmten Prädiktor variierten. Ich berechnete den Mittelwert und den sd-Wert für jede "Verbindung", was es ermöglichte:

- Prädiktoren zu isolieren, die eine zu geringe "Kopplung" aufweisen - Rauschen;

- Prädiktoren zu isolieren, deren "Kopplungs"-Wert zu variabel ist. Es war möglich, Prädiktoren zu finden, die einen ausreichend großen Wert der "Verbindung" und einen sd-Wert von weniger als 10 % haben.


Auch hier besteht das Problem bei der Konstruktion eines auf MO basierenden TC darin, Prädiktoren zu finden, die einen großen "Link"-Wert und einen kleinen sd-Wert haben, wenn sich das Fenster bewegt. Meiner Meinung nach werden solche Prädiktoren die Stabilität des Vorhersagefehlers in der Zukunft sicherstellen.


Dies ist NICHT das erste Mal, dass ich das oben Gesagte gesagt habe. Leider geht die Diskussion immer wieder in Rauschen und Narzissmus über.

Sie haben also im Wesentlichen den gleichen Ansatz wie ich, neugierig! Nur, vielleicht suchen wir den "Zusammenhang" anders. Als Fenster nehme ich 10 Beispielplots und suche darauf nach "Verbindung", wie machen Sie das?

Was ist Ihr Algorithmus, um eine Verbindung zu finden, können Sie ihn beschreiben?

 
СанСаныч Фоменко #:


Dies ist NICHT das erste Mal, dass ich das oben Gesagte sage. Leider driftet die Diskussion ständig in Lärm und Narzissmus ab.

ja, der eigentliche Diskus geht auf die Präsentation des dartagnanischsten Dartagnan im Hintergrund (moderiertes Wort) :-)

und das alles wegen des Fehlens jeglicher Ergebnisse. Man kann die Methode verbessern und ändern, aber das Ergebnis ist wie ein 50/50 Stein.

 
Aleksey Vyazmikin #:

Sie haben also im Wesentlichen den gleichen Ansatz wie ich, neugierig! Nur suchen wir vielleicht anders nach "Verbindung". Als Fenster nehme ich 10 Musterplots und suche auf ihnen nach "Verbindung", wie machen Sie das?

Was ist Ihr Algorithmus für die Suche nach einer Verbindung, können Sie ihn beschreiben?

Ich verwende meinen eigenen Algorithmus - er arbeitet viel schneller als zahlreiche R-Bibliotheken. Zum Beispiel,

library("Entropie")

Sie können einfach Graphen verwenden:



Alles wurde bereits in diesem Thread gepostet. In den Artikeln von Vladimir Perervenko wird alles systematisch beschrieben und auf Code-Ebene durchgekaut