Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 24
Sie verpassen Handelsmöglichkeiten:
- Freie Handelsapplikationen
- Über 8.000 Signale zum Kopieren
- Wirtschaftsnachrichten für die Lage an den Finanzmärkte
Registrierung
Einloggen
Sie stimmen der Website-Richtlinie und den Nutzungsbedingungen zu.
Wenn Sie kein Benutzerkonto haben, registrieren Sie sich
Alexey, ich habe noch eine weitere Frage zu Ihrer Funktion zur Sichtung von Prädiktoren - welches Intervall von Rückgabewerten sollte sie haben? Ich habe diese Fitnessfunktion auf meine Daten mit zufälligen Eingaben angewandt (fitness_f(runif(predictor_number, min = 0, max = 1))) und Ergebnisse von 0 bis 0,03 gesehen. Ich sehe auch im Code, dass die Funktion im Fehlerfall (Nulleingaben) 0 zurückgibt. Irgendetwas stimmt hier nicht, GenSA versucht, die Ergebnisse zu minimieren, d.h. am Ende wird GenSA einfach auf Nulleingaben kommen und aufhören. Vielleicht sollten wir dann das Vorzeichen des Ergebnisses der Fitnessfunktion ändern, damit GenSA in die entgegengesetzte Richtung wirkt?
Wenn die Fitnessfunktion an einem bestimmten Punkt der Optimierung beginnt, negative Zahlen zu liefern, und je niedriger diese sind, desto besser - dann ist alles in Ordnung.
Alexey, ich habe noch eine Frage zu Ihrer Funktion zum Aussieben von Prädiktoren: Welches Intervall von Rückgabewerten sollte sie haben? Ich habe diese Fitnessfunktion auf meine Daten mit zufälligen Eingaben angewendet (fitness_f(runif(predictor_number, min = 0, max = 1))) und Ergebnisse von 0 bis 0,03 gesehen. Ich sehe im Code auch, dass die Funktion im Fehlerfall (Nulleingaben) 0 zurückgibt. Irgendetwas stimmt hier nicht, GenSA versucht, die Ergebnisse zu minimieren, d.h. am Ende wird GenSA einfach auf Nulleingaben kommen und aufhören. Vielleicht sollten wir dann das Vorzeichen des Ergebnisses der Fitnessfunktion ändern, damit GenSA in die entgegengesetzte Richtung wirkt?
Wenn die Fitnessfunktion an einem bestimmten Punkt der Optimierung anfängt, negative Zahlen zu liefern, und je niedriger diese sind, desto besser, dann ist alles in Ordnung.
Blockdiagramm des Algorithmus, der auf korrigierter gegenseitiger Information und stochastischer Suche nach einer Teilmenge von Prädiktoren beruht.
Punkt "b" bedarf der Klärung. Die optimale Anzahl der Variablen ist ein bedingter Wert, der anhand der Formel berechnet wird:
Die Intuition ist, dass unter derAnnahme der Unabhängigkeit der Eingangsvariablen die durchschnittliche Anzahl der Ebenen einer Variablen auf die erforderliche Potenz erhöht werden muss, um eine Gesamtzahl eindeutiger interagierender Ebenen zu erhalten, so dass jede von ihnen im Durchschnitt mindestens n Beobachtungen konzentriert, wobei n als 100 angenommen wird.
Wir können nicht zu viele Inputvariablen mit zu vielen Niveaus haben, da eine vorsichtige Schätzung der Häufigkeit von Beobachtungen über die Inputniveaus zu klein wäre, um eine statistische Schlussfolgerung über die Abhängigkeit der Outputvariablen von der Menge der Inputniveaus zu ziehen.
Indem wir den Schwellenwert festlegen, bei dessen Überschreitung die Vektorwerte der Anzahl der Eingangsvariablen in 1 umgewandelt werden (das Kennzeichen für die Einbeziehung des Variablenindex), führen wir eine Wahrscheinlichkeitsberechnung durch:
Das Wesentliche ist, dass wir den maximalen Wahrscheinlichkeitswert festlegen, um die berechnete optimale Anzahl von Eingängen auszuwählen. Und diese Logik wird durch die Anwendung der Binomialverteilung überprüft.
Nehmen wir zum Beispiel unsere Daten: die Hälfte des gesamten Datensatzes, der für das Training verwendet wird.
Wir haben 17.973 Zeilen, 12 Prädiktoren, jeder mit 5 Stufen. Die Anwendung der obigen Formeln ergibt, dass die optimale Anzahl von Prädiktoren 3.226 beträgt.
Wendet man die Schwellenwertformel für die Aufnahme eines Prädiktors in den Satz an, erhält man 0,731.
Welche Anzahl ausgewählter Variablen ist bei einer Binomialverteilung am wahrscheinlichsten zu erhalten?
Die Höchstzahl beträgt 3 Beobachtungen. Um genau zu sein, würde 5 ^ 3.226 178 Stufen ergeben, die jeweils durchschnittlich 100 Beobachtungen umfassen würden.
Ja, ich habe eine Untergruppe von Prädiktoren mit einem negativen Fitnesswert gefunden. Es gab eine Menge Prädiktoren, mehrere Tausend, ich habe gensa auf nur 2 Iterationen beschränkt, dafür habe ich 8 Stunden gebraucht :). Das Ergebnis der Fitnessfunktion beträgt 6%. Beim Fronttest dieser Prädiktoren mit nnet habe ich 45% Fehler. Es ist nicht viel, ich glaube nicht, dass der EA im Gewinn sein würde. Ich habe wieder ein Limit von 10 Iterationen gesetzt, um ein besseres Ergebnis zu finden, habe es laufen lassen, warte seit 24 Stunden, hoffentlich wird gensa jemals fertig. Ich werde Genetics (GA-Bibliothek) ausprobieren müssen, es wird schneller mit mehreren Threads funktionieren (GA minimiert das Ergebnis, anstatt es zu maximieren, d.h. das Ergebnis der Fitnessfunktion für GA sollte sein Vorzeichen ändern). Ich werde weiter experimentieren.
Ich habe verschiedene Artikel über das Hauptkomponentenmodell gelesen und versucht, dem Modell nicht nur beizubringen, wie man R^2 misst und durch die Auswahl von Prädiktoren maximiert, sondern auch, wie man das Modell anhand von Fronttestdaten testet. Es kommt irgendwie zweideutig rüber. Einerseits habe ich den R^2 des Modells erhöht, indem ich korrelierte Paare von Prädiktoren entfernt habe (Funktion findCorrelation aus bibiloteka caret), aber wie sich herausstellte, sinkt der R^2 beim Testen des Modells auf den Fronttest-Daten. Das Wunder ist nicht geschehen, das PCA-Modell wird ebenfalls neu trainiert. Ich möchte eine komplexere Prädiktorenschätzung ausprobieren - die Trainingsstichprobe in zwei Teile aufteilen - für das eigentliche Training und für die Validierung, das PCA-Modell trainieren, dann sofort an der Validierungsstichprobe testen und das minimale R^2 als Endergebnis zurückgeben. Wenn eine solche Funktion für die Bewertung eines Satzes von Prädiktoren und die Maximierung dieses Wertes verwendet wird, dann werden nur die Sätze von Prädiktoren gefunden, die gute Ergebnisse auf den trainierten und neuen Daten liefern. Wir müssen das überprüfen.
Außerdem muss ich den Text des ersten Artikels über PKA in diesem Thread falsch verstanden haben. Es hieß, dass die Anzahl der Komponenten so gewählt werden muss, dass sie 95 % der Variation beschreiben. Ich dachte, es ginge um die Genauigkeit der Vorhersage der Zielvariablen. Das ist aber nicht der Fall, denn die Hauptkomponenten werden ganz ohne Zielvariablen konstruiert, und die 95%ige Genauigkeit ergibt sich daraus, wie genau die Rohdaten durch eben diese Komponenten beschrieben werden. Und die Vorhersagegenauigkeit hat damit überhaupt nichts zu tun.
Ja, ich habe eine Untergruppe von Prädiktoren mit einem negativen Fitnesswert gefunden. Es gab eine Menge Prädiktoren, mehrere Tausend, ich habe gensa auf nur 2 Iterationen beschränkt, dafür habe ich 8 Stunden gebraucht :). Das Ergebnis der Fitnessfunktion beträgt 6%. Beim Fronttest dieser Prädiktoren mit nnet habe ich 45% Fehler. Es ist nicht viel, ich glaube nicht, dass der EA im Gewinn sein würde. Ich habe wieder ein Limit von 10 Iterationen gesetzt, um ein besseres Ergebnis zu finden, habe es laufen lassen, warte seit 24 Stunden, hoffentlich wird gensa jemals fertig. Ich werde Genetics (GA-Bibliothek) ausprobieren müssen, es wird schneller mit mehreren Threads funktionieren (GA minimiert das Ergebnis, anstatt es zu maximieren, d. h. das Ergebnis der Fitnessfunktion für GA sollte sein Vorzeichen ändern). Ich werde weiter experimentieren.
Ich habe verschiedene Artikel über das Hauptkomponentenmodell gelesen und versucht, das Modell nicht nur zu trainieren, um R^2 zu messen und durch die Auswahl von Prädiktoren zu maximieren, sondern auch, um das Modell wirklich an Fronttestdaten zu testen. Es kommt irgendwie zweideutig rüber. Einerseits habe ich den R^2 des Modells erhöht, indem ich korrelierte Paare von Prädiktoren entfernt habe (Funktion findCorrelation von bibiloteka caret), aber wie sich herausstellte, sinkt der R^2 beim Testen des Modells auf den Fronttest-Daten. Das Wunder ist nicht geschehen, das PCA-Modell wird ebenfalls neu trainiert. Ich möchte eine komplexere Prädiktorenschätzung ausprobieren - die Trainingsstichprobe in zwei Teile aufteilen - für das eigentliche Training und für die Validierung, das PCA-Modell trainieren, dann sofort an der Validierungsstichprobe testen und das minimale R^2 als Endergebnis zurückgeben. Wenn eine solche Funktion für die Bewertung eines Satzes von Prädiktoren und die Maximierung dieses Wertes verwendet wird, dann werden nur die Sätze von Prädiktoren gefunden, die gute Ergebnisse auf den trainierten und neuen Daten liefern. Wir werden das überprüfen müssen.
Außerdem muss ich den Text des ersten Artikels über PKA in diesem Thema falsch verstanden haben. Es hieß, dass die Anzahl der Komponenten so gewählt werden sollte, dass sie 95 % der Variation beschreiben. Ich dachte, es ginge um die Genauigkeit der Vorhersage der Zielvariablen. Das ist aber nicht der Fall, denn die Hauptkomponenten werden ganz ohne Zielvariablen konstruiert, und die 95%ige Genauigkeit ergibt sich daraus, wie genau die Rohdaten durch eben diese Komponenten beschrieben werden. Und die Vorhersagegenauigkeit hat damit überhaupt nichts zu tun.
Ja, es stellt sich heraus, dass Sie es nicht verstehen.
Die PCA kann als eigenständiges Instrument eingesetzt werden, aber darauf wird in dem Artikel nicht eingegangen.
Es wird erörtert, wie das Rauschen aus einem großen Satz von Prädiktoren herausgefiltert werden kann.
Nach meinem Verständnis geschieht dies in folgenden Schritten:
1. Y-bewusst. Dies ist die Skalierung der Prädiktoren in Abhängigkeit von der Zielvariablen
2. Mit Hilfe des PCA-Algorithmus wird ein Satz von Prädiktoren geordnet und der Teil ausgewählt, der 95 % der Varianz erklärt.
2. oder so (ich habe es selbst noch nicht herausgefunden): Mit Hilfe des PCA-Algorithmus wird ein neuer Satz von Prädiktoren erstellt, indem der ursprüngliche Satz mit den berechneten Koeffizienten (Ladung) multipliziert wird. Dieses Set ist bestellt. Wir nehmen so viele dieser neuen Vektoren, dass sie 95 % der Varianz erklären.
PS.
Gehen wir zu den Veröffentlichungen, die Y-aware ist der neue Peep im Bereich der Rauschvorhersagefilterung.
Erfolg
2. Mit Hilfe des PCA-Algorithmus wird die Menge der Prädiktoren geordnet und der Teil, der 95 % der Varianz erklärt, ausgewählt.
Das habe ich noch nicht herausgefunden. (Ich werde jetzt nur über den y-bewussten Ansatz schreiben, um ihn nicht mit dem anderen Ansatz zu verwechseln). Der Artikel selbst ist hier zu finden:http://www.r-bloggers.com/principal-components-regression-pt-2-y-aware-methods/
Nach dem Code"princ <- prcomp(dmTrain, center = FALSE, scale. = FALSE)" gibt es eine Situation: Daten werden gelesen, mit Y skaliert, PC-Komponenten werden erstellt. Diese Funktion schränkt die Anzahl der Komponenten nicht ein - so viele, wie es Prädiktoren gibt. Als erstes sollte nur ein Teil davon ausgewählt werden (es wird empfohlen, 95 % der Varianten zu beschreiben). Im Artikel selbst sah sich der Autor das sdev-Diagramm (einige nicht spezifizierte Varianzen) für die Komponenten an und sagte, dass 2 oder 5 ausreichen würden, weil sie im Diagramm hervorstechen. Irgendwie sticht nichts hervor, die Kurve ist gleichmäßig abnehmend.
Es gibt eine sdev-Tabelle, deren Anzahl der Einträge der Anzahl der Komponenten entspricht. Ist es möglich zu berechnen, wie viele Komponenten daraus zu entnehmen sind? Die Summe aller Zahlen ist nicht notwendigerweise auf 1 beschränkt, ich habe eine Summe von 6 gesehen, und wahrscheinlich mehr.
Das habe ich noch nicht herausgefunden. (Ich werde jetzt nur über den y-bewussten Ansatz schreiben, um ihn nicht mit dem anderen Ansatz zu verwechseln). Der Artikel selbst ist hier zu finden:http://www.r-bloggers.com/principal-components-regression-pt-2-y-aware-methods/
Nach dem Code"princ <- prcomp(dmTrain, center = FALSE, scale. = FALSE)" haben wir folgende Situation: Daten werden gelesen, nach Y skaliert, PC-Komponenten werden konstruiert. Diese Funktion schränkt die Anzahl der Komponenten nicht ein - so viele, wie es Prädiktoren gibt. Als erstes sollte nur ein Teil davon ausgewählt werden (es wird empfohlen, 95 % der Varianten zu beschreiben). Im Artikel selbst sah sich der Autor das sdev-Diagramm (einige nicht spezifizierte Varianzen) für die Komponenten an und sagte, dass 2 oder 5 ausreichen würden, weil sie im Diagramm hervorstechen. Irgendwie sticht nichts hervor, die Kurve ist gleichmäßig abnehmend.
Es gibt eine sdev-Tabelle, deren Anzahl der Einträge der Anzahl der Komponenten entspricht. Ist es möglich zu berechnen, wie viele Komponenten daraus zu entnehmen sind? Die Summe aller Zahlen ist nicht notwendigerweise auf 1 beschränkt, ich habe eine Summe von 6 gesehen, und wahrscheinlich mehr.
Ich lasse Rattle laufen und bekomme drei Tische:
In der letzten Spalte steht in der ersten Spalte, dass, wenn man nur PC1 nimmt, dies 0,9761 der Variabilität (kumulativer Anteil) erklärt, wenn man ZWEI Komponenten - PC1 und PC2 - nimmt, erklärt dies 0,99996 usw.
(Ich weiß nicht, wie man Tabellen einfügt)
Die Bedeutung der Komponenten:
PC1 PC2 PC3 PC4 PC5
Standardabweichung 2,2092 0,34555 0,01057 0,008382 0,004236
Anteil der Varianz 0,9761 0,02388 0,00002 0,000010 0,000000
Kumulierter Anteil 0,9761 0,99996 0,99998 1,000000 1,000000
Ich habe lange nach dieser Tabelle gesucht und sie schließlich in der Zusammenfassung gefunden. Eigentlich der naheliegendste Ort :) Danke, dass Sie es gezeigt haben. Dies ist der Fall, wenn etwas in der Zusammenfassung steht, aber nicht in den Objektattributen.
summary(princ)$importance[3,]Es stellt sich heraus, dass dieser Artikel eine Fortsetzung hat, die genau der Frage der Komponentenauswahl gewidmet ist, mit einer speziellen Lösung für Y-aware. Ich habe es noch nicht ausprobiert.
http://www.win-vector.com/blog/2016/05/pcr_part3_pickk/
Ich habe lange nach dieser Tabelle gesucht und sie schließlich in der Zusammenfassung gefunden. Eigentlich der naheliegendste Ort :) Danke, dass Sie es gezeigt haben. Dies ist der Fall, wenn etwas in der Zusammenfassung steht, aber nicht in den Objektattributen.
Es stellt sich heraus, dass dieser Artikel eine Fortsetzung hat, die genau der Frage der Komponentenauswahl gewidmet ist, mit einer speziellen Lösung für Y-aware. Ich habe es noch nicht ausprobiert.
http://www.win-vector.com/blog/2016/05/pcr_part3_pickk/
Ja, ich habe eine Untergruppe von Prädiktoren mit einem negativen Fitnesswert gefunden. Es gab eine Menge Prädiktoren, mehrere Tausend, ich habe gensa auf nur 2 Iterationen beschränkt, dafür habe ich 8 Stunden gebraucht :). Das Ergebnis der Fitnessfunktion beträgt 6%. Beim Fronttest dieser Prädiktoren mit nnet habe ich 45% Fehler. Es ist nicht viel, ich glaube nicht, dass der EA im Gewinn sein würde. Ich habe wieder ein Limit von 10 Iterationen gesetzt, um ein besseres Ergebnis zu finden, habe es laufen lassen, warte seit 24 Stunden, hoffentlich wird gensa jemals fertig. Ich werde Genetics (GA-Bibliothek) ausprobieren müssen, es wird schneller mit mehreren Threads funktionieren (GA minimiert das Ergebnis, anstatt es zu maximieren, d. h. das Ergebnis der Fitnessfunktion für GA sollte sein Vorzeichen ändern). Ich werde weiter experimentieren.
Ich habe verschiedene Artikel über das Hauptkomponentenmodell gelesen, und nun habe ich versucht, das Modell nicht nur zu trainieren, um R^2 zu messen und durch die Auswahl von Prädiktoren zu maximieren, sondern das Modell auch wirklich an Fronttestdaten zu testen. Es kommt irgendwie zweideutig rüber. Einerseits habe ich den R^2 des Modells erhöht, indem ich korrelierte Paare von Prädiktoren entfernt habe (Funktion findCorrelation von bibiloteka caret), aber wie sich herausstellte, sinkt der R^2 beim Testen des Modells auf den Fronttest-Daten. Das Wunder ist nicht geschehen, das PCA-Modell wird ebenfalls neu trainiert. Ich möchte eine komplexere Prädiktorenschätzung ausprobieren - die Trainingsstichprobe in zwei Teile aufteilen - für das eigentliche Training und für die Validierung, das PCA-Modell trainieren, dann sofort an der Validierungsstichprobe testen und das minimale R^2 als Endergebnis zurückgeben. Wenn eine solche Funktion für die Bewertung eines Satzes von Prädiktoren und die Maximierung dieses Wertes verwendet wird, dann werden nur die Sätze von Prädiktoren gefunden, die gute Ergebnisse auf den trainierten und neuen Daten liefern. Wir werden das überprüfen müssen.
Außerdem muss ich den Text des ersten Artikels über PKA in diesem Thema falsch verstanden haben. Dort wurde gesagt, dass die Anzahl der Komponenten so gewählt werden sollte, dass sie 95 % der Variation beschreiben, ich dachte, es ginge um die Genauigkeit der Vorhersage der Zielvariablen. Das ist aber nicht der Fall, denn die Hauptkomponenten werden ganz ohne Zielvariablen konstruiert, und die 95%ige Genauigkeit ergibt sich daraus, wie genau die Rohdaten durch eben diese Komponenten beschrieben werden. Und die Vorhersagegenauigkeit hat damit überhaupt nichts zu tun.