Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 31

 
Alexey Burnakov:

Yuri, der erste Versuch mit deinen Daten:

Methode verlust_funktion cv_folds bag_frac model_params AUC_cv genauigkeit_trainieren genauigkeit_validieren
GBM bernoulli 4 0.4 0.015_|_7_|_70_|_600 0.429659 0.590361 0.50501
GBM bernoulli 4 0.6 0.02_|_5_|_110_|_600 0.485727 0.586345 0.51503

Zwei verschiedene Sätze von Parameterwerten für das Training. Es ist bemerkenswert, dass die AUC bei der Kreuzvalidierung unter dem Sockel liegt.

Insgesamt ist eine Genauigkeit von 51,5 % bei dem Test das Beste, was bisher erreicht wurde.

Ich weiß nicht einmal, wie Sie auf 60 % kommen.

Wir sollten diesen Satz von Prädiktoren verwerfen.

Wenn wir dummerweise alle Schrittweiten und ein paar Oszillatoren mit mehr als 100 Prädiktoren mit mehr als 5000 Beobachtungen, d.h. H1, nehmen, können wir aus dieser Menge 10-15 Prädiktoren auswählen, die nicht nur weniger als 40% Vorhersagefehler ergeben, sondern vor allem kein REFERRED-Modell ergeben.

 
SanSanych Fomenko:

Wir sollten diesen Satz von Prädiktoren verwerfen.

Wenn wir dummerweise Inkremente von allem mit ein paar Oszillatoren über 100 Prädiktoren mit mehr als 5000 Beobachtungen, d. h. H1, nehmen, können wir aus einer solchen Menge 10-15 Prädiktoren auswählen, die nicht nur einen Vorhersagefehler von weniger als 40 % ergeben, sondern vor allem KEIN VERBESSERTES Modell liefern werden.

Wir wissen noch nicht, welche Funktionen Yuri in das Kit aufgenommen hat. Er sagt, sie werden alle gebraucht.
 

Im Allgemeinen habe ich nie eine bessere Klassifizierungsgenauigkeit als 51,5 % erreicht. Dementsprechend wird auch der Rest der Metriken dem Zufallsprinzip nahe kommen.

Das Verhältnis der Antworten im Test ist fast perfekt 50/50.

Juri, ich freue mich auf Ihre Enthüllungen.

 
Ich habe etwa 50 % richtige Vorhersagen in test.csv, die alle nicht vielversprechend sind. Ich stimme zu, dass der Satz von Prädiktoren nicht sehr gut ist, Yuri, fügen Sie mehr Standardindikatoren hinzu, wenn Ihr Modell wirklich so gut ist, dann denke ich, dass Sie mit guten Prädiktoren 80 % oder mehr richtige Vorhersagen erreichen können.
 
Alexey Burnakov:

Im Allgemeinen habe ich nie eine bessere Klassifizierungsgenauigkeit als 51,5 % erreicht. Dementsprechend wird auch der Rest der Metriken dem Zufallsprinzip nahe kommen.

Die Ausgewogenheit der Antworten im Test ist fast perfekt 50/50.

Vielen Dank für die Informationen. Wenn niemand ein besseres Ergebnis erzielen konnte, und ich habe diesen Datensatz selbst auf Weka laufen lassen, und auch dort ist es ein Flop, dann ist es Zeit, die libVMR-Version zu aktualisieren. 60 % richtige Antworten auf solche Proben sind kein Limit, wenn Sie die neue Version anwenden.
Alexey Burnakov:

Yuri, ich warte auf deine Enthüllungen.

Ich habe nichts zu verbergen. Für die alte Version, deren Ergebnisse ich bereits oben angegeben habe, sind alle Informationen frei zugänglich:

Beschreibung der Methode zur Erstellung des binären Klassifikators: https://sites.google.com/site/libvmr/

Java-Quellcode mit Kommentaren: https://sourceforge.net/p/libvmr/code/HEAD/tree/trunk/

Baut: https://sourceforge.net/projects/libvmr/files/

Векторная машина Решетова
  • sites.google.com
Теория и практика алгоритмов машинного обучения обладающих обобщающей способностью
 
Juri, ich danke dir.

Es gibt eine Sache, die ich nicht verstehe. Wenn die Menge linear trennbar ist, warum nicht die übliche SVM-Methode anwenden? Inwiefern ist Ihre besser?
 
Alexey Burnakov:
Juri, danke.

Es gibt eine Sache, die ich nicht verstehe. Wenn die Menge linear trennbar ist, warum nicht die übliche SVM-Methode anwenden? Inwiefern ist Ihre besser?

Wenn die Menge linear trennbar ist, dann ist die Anzahl der potentiellen Trennebenen unendlich. In einem solchen Fall muss ein Kriterium für die Identifizierung einer geeigneten Hyperebene gefunden werden. Ein solches Kriterium wurde für die Methode der Referenzvektoren in dem Buch: Vapnik V. N., Chervonenkis A. Y. The theory of pattern recognition formuliert. Moskau: Nauka, 1974. Genauer gesagt, werden in diesem Buch viele verschiedene Kriterien berücksichtigt.

Sowohl SVM als auch VMR sind Referenzvektorverfahren.

  • SVM ist eine Methode zur Rekonstruktion von Abhängigkeiten aus empirischen Daten. Das Kriterium ist der maximale Abstand zwischen den Bezugshyperebenen, wenn der Raum linear trennbar ist, siehe Vapnik V. N. Dependenzrekonstruktion aus empirischen Daten. Moskau: Nauka, 1979.
  • VMR ist eine Methode zur Identifizierung von starken Abhängigkeiten und zur Beseitigung (Reduzierung) von schwachen Abhängigkeiten. Das Kriterium ist die Minimax des Abstands zwischen den Referenzhyperebenen, unabhängig von der linearen Trennbarkeit. Das bedeutet, dass VMR keine Abhängigkeiten wiederherstellt (dem Modell nichts hinzufügt, von dem bekannt ist, dass es in der Trainingsstichprobe fehlt), ganz zu schweigen von der Tatsache, dass einige implizite Abhängigkeiten nicht in das Modell gelangen (herausgesiebt werden). Genauer gesagt, reduziert VMR den Hyperraum, indem es einige der Merkmale reduziert.

Welche Methode besser oder schlechter ist, darüber kann man lange streiten. Aber man kann die Verallgemeinerbarkeit nehmen und prüfen, und dann wird sich alles fügen.

 
Yury Reshetov:

Wenn die Menge linear trennbar ist, dann ist die Anzahl der potentiellen Trennebenen unendlich. In einem solchen Fall ist es notwendig, ein Kriterium für die Identifizierung einer geeigneten Hyperebene zu finden. Ein solches Kriterium wurde für die Methode der Referenzvektoren in dem Buch: Vapnik V. N., Chervonenkis A. Y. The theory of pattern recognition formuliert. Moskau: Nauka, 1974. Genauer gesagt, werden in diesem Buch viele verschiedene Kriterien berücksichtigt.

Sowohl SVM als auch VMR sind Referenzvektorverfahren.

  • SVM ist eine Methode zur Rekonstruktion von Abhängigkeiten aus empirischen Daten. Das Kriterium ist der maximale Abstand zwischen den Bezugshyperebenen, wenn der Raum linear trennbar ist, siehe Vapnik V. N. Dependenzrekonstruktion aus empirischen Daten. Moskau: Nauka, 1979.
  • VMR ist eine Methode zur Identifizierung starker Abhängigkeiten und zur Beseitigung (Reduzierung) schwacher Abhängigkeiten. Das Kriterium ist die Minimax des Abstands zwischen den Referenzhyperflächen, unabhängig von der linearen Trennbarkeit. Das bedeutet, dass VMR keine Abhängigkeiten wiederherstellt (dem Modell nichts hinzufügt, von dem bekannt ist, dass es in der Trainingsstichprobe fehlt), ganz zu schweigen von der Tatsache, dass einige implizite Abhängigkeiten nicht in das Modell gelangen (herausgesiebt werden). Genauer gesagt, reduziert VMR den Hyperraum, indem es einige der Merkmale reduziert.

Welche Methode besser oder schlechter ist, darüber kann man lange streiten. Es ist jedoch möglich, die Verallgemeinerungsfähigkeit zu nehmen und zu überprüfen, und dann wird alles auf den Plätzen stehen.

Probleme sollten gelöst werden, wenn sie auftauchen, und das Pferd von hinten aufzuzäumen (Modell) ist eine absolut sinnlose Übung. Dies gilt umso mehr für den Vergleich von Wagen, von denen man nicht weiß, was an ihnen angeschnallt ist und ob sie überhaupt angeschnallt sind.

Vor der Anwendung von Modellen jeglicher Art muss die Liste der Prädiktoren von Rauschen befreit werden, so dass nur Prädiktoren übrig bleiben, die für die Zielvariable "relevant" sind. Andernfalls kann man leicht dazu verleiten, Modelle auf der Grundlage der Saturnringe, des Kaffeesatzes und anderer Vorhersagefaktoren zu erstellen, die in der Praxis seit mehreren hundert Jahren weit verbreitet sind.

Dr. Trader hat oben versucht, das Rauschen aus seinem Satz von Prädiktoren zu entfernen.

Das Ergebnis ist negativ.

Ich denke, der Grund für das negative Ergebnis ist die geringe Anzahl von Beobachtungen mit einer sehr großen Anzahl von Prädiktoren. Aber das ist die Richtung, die man einschlagen muss, bevor man IRGENDEINE Modelle anwendet.

 
Yury Reshetov:

Wenn die Menge linear trennbar ist, dann ist die Anzahl der potentiellen Trennebenen unendlich. In einem solchen Fall ist es notwendig, ein Kriterium für die Identifizierung einer geeigneten Hyperebene zu finden. Ein solches Kriterium ist für die Methode der Referenzvektoren in dem Buch: Vapnik V. N., Chervonenkis A. Y. The theory of pattern recognition formuliert worden. Moskau: Nauka, 1974. Genauer gesagt, werden in diesem Buch viele verschiedene Kriterien berücksichtigt.

Sowohl SVM als auch VMR sind Referenzvektorverfahren.

  • SVM ist eine Methode zur Rekonstruktion von Abhängigkeiten aus empirischen Daten. Das Kriterium ist der maximale Abstand zwischen den Bezugshyperebenen, wenn der Raum linear trennbar ist, siehe Vapnik V. N. Dependenzrekonstruktion aus empirischen Daten. Moskau: Nauka, 1979.
  • VMR ist eine Methode zur Identifizierung starker Abhängigkeiten und zur Beseitigung (Reduzierung) schwacher Abhängigkeiten. Das Kriterium ist die Minimax des Abstands zwischen den Referenzhyperebenen, unabhängig von der linearen Trennbarkeit. Das bedeutet, dass VMR keine Abhängigkeiten wiederherstellt (dem Modell nichts hinzufügt, von dem bekannt ist, dass es in der Trainingsstichprobe fehlt), ganz zu schweigen von der Tatsache, dass einige implizite Abhängigkeiten nicht in das Modell gelangen (herausgesiebt werden). Genauer gesagt, reduziert VMR den Hyperraum, indem es einige der Merkmale reduziert.

Welche Methode besser oder schlechter ist, darüber kann man lange streiten. Es ist jedoch möglich, die Verallgemeinerungsfähigkeit zu nehmen und zu überprüfen, und dann wird alles auf den Plätzen stehen.

Yury, ich danke Ihnen. Ich werde darüber nachdenken.

Wir haben eine Frage. Wie haben Sie die Prädiktoren ausgewählt?
 



Leider kann ich Sharpe und dergleichen in R nicht berechnen, da ich 49 Zufallsstichproben habe, die, wenn sie übereinander gelegt werden, die Abfolge der Trades nicht rekonstruieren.


R hat alles, was Sie brauchen. Siehe fTrading::sharpeRatio.

Oh, und ein Blick auf PerformanceAnalitics kann auch nicht schaden.

Viel Glück!