Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 1033

 
Roffild:

Ich bin ein Programmierer, kein Telepath. Wenn Sie Fragen haben, gebe ich Ihnen die Antworten...

Antwort: 42 :D

Wenn Sie bereit sind, als Programmierer zu antworten, hier eine kurze Frage - eine Programmieraufgabe, bei der gleichzeitig die Fähigkeiten geprüft werden, auf die Sie bestehen.

In der beigefügten Datei gibt es eine Vorlage von EURUSD H1 Signale für einen EA, müssen wir den Algorithmus ihrer Bildung zu bestimmen.

Wenn Sie möchten, können Sie die Lösung als EA posten und die Leistungsfähigkeit des Predictor Bruteforcing und Ihrer Machine Learning Library in Aktion zeigen.

Ich schlage vor, dass alle interessierten maschinellen Lerner mitmachen. Ich bin auch bereit, das vorgeschlagene Problem oder jedes andere, das als Vorlage präsentiert wird, mit meinem MO zu lösen.

Vielleicht können wir bei dieser Art des Schreibens zumindest einige gemeinsame Ansätze und Formate ausarbeiten.)

Dateien:
EA_EURUSD_H1.tpl  130 kb
 

Alle Kennzeichen sollten vor dem Speichern der Vorlage gelöscht worden sein. Es kann sein, dass es nicht der Name=Main-Indikator war, aber die Daten werden nicht angezeigt.

Und wo ist die Garantie, dass die Strategie rentabel ist? Vielleicht ist es nur ein glückliches Stück Geschichte...

Niemand scheint meine Bibliothek gelesen zu haben, denn es gibt keine speziellen Fragen dazu. Jeder will den Gral haben, ohne zu wissen, wie man ihn findet.

 
Roffild:

Alle Kennzeichen sollten vor dem Speichern der Vorlage gelöscht worden sein. Möglicherweise war es nicht der Name=Main-Indikator, aber die Daten werden nicht angezeigt.

Und wo ist die Garantie, dass die Strategie rentabel ist? Vielleicht ist es nur ein glückliches Stück Geschichte...

Es scheint, dass niemand meine Bibliothek kennt, denn es gibt keine Fragen dazu. Alle wollen den Gral bekommen, ohne zu wissen, wie sie ihn finden können.

Der Haupteintrag ist in allen Vorlagen, es stört nicht, und die Daten dort sind nur grafische Objekte - Pfeile, blau - KAUFEN, rot - VERKAUFEN.

Öffnen Sie den EURUSD H1 Chart und laden Sie die Datei herunter (Menü Charts\Template\Load Template...) und wählen Sie Objects List im Kontextmenü.


Und niemand bittet Sie um einen Gral, sondern nur darum, das Problem zu lösen und in der Praxis zu bestätigen, was Sie sagen und wie die Bibliothek funktioniert.

 
Aleksey Terentev:
Wenn Sie sich für fortgeschrittene neuronale Netzarchitekturen interessieren, kommen Ihnen einige sehr interessante Ideen. Natürlich ist es schwierig, ins Detail zu gehen, man braucht Erfahrung mit Frameworks für Dithering und ein Verständnis der Vektormathematik im Allgemeinen.
Aber das ist es wert.
Was den Markt betrifft, so habe ich nicht viel vorzuweisen, der Markt ist ***inok) Es braucht viel Zeit.
Kommen Sie zu uns in den Diskord, wir haben eine ruhige und gemütliche) Ich werde beschreiben und zeigen Ihnen anhand von Beispielen, wie man tiefe Netzwerke vorzubereiten.

Gib es ihm nicht, er wird dir das Hirn rausvögeln.

 
Aleksey Terentev:
Wenn Sie sich für fortgeschrittene neuronale Netzarchitekturen interessieren, kommen Sie auf einige sehr interessante Ideen. Natürlich ist es schwer, ins Detail zu gehen, man braucht Erfahrung mit Dithering-Frameworks und ein Verständnis für Vektormathematik im Allgemeinen.
Aber das ist es wert.
Was den Markt betrifft, so habe ich nicht viel vorzuweisen, der Markt ist ***inok) Es braucht viel Zeit.
Kommen Sie zu uns in den Discord, wir haben eine ruhige und gemütliche) Ich werde beschreiben und zeigen Ihnen anhand von Beispielen, wie man ein tiefes Netzwerk vorzubereiten.

Ich kommuniziere im Forum und unterstütze keine Sekten

)

 
Roffild:

Ich bin ein Programmierer, kein Telepath. Wenn Sie Fragen haben, werde ich Ihnen die Antworten geben...

Antwort: 42 :D

Ich interessiere mich für das Konzept, warum es funktionieren sollte, und nicht dafür, was mit was und wie schnell verbunden ist.

Theoretische Erklärung des Ansatzes, ich habe ihn nicht anhand des Codes erkannt und es macht keinen Spaß, Java und Spark usw. zu benutzen, nur um ihn zu verstehen

d.h. wie sehen und arbeiten Sie mit iO, sozusagen die Tiefe Ihres Verständnisses.

wenn Sie 43 antworten, werde ich nicht noch einmal fragen :)

 

Ein Teil meiner Bibliothek, die auf MQL5 basiert, ist nicht direkt mit Apache Spark verbunden. Es gibt ein separates Modul in Java, das Daten für die Verwendung in Spark konvertiert. Und dieses Modul sollte auf Python portiert werden.

Apache Spark ist ein verteiltes Big-Data-Verarbeitungssystem + Modul für Random Forests. Kann Daten auf 1000 Servern verarbeiten (Facebook ist über eine solche Schwelle gestolpert).

Big Data - wenn die Dateiverarbeitung nicht in den Arbeitsspeicher passt.

Gegeben: 800 Prädiktoren über 2 Jahre in 5 GB.

Aufgabe: Verwenden Sie einige billige Amazon-Server, um 250 Bäume in 1-2 Stunden zu erstellen.

Lösung: AWS EMR + Apache Spark.

Gibt es eine Möglichkeit, dieses Problem zu lösen, ohne Spark zu verwenden?

 

Apache Spark lässt Sie den Mangel an RAM vergessen.

Ich habe einen Random Forest mit 500 Bäumen, 7000 Prädiktoren und 30 GB an Daten erstellt. Amazon lief 15 Stunden lang auf zwei Servern mit 16 CPUs.

 
Roffild:

Mit Apache Spark können Sie den Mangel an RAM vergessen.

Ich habe einen Random Forest mit 500 Bäumen, 7000 Prädiktoren und 30 GB an Daten erstellt. Amazon hat 15 Stunden auf zwei Servern mit 16 CPUs gearbeitet.

Und was bringen 7000 Prädiktoren in einem Random Forest? Es ist immer noch eine Umschulung. Ich habe etwa 30-40 Prädiktoren genommen und den Wald trainiert. Dann habe ich jeden von ihnen einzeln überprüft und auf diese Weise 4 Prädiktoren ausgewählt.

Der Wald, der mit vier Prädiktoren trainiert wurde, schneidet etwas besser ab als der mit 30-40 Prädiktoren, aber nicht viel. Zitate insbesondere Forex haben mehr zufällige Daten-Typ und es stellt sich heraus, +5% (richtig vorherzusagen 55%) auf die gewünschte Klasse im Vergleich zu den negativen ein.

Vielleicht können wir ja irgendwie eine Komponente aus den Preisreihen extrahieren, die die Klassen besser unterteilt, aber bis jetzt ist mir das noch nicht gelungen.

Ich will damit sagen, dass es nicht notwendig ist, Prädiktoren zu schaffen. Ich glaube nicht, dass das viel Sinn macht, es wird nur dazu führen, dass sich der Wald noch schneller zurückbildet.

 
Roffild:

Apache Spark lässt Sie den Mangel an RAM vergessen.

Ich habe einen Random Forest mit 500 Bäumen, 7000 Prädiktoren und 30 GB an Daten erstellt. Amazon lief 15 Stunden lang auf zwei Servern mit 16 CPUs.

Sie haben beschlossen, die Unfähigen einzubauen und die Prädiktoren ohne Sinn zu vervielfachen.

Woher haben Sie so viele Prädiktoren? Welche Bedeutung haben sie? 1/3 des Waldes ist nicht in der Trainingsmenge enthalten und 95% haben eine geringe Bedeutung. Und wie reagiert das System jetzt mit so vielen Prädiktoren, 3 Stunden für 1 Vorhersage? )