Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 451

 
Alexander Iwanow:
Hat Reshetov sich Gott vorgestellt?

Gerüchten zufolge war ich selbst nicht bei der Beerdigung anwesend.

 

Das hat nichts mit dem Handel zu tun, sondern ist ein interessantes Experiment.


Der Hauptkomponentenansatz (PCA) kann verwendet werden, um Rauschen in Daten zu unterdrücken, und ich wollte sehen, wie er funktioniert, um verrauschte Bilder zu bereinigen.

Ich nahm das Bild http://sites.psu.edu/siowfa15/wp-content/uploads/sites/29639/2015/10/Fall-beautiful-nature-22666764-900-562.jpg und fügte Rauschen hinzu.

Dieses Bild kann als Matrix dargestellt werden. Die Höhe der Matrix entspricht der Höhe des Bildes, und die Breite der Matrix ist gleich der Breite des Bildes x 3 (als 3 Farbkanäle rot, blau, grün).
Dann kann man mit den üblichen R-Tools die Hauptkomponenten finden, nur die wichtigsten behalten und mit ihnen versuchen, das Originalbild zu rekonstruieren. Es wird davon ausgegangen, dass die Informationen über den Lärm in weniger wichtigen Komponenten gespeichert werden, und wenn wir diese verwerfen, verwerfen wir auch den Lärm.

So ist es geschehen

Obwohl die Bildqualität gelitten hat, ist kein Korn mehr zu sehen. Und für einige Objekterkennungsalgorithmen kann das zweite Bild durchaus besser geeignet sein.

Dateien:
 

Ein weniger grober Filter. Filterwerte können im Skript geändert werden(SIZE_REDUCTION)


 
Dr. Trader:

Ein weniger grober Filter. Filterwerte können im Skript geändert werden(SIZE_REDUCTION)


Ein Geräusch durch ein anderes ersetzen :D

Solche körnigen Bilder lassen sich übrigens sehr leicht von der NS-Vision täuschen. Ich habe irgendwo einen Artikel über laute Straßenschilder gesehen, die den NS verwirren, der die Schilder erkennt :)

Sie sind gut in R, was hält Sie davon ab, es mit Recurrence Plots zu versuchen https://en.wikipedia.org/wiki/Recurrence_plot

die Graphen in Rekursionsdiagramme umwandeln und die NS-Faltung auf diese Bilder anwenden, dann nach dem Lernen ein Fragment des Graphen in der umgewandelten Form einspeisen, das resultierende Bild (Vorhersage) erhalten und dann die umgekehrte Umwandlung in die normale Form vornehmen

Intuitiv lassen sich Rekursionsdiagramme mit Hilfe von Computer Vision viel leichter erkennen als Zeitreihen, ohne dass dabei sinnvolle Merkmale verloren gehen.

Aber man muss es überprüfen.

 
Dr. Trader:

Obwohl die Bildqualität gelitten hat, ist kein Korn mehr zu sehen. Und für einige Objekterkennungsalgorithmen kann das zweite Bild durchaus besser geeignet sein.

Meiner Meinung nach zeigt das Bild eine Überoptimierung - den Verlust von Daten, um die richtige Entscheidung zu treffen.
 
Maxim Dmitrievsky:

Sie sind gut in R, was hält Sie davon ab, es mit Recurrence Plots zu versuchen https://en.wikipedia.org/wiki/Recurrence_plot

Sagen wir, konvertieren Graphen in Rekursionsdiagramme und lehren Faltungs-NS zu diesen Bildern, dann nach dem Training geben ein Stück des Graphen in der umgewandelten Form, erhalten das resultierende Bild (Prognose) und dann die umgekehrte Transformation in die normale Form tun

Intuitiv lassen sich Rekursionsdiagramme mit Hilfe von Computer Vision viel leichter erkennen als Zeitreihen, ohne dass dabei sinnvolle Merkmale verloren gehen.

Aber ich muss das überprüfen.

Ich habe Recurrence Plot nicht ausprobiert, aber seine Beschreibung ist der von Arima sehr ähnlich, es sucht auch nach Rekursionsabhängigkeiten.

Sie können den Autokorrelationsgraphen auch mit den Funktionen acf() und pacf() zeichnen. Er ähnelt in gewisser Weise dem Rekursionsdiagramm, aber der Graph hat einen Vektor anstelle der Ebene.

 
Dr. Trader:

Ich habe den Recurrence Plot noch nicht ausprobiert, aber die Beschreibung ist der von Arima sehr ähnlich, auch dieses Modell sucht nach Rekursionsabhängigkeiten.

Sie können den Autokorrelationsgraphen auch mit den Funktionen acf() und pacf() zeichnen, die dem Recurrence-Plot ähnlich sind, aber der Graph enthält einen Vektor statt einer Ebene.


Nun, der Hauptvorteil ist, dass der gesamte Raum immer mit einer Handlung gefüllt ist, nicht wie bei einer normalen Top-Down- oder Bottom-Up-Handlung. Es wird für die Maschine leichter zu identifizieren sein, und die Besonderheiten der Muster werden über bestimmte Regelmäßigkeiten des jeweiligen Musters Auskunft geben
 
Maxim Dmitrievsky:

Intuitiv werden Wiederholungsdiagramme von der Computer Vision viel leichter erkannt als Zeitreihen, ohne dass dabei sinnvolle Attribute verloren gehen.

Aber es ist notwendig, das zu überprüfen.

Ich habe es ausprobiert und ich glaube, ich habe sogar darüber geschrieben, das Ergebnis ist das gleiche wie bei BP.



Das Problem ist, dass der Markt ständig andere BPs generiert, die Dinge, die in der Vergangenheit waren, werden sich in der Zukunft nie wiederholen, wenn man den Markt durch BPs oder durch irgendwelche BP-Transformationen betrachtet, also ist die Arbeit mit solchen Merkmalen für IRs und übrigens auch für Menschen nutzlos...

 
Dr. Trader:

Das hat nichts mit dem Handel zu tun, sondern ist ein interessantes Experiment.

Ich danke Ihnen! Diese Methode kann auch verwendet werden, um Geräusche von Rauschen zu befreien, z.B. alte oder beschädigte Aufnahmen, indem ihre Rauschkomponenten entfernt werden... Alle diese Aufgaben der Spektralanalyse können jedoch nicht nur mit PCA, sondern auch mit Fourier- oder Wavelets durchgeführt werden
 
Dr. Trader: Der Hauptkomponentenansatz (PCA) kann verwendet werden, um Rauschen in Daten zu unterdrücken. Ich wollte sehen, wie er funktioniert, um verrauschte Bilder zu bereinigen....

Abgesehen davon, dass es eine große Anzahl von Filtern für ähnliche Aufgaben gibt,
in Photoshop usw. und probieren Sie dann andere Downsampling-Algorithmen aus, um Klarheit zu schaffen -
ICA, NMF, SVD, etc.
Da Sie aber an einem autodynamischen Ansatz mit DM-Elementen interessiert sind, können Sie z.B. Clustering verwenden.
K-Means, EM-c, DBSCAN, t-SNE usw.
1. Versuchen Sie, Geräusche einzufangen.
2. Wenn Sie Glück haben, entfernen Sie es.
3. Ersetzen Sie Lücken durch den nächsten Nachbarn usw.
Dann geben wir ihm Bilder mit verschiedenen Geräuschen und sehen, wie sie aussehen.
Wenn Sie es nicht können, lassen Sie es von einem Mädchen mit Bleistift retuschieren)))