Marktprognose basierend auf makroökonomischen Indikatoren
Ist es verwirrend, dass die US-Regierung im Allgemeinen und der Offenmarktausschuss im Besonderen wiederholt verdächtigt wurden, makroökonomische Statistiken zum US-Arbeitsmarkt und zum BIP zu fälschen und zu manipulieren, um die Finanzmärkte zu beeinflussen?
Ja, das ist verwirrend. Verwirrend ist auch die Tatsache, dass die veröffentlichten Daten nach ihrer Veröffentlichung mehrfach angepasst werden. Andererseits reagieren die Händler auf die Daten, die ihnen von der US-Regierung übermittelt werden, und bewegen den Markt in die eine oder andere Richtung, unabhängig davon, ob diese Daten gefälscht, unvollständig oder verfrüht sind. Die Technik der Marktprognose auf der Grundlage dieser Daten sollte also im Prinzip funktionieren.
Interessieren Sie sich nur für den S&P oder wird er nur als Beispiel genommen?
Es ist nur so, dass der S&P ein eigenartiges Bewegungsmuster aufweist, nicht anders als das Währungsverhältnis.
Interessieren Sie sich nur für den S&P oder wird er nur als Beispiel genommen?
Es ist nur so, dass der S&P ein eigenartiges Bewegungsmuster aufweist, das dem Verhältnis zwischen Währungen nicht unähnlich ist.
Ja, das ist verwirrend. Verwirrend ist auch die Tatsache, dass die veröffentlichten Daten nach ihrer Veröffentlichung mehrfach angepasst werden. Andererseits reagieren die Händler auf die Daten, die ihnen die US-Regierung liefert, und bewegen den Markt in die eine oder andere Richtung, unabhängig davon, ob diese Daten gefälscht, unvollständig oder verfrüht sind. Die Technik der Marktprognose auf der Grundlage dieser Daten sollte also im Prinzip funktionieren.
OK, schauen wir uns das mal an. Das habe ich auch schon getan.
Ein hartnäckiger Hinweis-Wunsch-Forward-Test
Die Aufgabe, den S&P 500 Index auf der Grundlage der verfügbaren Wirtschaftsdaten vorherzusagen.
Ein sehr interessantes Thema. Ich habe versucht, anhand der Daten Indikatoren zu erstellen: Beschäftigung, Neubau von Häusern, Verkäufe von neuen Häusern usw. Und wissen Sie, man kann mit bloßem Auge sehen, dass einige Daten eine gewisse Korrelation mit dem Aktienmarkt aufweisen. Es scheint jedoch keine Korrelation mit dem Devisenmarkt zu geben. Ich habe grundlegende US-Statistiken verwendet.
Sind Sie nicht der Meinung, dass Sie zu viele Datentypen ausgewählt haben? Meiner Meinung nach muss man die unwichtigen von den wertvollen Daten ausschließen, die den Markt beeinflussen.
Allerdings bin ich mit der neuronalen Analyse nicht vertraut. Ich habe angefangen, darüber zu lesen, aber ich habe keine klare Erklärung für die Funktionsweise gefunden.
Das ist ein sehr interessantes Thema. Ich habe versucht, auf der Grundlage der Datei Indikatoren zu erstellen: Beschäftigung, Bau neuer Häuser, Verkauf neuer Häuser usw. Und wissen Sie, man kann mit bloßem Auge sehen, dass einige Daten eine gewisse Korrelation mit dem Aktienmarkt aufweisen. Es scheint jedoch keine Korrelation mit dem Devisenmarkt zu geben. Ich habe einige grundlegende US-Statistiken verwendet.
Sind Sie nicht der Meinung, dass Sie zu viele Datentypen ausgewählt haben? Meiner Meinung nach muss man die unwichtigen von den wertvollen Daten trennen, die den Markt beeinflussen.
Eine große oder kleine Menge an Eingabedaten ist immer relativ.
Das andere ist viel wichtiger.
Alle Eingaben fallen in zwei Kategorien:
- diejenigen, die sich auf die Zielvariable auswirken
- diejenigen, die keinen oder nur einen geringen Einfluss haben.
Ich verwende absichtlich das Wort Einfluss und nicht Korrelation. Die Korrelation ist ein leeres Instrument, denn die Korrelation hat immer einen Wert und kein Wert ist NA, was für die Bestimmung der Auswirkungen der Rohdaten auf die Zielvariable von grundlegender Bedeutung ist.
Variablen, die keine (geringe) Auswirkung haben (dies ist ein qualitatives Merkmal), sind bei der Bestimmung der Auswirkungen auf die Zielvariable verrauscht. Der Fallstrick besteht darin, dass dieses Rauschen ab einer bestimmten Menge, die nicht algorithmisch bestimmt wird, die wichtigen Variablen "verstopft" und die "wichtigen" Variablen dann nicht mehr algorithmisch aus dieser Gesamtmenge extrahiert werden können.
Daher muss man sich die gesamte Liste der Eingabevariablen manuell ansehen und intuitiv oder auf der Grundlage einer anderen Überlegung entscheiden, dass "diese Eingabevariable wahrscheinlich Auswirkungen hat und diese wahrscheinlich nicht".
Ich kenne mehrere Dutzend Algorithmen zur Bestimmung der Wichtigkeit von Variablen, die ich an einem Satz aus meiner Arbeit und meinem Buch ausprobiert habe (bis zu 100 Eingabevariablen). Das Ergebnis ist genau wie beschrieben. Ich habe manuell eine Liste ausgewählt und sie dann mit dem Algorithmus gefiltert und die Liste erhalten. Und der Wert einer solchen Liste ist von grundlegender Bedeutung: Modelle, die einen solchen Satz von "beeinflussenden" Eingabedaten (unter Verwendung von 3 verschiedenen Modelltypen) verwenden , haben NICHT die Eigenschaft des Überlernens, was das Hauptproblem darstellt. Die Überanpassung ist die Hauptfolge der Verwendung "verrauschter" Eingabedaten.
PS.
Stationarität spielt in meinen Modellen, die randomForest, ada und SVM sind, keine Rolle.
...
.... Ohne Stationarität wird kein Modell funktionieren.
...
Die Forderung nach Stationarität ist sehr starr und völlig ungerechtfertigt.
.
Und "nicht-stationäre" Modelle funktionieren sehr gut ;)
Ein Regressionsalgorithmus kann jeden beliebigen Indikator auf der Grundlage beliebiger Daten vorhersagen, auch wenn es keine ausdrückliche Beziehung zwischen ihnen gibt.
- Freie Handelsapplikationen
- Über 8.000 Signale zum Kopieren
- Wirtschaftsnachrichten für die Lage an den Finanzmärkte
Sie stimmen der Website-Richtlinie und den Nutzungsbedingungen zu.
Die Aufgabe besteht also darin, den S&P 500-Index auf der Grundlage der verfügbaren Wirtschaftsindikatoren vorherzusagen.
Schritt 1: Finden Sie die Indikatoren. Die Indikatoren sind hier öffentlich zugänglich: http://research.stlouisfed.org/fred2/ Es gibt 240.000 davon. Das wichtigste ist das Wachstum des BIP. Dieser Indikator wird vierteljährlich berechnet. Daher unser Schritt - 3 Monate. Alle Indikatoren für einen kürzeren Zeitraum werden für einen Zeitraum von 3 Monaten neu berechnet, der Rest (jährlich) wird verworfen. Wir verwerfen auch Indikatoren für alle Länder außer den Vereinigten Staaten und Indikatoren, die keine lange Geschichte haben (mindestens 15 Jahre). In mühevoller Arbeit filtern wir also eine Reihe von Indikatoren heraus und erhalten etwa 10.000 Indikatoren. Wir formulieren eine spezifischere Aufgabe, den S&P 500-Index ein oder zwei Quartale im Voraus vorherzusagen, wobei 10.000 Wirtschaftsindikatoren mit einem Quartalszeitraum verfügbar sind. Ich mache alles in MatLab, obwohl es in R möglich ist.
Schritt 2: Wandeln Sie alle Daten durch Differentiation und Normalisierung in stationäre Form um. Hier gibt es viele Methoden. Die Hauptsache ist, dass die Originaldaten aus den konvertierten Daten wiederhergestellt werden können. Ohne Stationarität funktioniert kein Modell. Die S&P 500-Serie vor und nach der Umwandlung ist unten dargestellt.
Schritt 3: Wählen Sie ein Modell aus. Vielleicht ein neuronales Netzwerk. Man kann eine lineare Regression mit mehreren Variablen durchführen. Sie können eine Polynomregression mit mehreren Variablen durchführen. Nachdem wir lineare und nichtlineare Modelle getestet haben, kommen wir zu dem Schluss, dass die Daten so verrauscht sind, dass es keinen Sinn macht, in ein nichtlineares Modell einzutreten. Das y(x)-Diagramm, wobei y = S&P 500 und x = einer von 10.000 Indikatoren ist, ist eine fast kreisförmige Wolke. Daher formulieren wir die Aufgabe noch spezifischer: Prognostizieren Sie den S&P 500-Index ein oder zwei Quartale im Voraus mit 10.000 Wirtschaftsindikatoren mit einem Quartalszeitraum, indem Sie eine multivariable lineare Regression verwenden.
Schritt 4: Wir wählen die wichtigsten Wirtschaftsindikatoren aus 10.000 aus (reduzieren die Dimension des Problems). Dies ist der wichtigste und schwierigste Schritt. Nehmen wir an, wir nehmen die Geschichte des S&P 500 auf 30 Jahre (120 Quartale). Um den S&P 500 als lineare Kombination von Wirtschaftsindikatoren verschiedener Art darzustellen, reichen 120 Indikatoren aus, um den S&P 500 über diese 30 Jahre genau zu beschreiben. Darüber hinaus können die Indikatoren absolut beliebig sein, um ein so genaues Modell von 120 Indikatoren und 120 S&P 500-Werten zu erstellen.Sie müssen also die Anzahl der Eingaben unter die Anzahl der beschriebenen Funktionswerte reduzieren. Wir suchen zum Beispiel nach den 10-20 wichtigsten Inputindikatoren. Solche Aufgaben des Beschreibens von Daten mit einer kleinen Anzahl von Eingaben, die aus einer großen Anzahl von Kandidatenbasen (Wörterbuch) ausgewählt werden, werden als Sparse-Codierung bezeichnet.
Es gibt viele Methoden zum Auswählen von Prädiktoreingaben. Ich habe sie alle ausprobiert. Hier sind die beiden wichtigsten:
Hier sind die Top 10 Indikatoren mit dem höchsten Korrelationskoeffizienten mit dem S&P 500:
Hier sind die Top 10 Indikatoren mit den meisten gegenseitigen Informationen mit dem S&P 500:
Verzögerung ist die Verzögerung der Input-Reihe in Bezug auf die simulierte S&P 500-Reihe. Da mein ultimatives Ziel darin besteht, Modellfehler zu minimieren, habe ich die zweite Eingabeauswahlmethode gewählt, d.h. Aufzählung aller Eingänge und Auswahl des Eingangs mit dem geringsten Fehler.
Schritt 5: Wählen Sie eine Methode zur Berechnung des Fehlers und der Koeffizienten des Modells. Die einfachste Methode ist die COEX-Methode, weshalb die lineare Regression mit dieser Methode so beliebt ist. Das Problem bei der RMS-Methode ist, dass sie empfindlich gegenüber Ausreißern ist, d.h. diese Ausreißer beeinflussen die Koeffizienten des Modells erheblich. Um diese Empfindlichkeit zu verringern, kann die Summe der absoluten Fehlerwerte anstelle der Summe der quadrierten Fehler verwendet werden, was zur Methode der kleinsten Moduli (LSM) oder zur robusten Regression führt. Diese Methode hat im Gegensatz zur linearen Regression keine analytische Lösung für die Modellkoeffizienten. Üblicherweise werden Module durch glatte/differenzierbare Näherungsfunktionen ersetzt und die Lösung erfolgt numerisch und dauert lange. Ich habe beide Methoden (Lean Regression und MHM) ausprobiert und konnte keinen großen Vorteil von MHM feststellen. Statt MHM bin ich einen Umweg gefahren. Im zweiten Schritt, stationäre Daten durch Differenzieren zu erhalten, habe ich eine nichtlineare Normalisierungsoperation hinzugefügt. Das heißt, die ursprüngliche Reihe x[1], x[2], ... x[i-1], x[i] ... wird zuerst in eine Differenzreihe x[2]-x[1] umgewandelt. .. x [i]-x[i-1] ... und dann wird jede Differenz normalisiert, indem sie durch sign(x[i]-x[i-1])*abs(x[i]-x[ i-1] )^u, wobei 0 < u < 1. Für u=1 erhalten wir die klassische COSE-Methode mit ihrer Empfindlichkeit gegenüber Ausreißern. Bei u=0 werden alle Werte der Eingangsreihe fast ohne Ausreißer durch Binärwerte +/-1 ersetzt. Für u = 0,5 erhalten wir etwas in der Nähe von MNM. Der optimale Wert von u liegt irgendwo zwischen 0,5 und 1.
Es sei darauf hingewiesen, dass eine der gängigen Methoden zum Konvertieren von Daten in eine stationäre Form darin besteht, die Werte der Reihe durch die Differenz der Logarithmen dieser Werte zu ersetzen, d. H. log(x[i]) - log(x[i-1]) oder log(x[i]/x[i-1]). Die Wahl einer solchen Transformation ist in meinem Fall gefährlich, da das Wörterbuch mit 10.000 Einträgen viele Zeilen mit Null- und negativen Werten enthält. Der Logarithmus hat auch den Vorteil, dass er die Empfindlichkeit des RMS-Verfahrens gegenüber Ausreißern reduziert.Meine Transformationsfunktion sign(x)*|x|^u hat im Wesentlichen den gleichen Zweck wie log(x), jedoch ohne die Probleme, die mit Null und verbunden sind negative Werte.
Schritt 6: Berechnen der Modellvorhersage durch Ersetzen der neuen Eingabedaten und Berechnen der Modellausgabe unter Verwendung derselben Modellkoeffizienten, die durch lineare Regression in den vorherigen Verlaufssegmenten gefunden wurden. Hier gilt es zu beachten, dass die Quartalswerte der Wirtschaftsindikatoren und des S&P 500 nahezu zeitgleich (mit einer Genauigkeit von 3 Monaten) kommen. Um den S&P 500 für das nächste Quartal vorherzusagen, muss das Modell daher zwischen dem aktuellen Quartalswert des S&P 500 und um mindestens 1 Quartal verzögerten Einträgen (Lag>=1) erstellt werden. Um den S&P 500 ein Quartal im Voraus vorherzusagen, muss das Modell zwischen dem aktuellen Quartalswert des S&P 500 und um mindestens 2 Quartale verzögerten Einträgen (Lag>=2) erstellt werden. Usw. Die Genauigkeit der Vorhersagen nimmt mit zunehmender Verzögerung größer als 2 erheblich ab.
Schritt 7: Überprüfen Sie die Genauigkeit der Vorhersagen zur Vorgeschichte. Die oben beschriebene ursprüngliche Technik (Einfügen jeder Eingabe in die vorherige Historie, Auswählen der Eingabe mit der kleinsten MSD und Berechnen der Vorhersage aus dem neuen Wert dieser Eingabe) erzeugte eine Vorhersage-MSD, die sogar noch schlechter war als die Zufalls- oder Nullvorhersagen. Ich habe mir diese Frage gestellt: Warum sollte ein Eingang, der gut in die Vergangenheit passt, eine gute Planbarkeit für die Zukunft haben? Es ist sinnvoll, Modelleingaben basierend auf ihrem vorherigen Vorhersagefehler auszuwählen, anstatt basierend auf dem kleinsten Regressionsfehler auf den bekannten Daten.
Am Ende lässt sich mein Modell Schritt für Schritt so beschreiben:
Kurz gesagt, die Wahl eines Prädiktors hängt von seinem Effektivwert früherer Prognosen für den S&P 500 ab. Es gibt keinen Blick nach vorne. Der Prädiktor kann sich im Laufe der Zeit ändern, aber am Ende des Testsegments hört er im Grunde auf, sich zu ändern. Mein Modell wählte PPICRM mit einer 2-Viertel-Verzögerung als erste Eingabe zur Vorhersage von Q2 2015. Die lineare Regression des S&P 500 mit der ausgewählten PPICRM(2)-Eingabe für 1960 bis Q4 2014 ist unten dargestellt. Schwarze Kreise - lineare Regression. Mehrfarbige Kreise – historische Daten für 1960 – Q4 2014. Die Farbe des Kreises zeigt die Zeit an.
Stationäre Prognosen für den S&P 500 (rote Linie):
S&P 500 Prognosen in Rohform (rote Linie):
Die Grafik zeigt, dass das Modell das Wachstum des S&P 500 im zweiten Quartal 2015 vorhersagt. Das Hinzufügen einer zweiten Eingabe erhöht den Vorhersagefehler:
1 Fehler1=0,900298 Fehler2=0,938355 PPICRM (2)
2 Fehler1=0,881910 Fehler2=0,978233 ERLAUBNIS1 (4)
wobei err1 der Regressionsfehler ist. Es ist offensichtlich, dass sie ab dem Hinzufügen einer zweiten Eingabe abnimmt. err2 ist der quadratische Mittelwert des Vorhersagefehlers dividiert durch den zufälligen Vorhersagefehler. Das heißt, err2>=1 bedeutet, dass die Vorhersage meines Modells nicht besser ist als zufällige Vorhersagen. err2<1 bedeutet, dass die Vorhersage meines Modells besser ist als zufällige Vorhersagen.
PPICRM = Erzeugerpreisindex: Rohmaterialien zur Weiterverarbeitung
PERMIT1 = Neue private Wohneinheiten, die durch Baugenehmigungen genehmigt wurden - in Strukturen mit 1 Einheit
Das oben beschriebene Modell kann auf diese Weise umformuliert werden. Wir versammeln 10.000 Ökonomen und bitten sie, den Markt für das kommende Quartal vorherzusagen. Jeder Ökonom kommt mit seiner eigenen Vorhersage. Aber anstatt eine Vorhersage basierend auf der Anzahl von Lehrbüchern, die sie geschrieben haben, oder der Anzahl von Nobelpreisen, die sie in der Vergangenheit gewonnen haben, auszuwählen, warten wir ein paar Jahre, um ihre Vorhersagen zu sammeln. Nach einer beträchtlichen Anzahl von Vorhersagen sehen wir, welcher Ökonom genauer ist, und fangen an, seinen Vorhersagen zu glauben, bis ein anderer Ökonom ihn an Genauigkeit übertrifft.