Abhängigkeitsstatistik in Anführungszeichen (Informationstheorie, Korrelation und andere Methoden der Merkmalsauswahl) - Seite 13

 

Nein, das Problem hat sich nicht geändert. Es ist einfach ein atomares Problem, unteilbar. Und um ein Gesamtbild zu erhalten, müssen Sie auch die Lag-Variable scannen.

Ich kann Auszüge aus meinen Ergebnissen von vor ein paar Monaten veröffentlichen (aber ich habe sie in Textform). Es handelt sich nicht um gegenseitige Information, wie sie der Themenstarter hat, sondern um Matrix-Frequenzen. Es gibt auch die Ergebnisse der Berechnung des "Chi-Quadrat-Tests für die Unabhängigkeit der Variablen" (damals wusste ich noch nicht, was gegenseitige Information ist, aber ich war bereits besorgt über ein allgemeines Maß für die Abhängigkeit der Variablen und experimentierte mit verschiedenen Kriterien). Dennoch sind auch diese Zahlen keineswegs langweilig.

Ich werde sie morgen (ich meine heute, aber später) veröffentlichen, da ich keinen Zugang zu dem Computer habe, auf dem diese Berechnungen gemacht wurden.

P.S. Dies hat nichts mit "universeller Regression usw." zu tun: (18) ist ein grob mechanistischer Ansatz für den Preis, während er hier im Wesentlichen statistisch ist.

 
Mathemat:

Nein, das Problem hat sich nicht geändert. Es ist einfach ein atomares Problem, unteilbar. Und um ein Gesamtbild zu erhalten, müssen Sie auch die Lag-Variable scannen.

Ich kann Auszüge aus meinen Ergebnissen von vor ein paar Monaten veröffentlichen (aber ich habe sie in Textform). Es handelt sich nicht um gegenseitige Information, wie sie der Themenstarter hat, sondern um Matrix-Frequenzen. Es gibt auch die Ergebnisse der Berechnung des "Chi-Quadrat-Tests für die Unabhängigkeit der Variablen" (damals wusste ich noch nicht, was gegenseitige Information ist, aber ich war bereits besorgt über ein allgemeines Maß für die Abhängigkeit der Variablen und experimentierte mit verschiedenen Kriterien). Dennoch sind auch diese Zahlen keineswegs langweilig.

Ich werde sie morgen (ich meine heute, aber später) veröffentlichen, da ich im Moment keinen Zugang zu dem Computer habe, auf dem die Berechnungen gemacht wurden.

P.S. Dies hat nichts mit "universeller Regression usw." zu tun: (18) ist ein grob mechanistischer Ansatz für den Preis, während er hier im Wesentlichen statistisch ist.

(18) im ATS-Modus gibt, auch wenn schlecht, aber das Ergebnis, ohne Verwendung von Stopps und TP, und bringen Sie Ihre feinen statistischen Ansatz zu diesem Niveau, dann werden wir vergleichen.

Gold vom 25.11.2009 bis 02.09.2011, H4, 0.1 lot, max drawdown 10.32%, MO 27,6

ׂ

 
Mathemat:

Kein Widerspruch, das macht alles Sinn. Beginnen wir mit Punkt 1.

1. "Definieren Sie genau, was wir nehmen": Erst die Aufgabenzelle, dann das Unteilbare.

Beheben Sie die ganzzahlige Verzögerung. Es handelt sich um den "Abstand zwischen den Stäben", d.h. den Modul der Differenz ihrer Indizes in einem bestimmten Zeitrahmen in MT4.

Ziel: Feststellung, ob ein statistischer Zusammenhang zwischen den beiden folgenden Zufallsvariablen besteht: 1) der Rückkehr des "Master"-Balkens mit dem Index sh und 2) der Rückkehr des "Slave"-Balkens mit dem Index sh+Lag.

Wir nehmen alle Balkenpaare, deren Abstand zueinander gleich Lag ist. Sie ist äußerst präzise.

Wo und was gibt es zu bezweifeln? Betrachten wir zunächst den ersten Punkt. Wenn es funktioniert - gehen wir zum zweiten Punkt über.

Es ist fast ein ACF, aber die Formel ist anders. ACF ist ein integraler Bestandteil der Statistik. Es eignet sich hervorragend für die Suche nach Abhängigkeiten aller Art. Seit dem Aufkommen von ARIMA wird es sowohl in der Theorie als auch in der Praxis sehr häufig verwendet. Jede neue Sache muss mit der Angabe von Ähnlichkeiten und Unterschieden zu allgemein bekannten und gut etablierten ähnlichen Dingen beginnen. Wenn dies nicht geschieht, ist die Idee in den schäbigsten Häusern Londons nicht verhandelbar. Das ist es, worüber ich in diesem Thread die ganze Zeit gesprochen habe. Sie sollten immer mit einer Übersicht über die Literatur beginnen. Keine Umschreibung - kein Bazar in dem Zitat aus Ihrem Beitrag.

Als nächstes sehe ich sh, ich verstehe, dass ACF von sh=1 aus gezählt wird, nicht von einer willkürlichen Stelle aus. Aber es gibt eine ACF. Inwiefern ähnelt oder unterscheidet sich Ihr Vorschlag von diesem. Verschweigen Sie nur nicht den Punkt (Abhängigkeiten in BP) mit Worten von TI.

 
faa1947: Es ist fast ein ACF, aber die Formel ist anders. ACF ist ein integraler Bestandteil der Statistik. Es eignet sich hervorragend für die Suche nach Abhängigkeiten aller Art.

Es ist nicht unbedingt ein ACF. Und Sie liegen völlig falsch damit, dass ACF nach Abhängigkeiten aller Art sucht. Schauen Sie sich die Korrelation an. Auf die Grenzen der Korrelationsanalyse wird am Ende des Artikels hingewiesen, wo das Bild zu sehen ist. Aus diesem Grund habe ich ACF aufgegeben. Die durch die Pearson-Korrelation ermittelten linearen Korrelationen zwischen den Balken sind zu schwach und zu kurzlebig.

Sie sollten immer mit einer Übersicht über die Literatur beginnen. Keine Umschreibung - kein Bazar in dem Zitat aus Ihrem Beitrag.

Auf diese Weise werden wir uns lange Zeit nicht bewegen können. Aber im Allgemeinen stimme ich Ihnen zu: eine gewisse Art von Argumentation ist nach wie vor erforderlich. Ich werde darüber nachdenken - falls Sie mit dem letzten Satz des vorangegangenen Absatzes, der sich auf die linearen Abhängigkeiten bezieht, nicht zufrieden sind.

Verschweigen Sie nur nicht den Punkt (Abhängigkeiten in BP) mit Worten von TI.

Sie haben also beschlossen, mir zu verbieten, TI zu benutzen, um Abhängigkeiten zu finden?

2 yosuf: Ich werde nicht mit Ihnen konkurrieren. Verbessern Sie Ihr Werkzeug weiter, aber gehen Sie bitte nicht auf diesen Thread ein. Sie ist hier nur ein nachträglicher Einfall.

 
Mathemat:

Ich habe einen Artikel über Informationsentropie gefunden (Wiki). Zitat 1 von dort:

Das ist Entropie, konventionelle Entropie. Ist das die Definition, die Sie interpretieren?

Ja, ich stimme zu, dass die Buchstaben des Alphabets statistisch unabhängig sein sollten, damit es keine Redundanzen oder Abhängigkeiten gibt. Das ist in etwa das, was das Archivierungsprogramm tut: Es erstellt ein Alphabet, das sich deutlich von dem unterscheidet, das zur Erstellung des Textes verwendet wurde.

Aber das ist nicht das, was wir zählen! Zu dem, was wir zählen, als nächstes.


Die Rede des Themenstarters (und auch meine) war nicht von Informationsentropie, sondern, verdammt noch mal, von gegenseitiger Information (wieder Wiki)!!!

Diegegenseitige Information ist eine statistische Funktion zweier Zufallsvariablen, die den Informationsgehalt der einen Zufallsvariablen im Vergleich zur anderen beschreibt.

Die gegenseitige Information wird durch die Entropie und die bedingte Entropie zweier Zufallsvariablen wie folgt definiert [es folgt die Formel für I(X,Y)

Es sei darauf hingewiesen, dass die Formel für die Berechnung der gegenseitigen Information aus derselben Pedivik wie folgt lauten kann:

Gegenseitige Information (zwischen X und Y) = Entropie (X) - Bedingte Entropie (zwischen X und Y)

Das heißt, wenn wir keine gruselig aussehenden Formeln aus amerikanischen Quellen schreiben, sondern uns an Definitionen halten.

Hier sind X und Y zwei verschiedene Systeme, und es besteht eine Abhängigkeit zwischen ihnen, von X und Y.

Wenn wir die totale gegenseitige Information wollen, dann ist es wie bei den Themenstartern:

Gesamte gegenseitige Information (zwischen X und Y) = Entropie (X) + Entropie (Y) - Entropie des kombinierten Systems (X und Y)

Warum heißt es "Entropie des kombinierten Systems" und nicht "bedingte Entropie", denn die Gesamtentropie des Systems aus zwei Systemen kann entweder unabhängig oder bedingt sein. Es ist klar, dass, wenn X und Y nicht miteinander verbunden und unabhängig sind, man sie als gemeinsame Wahrscheinlichkeiten zählen sollte (Entropieadditionssatz), und wenn es eine Verbindung gibt, dann als bedingte.


Nun zu unseren Interessen. Wie diese ganze Umgehung auf den Markt angewendet werden kann. Angenommen, das Modell sieht wie folgt aus. Es gibt ein System X - Markt (Alphabet), es hat eine endliche und bestimmte Anzahl von Zuständen (Symbole), die mit einer bestimmten Häufigkeit (Symbolwahrscheinlichkeiten) auftreten. Es gibt ein zweites System Y - ein Verzeichnis der Angebote. Anführungszeichen (Alphabet) haben auch einen begrenzten Satz von Symbolen mit bestimmten Häufigkeiten. Was lässt sich aus all dem ableiten?

1. Sie müssen das Alphabet des Marktes kennen. Dort passiert immer etwas, es wird gekauft und verkauft, jemand geht in Konkurs, jemand erfindet neues Geld, es kommt zu einer Massenhysterie, usw. Das heißt, das Alphabet ist sehr umfangreich und lässt sich nicht so einfach beschreiben.

2. Selbst wenn es möglich ist, das Alphabet des Marktes zu beschreiben, stellt sich die Frage nach der Stationarität der auf dem Markt ablaufenden Prozesse. Es sollte klar sein, dass TI absolut auf die Beständigkeit der Eigenschaften ausgerichtet ist.

Das Alphabet des zweiten Systems, Anführungszeichen. Es unterscheidet sich vom Alphabet des Marktes. Höchstwahrscheinlich ist das bereits der Fall. Und Sie müssen wissen, welche. Wenn wir die Spanne der Kursveränderungen nach Zeitrahmen einfach in Quantile unterteilen und diese zu einem Alphabet machen, was erhalten wir dann? Genauer gesagt, erhalten wir die vollständige oder teilweise Abbildung von Informationen aus dem Marktalphabet in das Alphabet der Notierungen? Welcher Teil der Informationen geht verloren? Oder vielleicht geht gar nichts verloren und das Marktalphabet ist nur überflüssig. Etc.

 
Mathemat:

Es ist nicht annähernd oder sogar überhaupt nicht ACF. Und Sie liegen falsch damit, dass ACF nach Abhängigkeiten aller Art sucht. Sehen Sie sich die Korrelation an. Auf die Grenzen der Korrelationsanalyse wird am Ende des Artikels hingewiesen, wo das Bild zu sehen ist. Aus diesem Grund habe ich ACF aufgegeben. Lineare Korrelationen zwischen Balken, die durch die Pearson-Korrelation ermittelt werden, interessieren mich nicht, da sie zu schwach und kurzlebig sind.


Die Ausführlichkeit der Korrelation ist ihre starke Seite, aber gleichzeitig haben Sie die bekannten Grenzen der Korrelation auf die schwache Seite zurückgeführt. Aber genau diese Beschränkungen ermöglichen es uns, sinnvoll über eine Größe namens "ACF", die Wahrscheinlichkeit des Vertrauens in diese Größe, die Bedingungen für die Berechnung dieses Vertrauens und allgemein die Zulässigkeit jeglicher Schlussfolgerung über diese Größen zu entscheiden, je nachdem, ob die Korrelationsbeschränkungen erfüllt sind. Selbst wenn man alles beherrscht und mit einem Werkzeug bewaffnet ist, stößt man in der Praxis auf große Schwierigkeiten und verfällt immer wieder in Unzucht.

Versuchen Sie, das Gleiche über das Thema des Themas zu schreiben.

ACF zeigt Trends ganz konkret auf und sucht zusammen mit ChAKF nach Zyklen. Und wie sieht es mit der "Informationsabhängigkeit" aus, was für ein Wesen ist sie und wie zeigt sie sich in Anführungszeichen oder in Schritten? Es gibt zahlreiche Veröffentlichungen über die Psychologie des Marktes, in denen die Entstehung von Trends und Zyklen erklärt wird, aber was ist die psychologische Grundlage der "Informationsabhängigkeit", in welchen Veröffentlichungen wird sie beschrieben und hat sie Auswirkungen auf die Kurse? Auf welcher Grundlage kann man den entstandenen Bildern trauen? Wie groß ist die Wahrscheinlichkeit, dass das Ergebnis glaubwürdig ist? Wo liegen die Bedingungen für die Anwendbarkeit all dieser Bestimmungen? Nur Fragen. Dieses Thema erinnert mich mehr und mehr an das Thema mit hfenks (wenn ich mich richtig erinnere), der sich auch unwissentlich über das Thema Abhängigkeiten gebeugt hat.

Vom Standpunkt der These aus gesehen, die ausschließlich vorläufig ist, gibt es Anzeichen für eine wissenschaftliche Neuheit, aber ohne den Vergleich mit der Korrelation ist das alles leerer Unsinn (sorry).

 
HideYourRichess:

Ich möchte nur darauf hinweisen, dass die Formel für die Berechnung der gegenseitigen Information nach derselben Pedivik wie folgt lauten könnte: [...]

Warum wird "Entropie des fusionierten Systems" und nicht "bedingte Entropie" geschrieben, weil die Gesamtentropie des Systems aus zwei Systemen sowohl unabhängig als auch bedingt sein kann. Es ist klar, dass, wenn X und Y unkorreliert und unabhängig sind, man sie als gemeinsame Wahrscheinlichkeiten zählen sollte (Entropieadditionstheorem), und wenn es eine Verbindung gibt, dann als bedingte.

Ich hatte vermutet, dass Sie darauf hinweisen würden. Glücklicherweise bleiben die Formeln, die durch Wahrscheinlichkeiten (und nicht durch Entropien) geschrieben werden, in jedem Fall gleich - unabhängig davon, was wovon abhängt oder nicht. Diese Argumentation bringt also nichts Neues.

Es gibt ein System X - Markt (Alphabet), es hat eine endliche und bestimmte Anzahl von Zuständen (Symbole), die mit einer bestimmten Häufigkeit (Symbolwahrscheinlichkeiten) auftreten. Es gibt ein zweites System Y - ein Verzeichnis der Angebote. Anführungszeichen (Alphabet) haben auch einen begrenzten Satz von Symbolen mit bestimmten Häufigkeiten. Was lässt sich aus all dem ableiten?

Ich mache Sie darauf aufmerksam, dass dies nicht mehr das System ist, das der Themenstarter in Betracht gezogen hat. Ich bin nicht so naiv, ernsthaft davon zu sprechen, das Alphabet des Marktes zu lernen. Und ich versuche, mir realistische Ziele zu setzen.
 
faa1947: Die Ausführlichkeit der Korrelation ist ihre Stärke, aber gleichzeitig haben Sie die bekannten Grenzen der Korrelation auf die schwache Seite gelegt. Aber genau diese Beschränkungen erlauben es uns, sinnvoll über eine Größe namens "ACF", die Wahrscheinlichkeit des Vertrauens in diese Größe, die Bedingungen für die Berechnung dieses Vertrauens und allgemein die Zulässigkeit jeglicher Schlussfolgerung über diese Größen in Abhängigkeit von der Erfüllung der Korrelationsbeschränkungen zu denken.

Völlig richtig. Die Hälfte des terver/matstat spricht über die zentralen Grenzwertsätze und die damit verbundenen Implikationen, die sich speziell auf die Normalverteilung beziehen. Es handelt sich um eine perfekt "ausgearbeitete" Verteilung. Es gibt jedoch einige Zufallsvariablen, die selbst im Grenzwert nicht diesem Prinzip folgen. Warum sollte ich mich speziell mit der Pearson-Korrelation beschäftigen, nur weil sie perfekt ausgearbeitet ist?

ACF zeigt ganz gezielt Trends auf und sucht zusammen mit CHAKF nach Zyklen.

Weder Zyklen noch Trends sind in der Phase des Data Mining von Interesse. Interessant sind die Abhängigkeiten, die von ACF im Prinzip nicht erkannt werden.

Und wie sieht es mit der "Informationsabhängigkeit" aus, was ist das für ein Ungetüm und wie zeigt es sich in Anführungszeichen oder in Schritten? Es gibt zahlreiche Veröffentlichungen über die Psychologie des Marktes, in denen die Entstehung von Trends und Zyklen erklärt wird, aber was ist die psychologische Grundlage der "Informationsabhängigkeit", in welchen Veröffentlichungen wird sie beschrieben und hat sie Auswirkungen auf die Kurse? Auf welcher Grundlage kann man den entstandenen Bildern trauen? Wie groß ist die Wahrscheinlichkeit, dass das Ergebnis glaubwürdig ist? Wo liegen die Bedingungen für die Anwendbarkeit all dieser Bestimmungen? Dieser Thread erinnert mich mehr und mehr an den Thread mit hfenks (wenn ich mich richtig erinnere), der auch unwissentlich über Abhängigkeiten schwadronierte.

Sie stellen zu viele Fragen. Ich frage Sie: Kennen Sie wenigstens einen Forscher, der, bevor er mit etwas sehr Neuem und sehr Seltsamen beginnt, zunächst eine vollständige und absolute Begründung für die Anwendbarkeit des Neuen anstellt - und dann Ergebnisse erzielt, die ihm in Sekundenbruchteilen in den Sinn kommen? In der Regel ist es umgekehrt: Zuerst wird das Neue ohne Rücksicht auf Begründetheit und Strenge angewandt, und dann, wenn etwas Interessantes herauskommt, beginnt die Begründung. Verstehen Sie, was ich meine?

Apropos hrenfx: Er hat auch Analysen auf der Grundlage der Pearson-Korrelation durchgeführt.

Vom Standpunkt der These aus gesehen, die ausschließlich vorläufig ist, gibt es Anzeichen für eine wissenschaftliche Neuheit, aber ohne den Vergleich mit der Korrelation ist das alles nur leeres Geschwätz (sorry).

Keine große Sache. Nun, es handelt sich hier nicht um eine Dissertation, sondern nur um eine neugierige Idee, aus der in Zukunft etwas entstehen könnte. Ich bin mir bewusst, dass das nicht der Fall ist. Warum also Zeit mit einer strammen Rechtfertigung verschwenden?

 
Mathemat:

Völlig richtig. Die Hälfte des terver/matstat spricht über die zentralen Grenzwertsätze und die damit verbundenen Implikationen, die sich speziell auf die Normalverteilung beziehen. Es handelt sich um eine perfekt "ausgearbeitete" Verteilung. Es gibt jedoch einige Zufallsvariablen, die selbst im Grenzwert nicht diesem Prinzip folgen. Warum sollte ich mich speziell mit der Pearson-Korrelation beschäftigen, nur weil sie perfekt ausgearbeitet ist?

Weder Zyklen noch Trends in der Data-Mining-Phase sind bisher von Interesse. Es sind die Abhängigkeiten, die von Interesse sind, die von ACF grundsätzlich nicht aufgespürt werden können.

Sie stellen zu viele Fragen. Ich frage Sie auch: Kennen Sie wenigstens einen Forscher, der, bevor er mit etwas sehr Neuem und sehr Seltsamen beginnt, zunächst eine vollständige und hundertprozentige Begründung für die Anwendbarkeit dieses Neuen liefert - und dann Ergebnisse erzielt, von denen ihm in Sekundenbruchteilen eine Ahnung in den Sinn kommt? In der Regel ist es umgekehrt: Zuerst wird das Neue ohne Rücksicht auf Begründetheit und Strenge angewandt, und dann, wenn etwas Interessantes herauskommt, beginnt die Begründung. Wissen Sie, was ich meine?

Apropos hrenfx: Er hat auch eine Analyse auf der Grundlage der Pearson-Korrelation durchgeführt.

Keine große Sache. Nun, es handelt sich hier nicht um eine Dissertation, sondern nur um eine neugierige Idee, aus der in Zukunft etwas entstehen könnte. Ich bin mir bewusst, dass das nicht der Fall ist. Warum also Zeit mit einer strammen Rechtfertigung verschwenden?

Warum sollte ich mich speziell mit der Pearson-Korrelation beschäftigen, nur weil sie perfekt ausgearbeitet ist?

Praktisch wertvoll. Und man schafft es, nicht-stationäre Zufallsprozesse mit unbekannten Verteilungen zu behandeln.

Normalerweise ist es umgekehrt: Zuerst wird das Neue ohne Rücksicht auf Begründungen und alle möglichen Einschränkungen angewendet, und dann, wenn etwas Interessantes herauskommt, werden die Begründungen gemacht. Haben Sie mich verstanden?

Nein. Zuerst wird die Furt gemessen und dann alles andere. Auf allen wissenschaftlichen Konferenzen, an denen ich in meiner Zeit teilgenommen habe, wäre Ihre Rede die letzte für immer.

Warum also Zeit mit langatmigen Rechtfertigungen verschwenden?

Gestreckt ist nicht notwendig. Aber man muss verstehen, was auf der Ebene des Vergleichs mit dem Bestehenden diskutiert wird.

 
Mathemat:

Ich hatte vermutet, dass Sie darauf hinweisen würden. Glücklicherweise bleiben Formeln, die mit Wahrscheinlichkeiten (und nicht mit Entropien) geschrieben werden, in jedem Fall gleich - unabhängig davon, was von was abhängt oder nicht. Diese Argumentation bringt also nichts Neues.

Meiner Meinung nach kann sich das Wesen der Formel, auch wenn sie falsch ist, nicht ändern, ebenso wenig wie die Bedingungen für ihre Anwendbarkeit, da sie mit anderen Symbolen geschrieben wird.

Mathemat:
Ich mache Sie darauf aufmerksam, dass dies nicht mehr das System ist, das der Themenstarter in Betracht gezogen hat. Ich bin nicht so naiv, ernsthaft davon zu sprechen, das Alphabet des Marktes zu lernen. Und ich versuche, mir realistische Ziele zu setzen.
Ein vollständigeres System sieht wie folgt aus: Marktalphabet <-> Kursalphabet -> Aufgabenalphabet. Der Topikstarter hat nur das letzte Paar berücksichtigt, das Zitat ist die Aufgabe.