Statistiques de dépendance entre guillemets (théorie de l'information, corrélation et autres méthodes de sélection de caractéristiques) - page 11
Vous manquez des opportunités de trading :
- Applications de trading gratuites
- Plus de 8 000 signaux à copier
- Actualités économiques pour explorer les marchés financiers
Inscription
Se connecter
Vous acceptez la politique du site Web et les conditions d'utilisation
Si vous n'avez pas de compte, veuillez vous inscrire
Le concept d'entropie de l'information a été introduit par Shannon pour des symboles indépendants. Si vous ne me croyez pas, consultez un dictionnaire universitaire. Je ne discuterai plus avec vous sur ce sujet. Vous ne pouvez pas calculer l'entropie d'information pour le marché car vous ne connaissez pas l'alphabet, vous ne connaissez pas la fréquence des symboles et l'indépendance des symboles est également inconnue.
La question suivante, l'entropie conditionnelle, ne concerne que le cas où il existe des dépendances entre l'alphabet original. Cette chose n'est pas la même que l'entropie de l'information dont on parle.
Je ne comprends pas quelles conclusions vous tirez de l'exemple de l'archiveur, mais je dirai ceci. La tâche de l'archiviste est de traduire l'entropie conditionnelle en entropie informationnelle. C'est-à-dire créer un alphabet limité parfaitement défini, dont les caractères, dans la séquence résultante, seraient aussi indépendants que possible. Si vous mélangez la structure ordonnée d'un texte littéraire au niveau des lettres, il est évident que ces séquences de lettres seront brisées et que la compression se détériorera. A tel point qu'un ensemble de lettres complètement aléatoire ne peut plus être compressé.
Je trouve votre formulation de la question d'emblée paradoxale. Si nous obtenons une valeur différente de 0 comme résultat du calcul de l'information mutuelle, alors nous avons pris un alphabet avec des dépendances. Si nous étudions des valeurs indépendantes, alors l'information mutuelle sera toujours égale à 0 (ou très proche de cette valeur).
Alphabet - mais pas un système de chiffres.
Choix de l'alphabet.
OK, ainsi soit-il. J'ai construit l'alphabet de cette façon :
Je trouve la distribution inconditionnelle des rendements sur l'ensemble de l'historique (EURUSD, H1, environ 10 ans). L'histogramme est plus ou moins connu. Il s'agit d'une courbe ressemblant à une cloche gaussienne, mais avec des différences proches de zéro et dans les parties arrière. Je ne vais pas le dessiner ici.
Je choisis ensuite le nombre de quantiles dans lesquels je vais diviser la distribution. Disons, de 30 ans. Ce sera l'alphabet. C'est ici :
0 : [-10000.000 ; -305.000),2166
1 : [-305.000 ; -210.000),2167
2 : [-210.000 ; -161.000),2166
3 : [-161.000 ; -130.000),2166
4 : [-130.000 ; -110.000),2166
5 : [-110.000 ; -90.000),2167
6 : [-90.000 ; -80.000),2166
7 : [-80.000 ; -60.000),2166
8 : [-60.000 ; -50.000),2166
9 : [-50.000 ; -40.000),2167
10 : [-40.000 ; -30.000),2166
11 : [-30.000 ; -20.000),2166
12 : [-20.000 ; -10.000),2166
13 : [-10.000 ; -10.000),2167
14 : [-10.000 ; 0.000),2166
15 : [0.000 ; 10.000),2166
16 : [10.000 ; 20.000),2167
17 : [20.000 ; 24.000),2166
18 : [24.000 ; 30.000),2166
19 : [30.000 ; 40.000),2166
20 : [40.000 ; 50.000),2167
21 : [50.000 ; 62.000),2166
22 : [62.000 ; 80.000),2166
23 : [80.000 ; 90.000),2166
24 : [90.000 ; 110.000),2167
25 : [110.000 ; 136.000),2166
26 : [136.000 ; 170.000),2166
27 : [170.000 ; 211.000),2166
28 : [211.000 ; 300.000),2167
29 : [300.000 ; 10000.000),2167
Explication : il y a d'abord le nombre de quantiles (de 0 à 29). Vient ensuite le demi-intervalle qui caractérise les limites du quantile en pips à cinq chiffres. Par exemple, le quantile 22 correspond à un rendement positif de 62 à 80 pips. Et le dernier chiffre est le nombre de valeurs tombant dans ce quantile (pour contrôler l'exactitude de la répartition en quantiles).
Oui, ce n'est pas très joli pour les retours importants, car en réalité les retours peuvent aller jusqu'à environ 3000 nouveaux points. Eh bien, ce sont de grosses queues, on ne peut rien y faire...
Cet alphabet m'a été utile notamment pour calculer le critère du chi-deux. C'était pratique, car même pour des écarts très importants par rapport à l'indépendance, la fréquence minimale des occurrences conjointes n'était pas inférieure à 5 (c'est une condition pour que le chi-deux soit correct). Peut-être un autre choix d'alphabet serait-il préférable.
Et en général, disons qu'avec un nombre de quantiles de 50, les limites intérieures des quantiles les plus extérieurs sont repoussées à environ 380 nouveaux points (au lieu des 300 précédents). C'est mieux, mais pas encore génial.
Je choisis ensuite le nombre de quantiles dans lesquels je veux diviser la distribution. Disons 30. Ce sera l'alphabet. C'est ce que c'est :
Si vous le permettez, pourriez-vous me dire comment analyser des données à l'aide de l'alphabet ? Je suis actuellement confronté à un problème similaire, que j'analyse pour l'instant à l'aide de NS dans Matlab.
Existe-t-il un moyen d'analyser les données présentées sous forme d'alphabet en dehors de la NS ?
C'estassez réaliste. Je n'ai pas remarqué de limites, mais les sommes et les logarithmes peuvent être effectués dans MQL4. Je ne sais pas ce que Sergeev a fait. Mais d'après ce que je sais d'autres sources, la partie la plus difficile des calculs était le calcul de la fonction gamma. Le TI était hors de question.
On a écrit l'indicateur selon l'article de Y.Sultonov "Universal regression model for market price forecasting" - ici dans Kodobase.
Des constructions similairesy sont-elles utilisées ? Ou pas ?
L'entropie mutuelle n'est pas la même que l'entropie conventionnelle et n'est pas la même que l'entropie de l'information.
Vous vous éloignez de la question. Quel est l'intérêt d'appliquer les statistiques d'information mutuelle si nous exigeons que le système soit indépendant des valeurs aléatoires ? L'information mutuelle sera nulle dans ce cas. C'est écrit partout.
Je dirai également que l'introduction du concept d'entropie dans la CT était typique de l'école soviétique. Les Américains donnent la formule classique suivante de calcul de l'information mutuelle :
C'est-à-dire qu'il n'y a pas d'entropie en tant que concept ici.
J'ai trouvé un article sur l'entropie de l'information (Wiki). Citation 1 de là :
L'entropie est la quantité d'information par message élémentaire d'une source produisant des messages statistiquement indépendants.
C'est l'entropie, l'entropie régulière. C'est la définition dont vous parlez ?
Oui, je suis prêt à accepter que les lettres de l'alphabet doivent être statistiquement indépendantes afin qu'il n'y ait pas de redondance ou de dépendance. C'est en gros ce que fait l'archiveur, qui crée un alphabet clairement différent de celui utilisé pour créer le texte.
Mais ce n'est pas ce que nous comptons ! Ce que nous comptons est le suivant.
De plus, on vous a déjà donné la citation 2 du même endroit :Si la séquence de symboles d'un alphabet n'est pas indépendante (par exemple, en français, le "q" est presque toujours suivi du "u", et le mot "avant-garde" dans les journaux soviétiques était généralement suivi de "production" ou de "travail"), la quantité d'information que transporte une séquence de tels symboles (et par conséquent, l'entropie) est évidemment moindre. L'entropie conditionnelle est utilisée pour tenir compte de ces faits.
C'est différent, et vous avez déjà écrit à ce sujet :
HideYourRichess : La question suivante, l'entropie conditionnelle, est exactement le cas lorsqu'il y a des dépendances entre les caractères de l'alphabet original. Cette chose n'est pas la même que l'entropie de l'information en question.
Le discours du topicstarter (et le mien aussi) ne portait pas sur l'entropie informationnelle, mais, bon sang, sur l' information mutuelle (encore Wiki) ! !!
L'information mutuelle est une fonction statistique de deux variables aléatoires décrivant la quantité d'information contenue dans une variable aléatoire par rapport à l'autre.
L'information mutuelle est définie à partir de l'entropie et de l'entropie conditionnelle de deux variables aléatoires [la formule de I(X,Y) est la suivante
Maintenant, pour votre dernier argument :
HideYourRichess : La tâche de l'archiviste est de traduire l'entropie conditionnelle en entropie informationnelle. C'est-à-dire créer un alphabet borné parfaitement défini, dont les caractères, dans la séquence résultante, seraient aussi indépendants que possible. Si vous mélangez la structure ordonnée d'un texte littéraire au niveau des lettres, il est évident que ces séquences de lettres seront brisées et que la compression se détériorera. A tel point qu'un ensemble de lettres complètement aléatoire ne peut plus être compressé. Et alors ? Qu'est-ce que ça a à voir avec le bazar ?
L'argument est qu'il ne s'agit pas de ce que vous appelez l'entropie de l'information, mais de l'information mutuelle. C'est tout. Arrêt complet. La dispute est terminée.
Si vous le permettez, pourriez-vous me dire comment analyser des données à l'aide de l'alphabet ? Je suis actuellement confronté à un problème similaire, que j'analyse pour l'instant à l'aide de NS dans Matlab.
Existe-t-il d'autres moyens d'analyser des données représentées sous forme d'alphabet que la NS ?
Pour être honnête, je ne comprends pas vraiment votre question. Nous attribuons simplement un numéro ordinal à chaque caractère de l'alphabet - et analysons ensuite les chiffres comme d'habitude. Peut-être y a-t-il quelque chose de spécifique, mais je n'en ai pas connaissance.
Roman : Les gens ont écrit l'indicateur selon l'article de Sultonov "The Universal Regression Model for Market Price Forecasting" - ici dans kodobase.
Y a-t-il des constructions similaires utiliséeslà-bas? Ou pas ?
Il n'y a même pas un soupçon de terver/statistiques ou de théorie de l'information ! Bien que... oui, il y avait des logarithmes, je crois...
Je dis juste que les courbes et les gribouillis ici et ici se ressemblent beaucoup pour moi... :-))), y compris la présence d'une distribution gamma, les approches de la solution devraient donc être SIGNIFIQUEMENT similaires.
Est-ce qu'une telle chose est possible, au moins de façon CONSTANTE ?
Le fait est que la fonction de distribution gamma apparaît dans l'article comme si elle sortait de nulle part, soi-disant en résolvant un dilemme de mouvement déterministe - mais pas comme le résultat d'une analyse statistique ou terversive. Roman, jusqu'à présent, je ne vois aucune similitude dans les approches de la solution - même de manière conventionnelle.
Mais si l'on regarde de près, on peut tout de même trouver quelques similitudes - par exemple, dans le mot "distribution", que l'on retrouve également dans l'article de Yusuf:)