Filtres numériques adaptatifs - page 8

 
Mathemat:
2 Prival : Je me suis souvenu que Kalman, selon vous, est basé sur MNC. Je comprends maintenant pourquoi il fonctionne très bien sur les données radar (avec des erreurs distribuées gaussiennes), mais - moins bien sur les données du marché. La principale raison pour laquelle Kalman est parfait sur des données gaussiennes est que la fonction d'erreur (cible) - la somme des carrés de la variance dans ce cas - est parfaite uniquement pour la distribution gaussienne. Pour d'autres distributions, les fonctions d'erreur sont différentes. Pour les distributions avec queues de puissance (lourdes), les fonctions cibles sont très différentes, et MNC ne compte pas ici. C'est pourquoi le JMA est meilleur que le Kalman sur les séries de marché.

C'est intéressant. Allez Alexey, je vais aussi agiter mon bouleau au-dessus de ta tête :-). Après tout, 99 % des litiges surviennent lorsqu'une personne affirme que c'est mieux. Mais il n'a pas dit dans quel sens c'est mieux (où est le critère + combien c'est mieux). Et disons que je soutiens que MA est encore meilleur, le meilleur, juste incroyablement meilleur :-). JMA et Kalman ne sont même pas proches.

C'est comme dire qu'une personne est meilleure qu'une autre. Mais pas pour dire de quelle manière (pas de critère). Supposons que le premier est meilleur pour boire de la vodka, tandis que le second est meilleur pour tirer sur les pionniers avec une fronde. La question est de savoir lequel des deux est le meilleur ?

Après tout, le JMA est une boîte noire pour vous et moi. Et le filtre de Kalman doit contenir

1. Un modèle d'observation (modèle de signal + modèle de bruit).

2. Un modèle de mesure (modèle d'erreur de mesure).

Et la solution à trouver par ANC avec une fonction de perte quadratique. Basé sur des données a priori et des mesures obtenues. Et je tiens à noter que cette fonction d'erreur cible fonctionne non seulement pour Gauss, mais pour toute loi de distribution symétrique.

Mathemat et maintenant une question. Supposons que le processus analysé soit sinusoïdal avec un bruit uniforme et que les mesures soient soumises à une loi de Poisson non stationnaire. Tous ces modèles sont imbriqués dans le filtre de Kalman et celui-ci a trouvé l'estimation optimale (de ce mélange sauvage) à l'arrivée d'une nouvelle mesure par ANC (fonction de perte quadratique) en fonction de toutes les données a priori qui y sont imbriquées.

Où, à quel endroit, la boîte noire du JMA est-elle la meilleure ?

Si vous mettez dans un filtre de Kalman un modèle qui est 100% cohérent avec le forex (signal + bruit) et un modèle de mesure adéquat (système d'estimation expert non synchrone), ce sera une sacrée machine.

Z.U. Le modèle de bruit d'observation et de mesure peut être n'importe quoi. L'essentiel est d'être cohérent avec ce qui existe.

 

Convaincu, Privé. Il y a donc quelque chose que Djuric ne nous dit manifestement pas, ou bien il fait délibérément étalage de son produit. Et pourtant, et pourtant : pourquoi le MCO et pas, disons, la somme des modules de déviations ? Juste parce que l'ANC est analytiquement plus commode ?

P.S. Je me souviens m'être interrogé sur une fonction de perte rapide dans le cadre de mes anciennes recherches sur les réseaux neuronaux (il s'agit d'une fonction cible). Et d'une manière ou d'une autre, j'ai déduit ou lu quelque part que la somme des carrés est directement liée à l'hypothèse particulière sur la loi de la distribution des erreurs (ici - gaussienne). Lorsque, dans le cadre de mes recherches, j'ai changé la fonction en somme de modules (c'est-à-dire que j'ai changé la loi de distribution des erreurs a priori en exponentielle), la qualité de la prédiction s'est légèrement améliorée, mais pas de façon cardinale.

 
Prival:

Si vous mettez un modèle dans le filtre de Kalman qui est 100% cohérent avec le forex (signal + bruit) et un modèle de mesure adéquat (système de jugement expert non synchrone), ce sera une sacrée machine.

Z.U. Le modèle de bruit d'observation et de mesure peut être n'importe quoi. L'essentiel est de faire correspondre ce qui est là.


Le modèle du signal lui-même a-t-il des limites ?
 
grasn:

à Northwind.

Merci. Et "nous avons besoin d'un concept simple et suffisamment cohérent de la vie du marché" - voulez-vous dire votre propre développement ou l'utilisation de certaines techniques, telles que celles décrites par Shiryaev ?


Tout cela à titre personnel, sur la base de ce que j'ai vu et lu.
 
Mathemat:

...la somme des carrés est directement liée à l'hypothèse particulière sur la loi de la distribution des erreurs (ici, gaussienne)...

Si ma mémoire est bonne, c'est le cas.
 

Prival, Mathemat, j'ai peur de m'énerver à nouveau, mais je dois le redire - il n'y a pratiquement pas de bruit dans les citations - c'est le signal d'entrée. Vous essayez d'utiliser les outils de la statistique mathématique (le filtrage est le même). Des statistiques de quoi? Les statistiques, les lois de distribution, leurs moments d'ordres différents font référence à des variables aléatoires (processus). Si vous obtenez un tic, s'agit-il d'un signal ou d'un bruit ? Je soutiens qu'il s'agit d'un signal, car avec ces données, vous pouvez donner un ordre d'achat ou de vente, et il sera exécuté (toutes les autres conditions générales étant égales). Oui, il est difficile de prédire quelle sera la prochaine valeur du prix, c'est pourquoi je veux croire qu'il existe une composante aléatoire et une composante non aléatoire qui peuvent être détectées puis extrapolées - prévisibles. Et ce n'est pas aléatoire, c'est juste inconnu. Ou, si vous voulez, tout le hasard - sans le diviser en composantes additives. Qu'allez-vous séparer ? Le même filtre de Kalman filtrera une composante très précise - définie par votre propre modèle sous la forme d'une fonction analytique lisse. Le connaissez-vous ? Je ne le fais pas. Vous essayez d'identifier les propriétés dynamiques du marché, et l'application d'une analogie physique est, je le crains, également futile : vous pouvez trouver des bougies minutes avec une amplitude supérieure à un chiffre, ainsi que des gaps, ce qui indique qu'il est pratiquement sans inertie.

Il est possible, en acceptant l'hypothèse que les valeurs des prix sont aléatoires, de les étudier à l'aide de statistiques mathématiques. C'est une chose dont Mathemat et d'autres sont friands depuis longtemps. Il en résulte de grosses queues et, donc, à nouveau, l'absence de perspectives pratiques.

Mais que dire des résultats positifs des "pianistes" et des dirigeants des Championnats ! Ce sont justement eux qui parlent de la nécessité d'élargir le paradigme méthodologique. Des éléments d'analyse technique (et peut-être même fondamentale) devraient être introduits dans le SCM, mais pas directement, en utilisant les anciennes recettes "classiques", mais par le filtrage préliminaire de modèles de travail sur la base de l'approche bayésienne. Il est difficile de traiter une telle quantité d'informations "manuellement", mais quelqu'un le fait. La conclusion est évidente : il faut former un robot.

J'ai déjà créé un réseau probabiliste dans MQL mais je n'arrive pas à le faire fonctionner avec un facteur de profit supérieur à 1,5 - le professeur est trop faible :-).
P.S. Un autre exemple pour confirmer l'argument de l'absence de bruit dans les prix.
Lorsqu'on parle de bruit de mesure, on entend un écart aléatoire des données de mesure par rapport à la valeur réelle de la quantité mesurée. Par exemple, le radar (pour les spécialistes :-)) a donné une valeur de portée de 105, et la vraie valeur est 100, dans la mesure suivante 99 au lieu de 101 et ainsi de suite. La distribution de l'erreur est généralement normale. Dans le cas où le prix arrive, par exemple, à 1.2567 - c'est sa vraie valeur, l'erreur est égale à zéro ! De quel type de bruit s'agit-il ?

 
rsi:

Prival, Mathemat, j'ai peur de m'énerver à nouveau, mais je dois le répéter - il n'y a pratiquement aucun bruit dans les citations - c'est l'entrée.

Pas d'ennui, rsi, discussion normale. Dans l'ensemble, je suis d'accord avec vous : le bruit entre guillemets ne peut être vu que dans le cadre d'une certaine interprétation, d'un modèle. Lorsque je parle d'erreurs, je parle généralement d'erreurs de prédiction ou d'approximation.

Prival parle d'erreurs d'observation et de mesure. C'est tout à fait naturel au regard de sa spécialité. Mais ce sont des erreurs très différentes. Néanmoins, ce point de vue a un droit à la vie, bien qu'à mon avis il soit artificiel. Prival, ne le prenez pas mal, mais je n'ai aucune idée de la manière dont vous comptez mettre en œuvre votre taux d'échantillonnage de 100 MHz.

Je considère que l'application des méthodes statistiques au traitement des séries financières n'est utile que dans le cadre de l'évaluation des risques éventuels, pas plus.

...on peut trouver des bougies minuscules dont l'amplitude est supérieure à un chiffre, ainsi que des écarts, ce qui montre son caractère pratique sans inertie.

Oui, et il y a aussi un chandelier de cinq minutes sur l'oire de 198 pips en 2000. Qui est le plus grand ?

 
rsi:

Prival, Mathemat, j'ai peur de m'énerver à nouveau, mais je dois le redire - il n'y a presque pas de bruit dans les citations - c'est le signal d'entrée.


Rsi, au contraire, je suis très heureux que vous soyez revenu dans la discussion. Après tout, tu as du bon sens, tu me fais réfléchir. Je m'excuse pour moi-même et pour les autres, si j'ai dit (ou fait dire) quelque chose de mal. J'avais un mathématicien qui me donnait de tels ordres (les généraux se détendent :-)), me faisait faire des pompes :-). Je le verrai vivant, je le serrerai comme un frère. Et vous pour moi un pantalon jaune, ns dans MT4, sorcier. Tout comme Klot.

En ce qui concerne le bruit, j'y pense tout le temps moi-même. J'ai fait ce qui suit. J'ai pris des citations hebdomadaires et j'ai commencé à analyser toutes les composantes de ce flux. J'ai d'abord soustrait la tendance, puis les fluctuations, tout ce que je pouvais enlever. Et après chaque procédure, j'ai regardé les résidus. Lorsque je les ai tous sélectionnés, il y avait du bruit dans les résidus, mais pas un bruit gaussien. Quelques bruits étranges +-1 pip et rien d'autre, quelques rares pics de 2-5 pips et un gap de 40 pips (je cherchais surtout une semaine avec un bon gap). Je me suis assis et j'ai réfléchi et je pense avoir trouvé une explication à ce bruit. Il s'agit très probablement d'un bruit de mesure, si vous regardez les citations du point de vue de l'ADC (il s'agit de bruits de quantification et d'échantillonnage), ils devraient être physiquement présents si nous numérisons un processus continu. Je pense donc que vous avez peut-être raison de dire qu'il n'y a pas de bruit ici - c'est un signal pur. Mais il y a une nuance, qui me dérange :-(.

C'est tout à fait naturel du point de vue de sa spécialité. Mais ce sont des erreurs bien différentes. Néanmoins, ce point de vue a un droit à la vie, même si, à mon avis, il est artificiel. Prival, ne le prenez pas mal, mais je n'ai aucune idée de la manière dont vous allez mettre en œuvre votre taux d'échantillonnage de 100 MHz.

Il n'y a aucun moyen de faire 100MHz, ce n'est pas possible (sinon je serais déjà dans le sweet spot :-)). La seule façon d'améliorer cette situation, au moins un peu, est de faire comme dans un CD normal. Nous devons prendre le maximum de fournisseurs de devis et traiter ce flux par nous-mêmes (et non pas construire une bougie, mais une ellipse de probabilité constante). En effet, nous devons conclure des transactions (Achat et Vente) en fonction des données fournies par les sociétés de courtage. Mais nous ne sommes pas obligés d'utiliser uniquement les données de cette société de courtage pour prendre une décision concernant l'achat ou la vente ; nous pouvons ne pas utiliser les cotations du tout :-)

Pour le montant des modules de déviation. Si je ne me trompe pas, avec cette approche, l'évaluation est soit biaisée, soit insoutenable. Je ne me souviens pas exactement, j'ai peur de faire une erreur, mais quelque chose à propos de la puissance de l'estimation. Bien que vous puissiez en choisir un non-quadratique. Fondamentalement n'importe lequel, l'essentiel est de déterminer dans quelle direction à partir du milieu (l'observateur idéal) les erreurs sont plus importantes, disons que dans une direction c'est un carré dans l'autre cube. Ceci est tiré de la théorie statistique de la prise de décision. (Le livre de Wald "Statistical Decisive Rules", je pense que c'est dedans). Si quelqu'un a besoin d'un livre, je peux le poster.

NorthernWind

Je ne comprends pas les limitations que vous demandez, veuillez clarifier votre question.

Le modèle doit être représenté sous la forme d'un système d'équations différentielles stochastiques. Et la principale condition est qu'elle doit être adaptée au processus à filtrer. C'est exactement le genre de contraintes que nous avons.

Z.I. Mathemat a voulu m'offenser :-), vous ne pouvez pas attendre. Ceux que je respecte, ils ne peuvent tout simplement pas le faire. À moins qu'il ne me serre la main et ne jette le cognac (si longtemps et si soigneusement conservé pour lui), et alors je penserai d'abord que j'ai peut-être fait quelque chose de mal. Et ensuite, c'est moi qui porterai l'eau :-)

 
rsi:
Le même filtre de Kalman filtrera une composante bien définie - définie par votre propre modèle comme une fonction analytique lisse. Vous le connaissez ? Je ne le fais pas. Vous essayez d'identifier les propriétés dynamiques du marché, et l'application d'une analogie physique est, je le crains, également futile : vous pouvez trouver des bougies minutes avec une amplitude supérieure à un chiffre, ainsi que des gaps, ce qui indique sa nature pratique sans inertie.

Je suis d'accord pour dire que les choses vont mal aux points d'écart et qu'il n'y a peut-être pas d'inertie. Et il n'y a aucun moyen de se débarrasser de toutes les lacunes (j'ai émis l'hypothèse qu'elles sont dues à l'écart entre le taux d'échantillonnage et le processus analysé - cela ne semble pas contredire quoi que ce soit). Mais les lacunes ne sont pas toutes les 24 heures d'une journée. L'analyse ACF montre que le processus est corrélé, qu'il existe un temps de corrélation et que le processus peut donc être prédit. Après tout, c'est une analogie presque directe avec un processus physique, un avion ne peut pas tourner instantanément, la masse interfère, il y a de l'inertie, le processus peut être prédit car il est corrélé. Sans cela, la NS ne fonctionnerait pas IHMO (j'ai lu ici que cet acronyme peut être interprété de différentes manières, je l'ai à mon humble avis).

Mais que dire des résultats positifs des "pianistes" et des leaders du championnat ! C'est exactement ce qu'ils disent de la nécessité d'élargir le paradigme méthodologique. Des éléments d'analyse technique (et peut-être même fondamentale) devraient être introduits dans le SCM, mais pas directement et avec les vieilles recettes "classiques", mais avec un filtrage préliminaire de modèles de travail basés sur l'approche bayésienne. Il est difficile de traiter une telle quantité d'informations "manuellement", mais quelqu'un le fait. La conclusion est de former un robot.

Les résultats sont encourageants et me permettent de garder la main (les économistes parlent de martingales et de processus de Wiener). Je ne sais pas si je suis la vieille recette "classique" (bien que j'aie lu des livres sur l'analyse du marché des changes, pas tous, mais il y en a des dizaines de bons). J'ai cherché autant que je n'ai pas pu trouver les résultats de l'application du filtre de Kalman à l'analyse des cotations. Ils sont soit absents, soit au contraire, ceux qui ont réussi à les mettre en œuvre cachent soigneusement leurs résultats. Car il est très important de sélectionner les modèles de travail en utilisant la méthode bayésienne. Il ne fonctionnera pas autrement. J'essaie de le faire manuellement - c'est difficile, mais c'est très intéressant. Je ne fais pas confiance aux algorithmes, lorsque je ne sais pas comment les décisions sont prises. Je ne les aime pas.

Le filtre de Kalman ne parvient que très rarement à être mis en œuvre dans la vie réelle. Elle peut être considérée comme un idéal, comme la solution bayésienne bien connue, lorsque l'estimation la plus puissante est choisie en présence d'informations a priori et a posteriori.

C'est comme ça.

 
Prival:
Il y avait un peu de bruit dans les résidus, mais pas gaussien. Des bruits étranges de +-1 pip et rien d'autre, quelques rares pics de 2-5 pips plus un gap de 40 pips (je cherchais spécifiquement une semaine avec un bon gap).

Et moi et Mathemat ainsi que d'autres ont vu ce bruit sur les tics. De plus, sur les ticks il est clair que +-1 points a une plus grande probabilité du mouvement inverse que de sa continuation. Malheureusement, cette régularité est à l'intérieur du spread. Et il n'est pas élevé.

Mais le fait qu'il soit apparu après le traitement est intéressant.