L'apprentissage automatique dans la négociation : théorie, modèles, pratique et algo-trading - page 161

 
Dr. Trader:

Et si je vous disais que la "loi de Newton" n'existe pas dans la nature ? Et c'est juste une formule dérivée pour simplifier les calculs. Et avec la phrase "La loi de Newton fonctionne ou ne fonctionne pas", il est sous-entendu que cette formule peut être utilisée pour calculer un certain processus, ou inversement elle ne peut pas être appliquée en raison de la complexité du problème et de la nature chaotique du monde.

Supposons qu'il y ait une boule d'acier. En connaissant sa masse, vous pouvez déterminer la vitesse de sa chute, la vitesse à laquelle il atteindra le sol, etc., le tout de manière assez précise. Dans le cas d'une peluche, cependant, les influences sont si nombreuses que l'application des lois de Newton ne vous aidera pas à calculer où et quand la peluche tombera. Même si vous vous enfermez dans une pièce sans vent au fond de l'océan, la moindre activité sismique changera et les peluches ne tomberont pas là où vous les avez calculées. Même une expérience aussi complexe dépasse déjà les limites de la banalité, mais elle n'est pas encore assez précise.

Le comportement de la peluche est une analogie avec le comportement d'un symbole boursier. Vous pouvez créer un conseiller expert avec des milliers de formules, mais toutes ne feront que décrire les phénomènes que vous observez dans ce processus. Vous ne comprendrez jamais complètement les processus sous-jacents. Par conséquent, quelles que soient les formules précises que vous créerez, elles ne fonctionneront que dans des conditions idéales et ne décriront que les phénomènes observés précédemment. Mais en réalité, quelque chose d'inattendu se produira et le marché ira à l'encontre de toutes vos formules et fera tomber tous vos stops.

J'étais engagé dans le calcul de la dynamique de l'écoulement des liquides et des gaz. En toute responsabilité, je peux vous déclarer que si l'objet "fluff" se comporte de manière "inhabituelle" pour un observateur, cela ne signifie pas que les lois de Newton ne fonctionnent pas, mais que l'observateur n'a pas pris en compte les forces qui influencent l'objet, dans ce cas le mouvement des masses d'air qui, compte tenu de la relation entre la masse de l'objet et l'aire de sa surface, ont beaucoup plus d'influence que la force de gravitation. Mais ce sont toutes les mêmes forces newtoniennes, qui n'ont pas été prises en compte par l'observateur.

Vous voyez ce que je veux dire ? C'est un truc élémentaire, mec. Si ça ne marche pas, ça veut dire qu'il y a quelque chose qui n'a pas été pris en compte. Ce n'est la faute de personne, à part l'observateur.

Maintenant, faites une analogie, peut-être mentalement, entre ce qui précède et le marché.
 
Dr.Trader:Disons qu'il y a une boule d'acier. En connaissant sa masse, vous pouvez déterminer à quelle vitesse elle va tomber, à quelle vitesse elle va atteindre le sol, etc. Dans le cas du duvet, cependant, il y a un tel nombre d'impacts sur lui.....
La même chose ! Tant sur le duvet que sur le ballon))))
 
Andrey Dik:
La loi fonctionne, et pour le fluff aussi. Mais quand on regarde les choses "au niveau national", c'est ce qu'on obtient.....
Le plus intéressant, c'est que Vetrov dit aussi à ce sujet : "Nous ne connaissons pas une partie des variables du tirage au sort d'une pièce de monnaie...".
Fa, les variables connues sont écartées d'un coup, suggérant la prière))))
 
SanSanych Fomenko:

Merci, je l'ai lu.

Je pense que l'auteur est trop optimiste.

Le clip ne fait que suggérer des répartitions a posteriori pour empiler, avec une mise en garde ! pour les domaines auxquels il s'applique.
Lorsque l'on utilise des données standard prétraitées (fx), cette approche est censée fonctionner
et avec une structure plus complexe (nombre de briques), ce sera l'ajustement le plus difficile.
Tout cela est bien sûr subjectif...
 
Andrey Dik:

les mouvements des masses d'air qui, compte tenu du rapport entre la masse d'un objet et sa surface, ont un impact beaucoup plus important que la gravité. Mais ce sont toutes les mêmes forces newtoniennes qui n'ont pas été prises en compte par l'observateur.

Nous parlons de la difficulté d'appliquer la loi de Newton pour déterminer le mouvement d'un objet en peluche à un niveau domestique. D'abord, vous avez ricané en disant que c'était un jeu d'enfant. Maintenant, tout d'un coup, vous devez prendre en compte les masses d'air et toutes les forces newtoniennes. Quel genre de vie avez-vous pour que l'utilisation d'un centre de données pour calculer les masses d'air soit monnaie courante ? Vous devez construire des fusées, ou d'autres vaisseaux spatiaux.

Et de quel genre de forces newtoniennes s'agit-il ? La force utilisée par Isaac Newton pour tourner une fois toutes les secondes ? (Je plaisante)

Vizard_:
La même chose ! Tant sur la peluche que sur le ballon))))

Je suis un peu un cancre, ouais). C'est à peu près la même chose à un moment donné. Mais le ballon va juste tomber et c'est tout. Et la trajectoire de la balle qui tombe est plus tordue, elle devra donc parcourir une plus grande distance et la somme des effets pendant toute la durée de la chute sera différente. Eh bien, à moins que la situation soit dans un vide sans aucune influence extérieure.

 
Dr. Trader:

1. Nous parlons de la difficulté d'appliquer la loi de Newton pour déterminer le mouvement d'un morceau au niveau national.

2. D'abord, vous avez ricané en disant que c'était un jeu d'enfant.

3. maintenant, tout d'un coup, vous devez prendre en compte les masses d'air et toutes les forces newtoniennes. Quel genre de vie domestique est-ce pour que l'utilisation d'un centre de données pour calculer les masses d'air soit monnaie courante ? Vous devez construire des fusées, ou d'autres vaisseaux spatiaux.

4 Et quel genre de forces newtoniennes sont-elles ? La force utilisée par Isaac Newton pour tourner une fois toutes les secondes ? (Je plaisante)

1. c'est vous qui parlez de l'inconnu, et SanSanych, pour qui vous intervenez, disait que les lois "au niveau national" ne s'appliquent pas à la fluff. Mais je vous assure que le duvet est tout aussi soumis aux lois de la physique que n'importe quel autre corps.

2. Est-ce aussi simple qu'un morceau de gâteau ? - C'est votre imagination, je n'ai pas dit simple ou facile.

3) Si l'on ne tient pas compte de toutes les forces agissant sur le corps, il devient impossible de déterminer la suite de la trajectoire du mouvement. Et certains peuvent même penser que le corps échappe au contrôle des lois physiques. Je le répète une fois de plus, en termes simples : si "quelque chose" ne fonctionne pas pour quelqu'un, cela signifie que cette personne ne tient pas compte de tous les facteurs agissant sur "quelque chose".

4) Familiarisez-vous d'abord avec les trois lois de Newton et les conséquences de ces lois. Vous pourrez ensuite procéder à une étude approfondie de la cinématique d'un corps solide, puis, si vous le souhaitez, de la mécanique d'un corps solide déformable.

Afin de consolider ce que vous avez lu, essayez de dessiner sur papier une boule métallique dont la densité spécifique est de 7,8 g/cm3 et une boule de taille similaire dont la densité est de 0,00001 g/cm3. Appliquez schématiquement un vecteur force à ces corps et marquez les vecteurs de force. On comprendra pourquoi la balle et la peluche se comportent différemment lorsqu'elles sont envoyées en chute libre. Dès lors, il n'y aura plus de volonté d'aborder l'étude des processus du marché "au niveau des ménages".

"Ne dis pas de bêtises" (s) Reshetov, je ne me souviens pas de l'année.

 

L'analyse des systèmes déclare une erreur de première espèce :

"Appliquer les bonnes méthodes aux mauvais problèmes".

Mon exemple.

L'application de la loi de Newton à la chute d'une bille d'acier est un exemple d'application de la méthode correcte à un problème correctement formulé, puisqu'on ne peut être guidé que par la loi de Newton et qu'on peut négliger tous les autres facteurs affectant la chute de la bille.

L'application de la loi de Newton à un morceau est un exemple d'application de la méthode correcte à un problème NON correct, car dans le cas d'un morceau, laloi de Newton peut être négligée et d'autres forces qui déterminent le mouvement du morceau doivent être prises en compte.

En forex, le problème de la sélection des facteurs (prédicteurs) pertinents pour la variable cible parmi le bruit est extrêmement aigu, car la présence de prédicteurs de bruit dans un modèle entraîne un surajustement de ce modèle. C'est le réentraînement du modèle (système de trading) qui est en cause.

Pour moi, le tableau est le suivant.

Sur une quantité suffisamment importante d'observations (5000 - 10 000 barres), nous sélectionnons parmi plusieurs centaines de prédicteurs 20-30 prédicteurs qui sont pertinents pour la variable cible. La sélection sera individuelle pour une variable cible particulière.

Ensuite, dans une fenêtre plus petite de 100 à 300 barres de cet ensemble, nous sélectionnons à nouveau les prédicteurs, par exemple par rfe. J'ai été surpris de voir que lorsque la fenêtre se déplace, la liste des prédicteurs et leur nombre changent. Dans mon cas : Liste initiale = 170 prédicteurs. J'ai sélectionné 27 prédicteurs, et par rfe j'obtiens de 5 à 15 prédicteurs lorsque la fenêtre se déplace.

Avec cette approche, l'erreur de prédiction par rf peut être estimée à 20%. Ada a l'air mieux et gbm encore mieux. Je noterai surtout que l'erreur sur l'échantillon d'entraînement est à peu près égale à l'erreur en dehors de cet échantillon. Le modèle n' est PAS ré-entraîné.

C'est à cela que ressemble "l'application des bonnes méthodes au bon problème" en forex.

Et à quoi ressemble "l'application de la bonne méthode de rf au mauvais ensemble de prédicteurs" ?

On prend un ensemble de prédicteurs à l'improviste. Dans le même temps, il est très important de tenir compte de l'expérience des TA - ils aiment les indicateurs de tendance - et de divers mannequins.

En utilisant une telle liste de prédicteurs sur l'ensemble d'apprentissage, rf peut facilement être entraîné avec une erreur de moins de 5%.

Et si nous prenons l'ensemble en dehors de cet ensemble d'entraînement, il deviendra immédiatement clair que les arbres trouvés par l'algorithme rf n'ont aucune relation avec le nouveau segment kotir - le modèle est réentraîné, c'est-à-dire qu'il s'est souvenu des détails de l'ensemble d'entraînement et est complètement inutilisable en dehors de cet ensemble. Une image familière, n'est-ce pas ?

 
sibirqk:

Sur le lien, l'auteur présente des idées intéressantes sur la manière de procéder en se basant sur les probabilités bayésiennes.

Dmitry Vetrov:
Par conséquent, nous avons deux tendances opposées : d'une part, nous avons un échantillon d'apprentissage que nous aimerions prédire aussi précisément que possible, toutes choses égales par ailleurs, et d'autre part, nous avons la complexité des modèles trouvés, la complexité de l'algorithme de prévision et nous aimerions le rendre moins compliqué. Ces exigences se contredisent et nous devons donc trouver un compromis, mais pour cela, nous devons exprimer la complexité et la précision en termes unifiés.

https://postnauka.ru/video/55303

Malheureusement, Dimitri Vetrov ne peut faire la distinction entre la capacité d'apprentissage des modèles et leur capacité de généralisation. Il n'a donc pas de compromis. Cependant, si nous regardons le graphique (tiré d'ICI), nous pouvons voir que le compromis peut être facilement trouvé :



Autrement dit, si l'on suit le raisonnement de Vetorov, il n'y a pas de capacité d'apprentissage pour le compromis (la ligne bleue représente la capacité d'apprentissage. Toutefois, si nous examinons la dépendance de l'erreur de généralisabilité du modèle par rapport à la complexité, nous constatons que le compromis est atteint à la valeur M de la complexité du modèle (l'extrémité de la généralisabilité).

jPrediction, à partir de la version 9, trouve ce compromis, c'est-à-dire qu'il complique les modèles à une valeur de M et sort le modèle trouvé à M comme résultat.

Par complexité du modèle dans jPrediction, nous entendons une augmentation progressive du nombre de prédicteurs. Pour jPrediction, le nombre de neurones dans la couche cachée est de 2^(2*n+1), où n est le nombre de prédicteurs. En conséquence, plus le nombre de prédicteurs augmente, plus la complexité du modèle (le nombre de neurones dans la couche cachée) augmente. Ainsi, en augmentant progressivement la complexité des modèles, jPrediction atteindra tôt ou tard la valeur de M, après quoi une nouvelle augmentation de la complexité des modèles entraînera une nouvelle diminution de la généralisabilité (augmentation des erreurs dans la généralisabilité).

De cette façon, jPrediction fait d'une pierre deux coups :

  1. Les prédicteurs les plus significatifs sont sélectionnés
  2. Les modèles deviennent plus complexes jusqu'à ce que la généralisabilité maximale soit atteinte.

Et il n'y a pas de problèmes comme le dit D. Vetrov. Et Newton n'a rien à voir avec ça non plus.

 
Andrey Dik:

1) C'est vous qui parlez de l'inconnu, et SanSanych, que vous défendez, disait que les lois "au niveau national" ne s'appliquent pas au duvet. Mais je vous assure que le duvet est tout aussi soumis aux lois de la physique que n'importe quel autre corps.


Je n'ai pas non plus apprécié les commentaires des trolls qui s'en prennent à SS dans un style sarcastique. Vous n'avez pas besoin de vous livrer à votre passe-temps favori dans ce fil. C'est comme si les "ingénieurs en apprentissage automatique MQL défavorisés" s'amusaient ici avec leurs collègues qui font leurs recherches avec d'autres outils.

Disons-le autrement : CC a dit que si l'on ne tient compte que des poplités, leurs trajectoires d'atterrissage extrêmement bruyantes seraient beaucoup plus difficiles à dériver des lois de Newton. Cela - je suis d'accord avec lui - fait écho aux problèmes que nous avons. Le signal extrêmement bruyant à partir duquel nous essayons de discerner les véritables lois.

Et toutes les autres considérations ressemblent à du trollage. SS nous a donné une métaphore à comprendre. C'est ça !

 
Alexey Burnakov:

Je n'ai pas aimé non plus les commentaires de trolls s'en prenant à SS dans un style sarcastique. Ne fais pas ton truc préféré dans ce fil. C'est comme si les "ingénieurs en apprentissage automatique MQL appauvris" s'en donnaient à cœur joie avec leurs collègues qui font leurs recherches à l'aide d'autres outils.

Disons-le ainsi : CC a dit que si l'on ne tient compte que des poplités, leurs trajectoires d'atterrissage extrêmement bruyantes seraient beaucoup plus difficiles à dériver des lois de Newton. Cela - je suis d'accord avec lui - fait écho aux problèmes que nous avons. Un signal extrêmement bruyant à partir duquel nous essayons de tâtonner pour trouver de véritables lois.

Et toutes les autres considérations ressemblent à du trollage. SS nous a donné une métaphore à comprendre. C'est vrai !

SS vient de donner un exemple très malheureux, tout en continuant à persister dans son ignorance. On pourrait dire "oui, j'ai exagéré avec l'exemple", mais non, il persiste, regardez ce qu'il écrit même après mes recommandations d'essayer de dessiner le schéma des forces agissant sur la balle et la peluche :

L'application de la loi de Newton aux peluches est un exemple d'application de la bonne méthode au problème NON correct, car dans le cas des peluches, vous pouvez négliger la loi de Newton et devezprendre en compte d'autres forces qui déterminent le mouvement des peluches.

Qu'entendez-vous par "autres forces" ? Les mêmes forces agissent sur le ballon et sur la peluche - la force de gravité (poids) et la force du flux du vent réparties sur la moitié de la surface du corps. Il n'y a donc que 2 forces dans les deux cas. Le flux du vent est le même, mais le poids est des milliers de fois différent. Construisez la somme des vecteurs des forces appliquées et voyez ce qui se passe.

Donc la métaphore ne fonctionne pas pour les SS.

Sinon, il a raison de dire qu'il faut "appliquer les bonnes méthodes aux mauvais prédicteurs", mais il n'y a rien de très judicieux ici, oui - le ciel est bleu, le soleil brille, le bus n°16 passe devant la maison à 13:07 exactement... Alors quelle est la suite, quelle est la sagesse ou du moins la valeur pratique de ce dicton ?

SZY. J'ai probablement moins d'expérience que vous en matière de MDE, et si je dis quelque chose d'hérétique sur le MDE, il est peu probable que vous passiez par là pour essayer de m'aider à corriger mes préjugés (je crois que vous êtes une personne sympathique qui n'est pas indifférente aux cas flagrants d'enthousiasme excessif à marcher sur le même râteau). Et moi aussi, je n'arrive pas à passer outre les bêtisiers flagrants "les pouvoirs de Nyuto ne fonctionnent pas sur un canapé".