L'apprentissage automatique dans la négociation : théorie, modèles, pratique et algo-trading - page 789

 

Est-ce que je comprends bien que AUTO ARIMA calcule tout par lui-même, je dois seulement charger les cotations.

J'ai vérifié sur plusieurs sites et le modèle ARIMA(0,1,0) apparaît partout.

 
Anatolii Zainchkovskii:

Voici une image de la situation, ce n'est pas parce que vous avez vu cette baisse trois barres avant, que vous en tenez compte maintenant.


Belle photo, je vais l'utiliser comme exemple...

Donc, s'il n'y a pas d'erreur dans la prévision, comment pouvons-nous obtenir des moins si nous voyons qu'il y aura une chute. Lorsque la barre de zéro se ferme avec un signe opposé, nous savons toujours qu'il y aura une chute. J'espère qu'il n'y aura pas de questions sur cette photo...... Nous avons choisi la fenêtre au hasard mais nous prévoyons chaque barre dans cette fenêtre et par conséquent quand la troisième barre est zéro et nous voyons une grande différence dans la prévision nous vendons. Mais lorsque nous avons constaté une légère différence de module dans la prévision sur la première barre, nous savons déjà sur quelle barre il y aura une augmentation significative. Il y a juste deux malentendus qui posent problème. D'abord, je m'explique en omettant certains points qui me semblent évidents. Deuxièmement, vous ne le comprenez pas en raison du manque d'expérience. Mais il est normal de se poser des questions, alors continuons...

 
Mihail Marchukajtes:

Belle photo, je vais l'utiliser comme exemple...

Donc, sans erreur dans la prévision, comment pouvons-nous obtenir un moins si nous pouvons voir qu'il y aura une chute. Lorsque la barre de zéro se ferme avec un signe opposé, nous savons toujours qu'il y aura une chute. J'espère qu'il n'y aura pas de questions sur cette photo...... Nous avons choisi la fenêtre au hasard mais nous prévoyons chaque barre dans cette fenêtre et par conséquent quand la troisième barre est zéro et nous voyons une grande différence dans la prévision nous vendons. Mais lorsque nous avons constaté une légère différence de module dans la prévision sur la première barre, nous savons déjà sur quelle barre il y aura une augmentation significative. Il y a juste deux malentendus qui posent problème. D'abord, je m'explique en omettant certains points qui me semblent évidents. Deuxièmement, vous ne le comprenez pas à cause du manque d'expérience. Mais c'est bien de poser des questions, alors continuons...

Si je regarde les statistiques, je ne pense pas qu'elles soient basées sur des prévisions et je ne pense pas qu'elles devraient l'être, mais elles peuvent être basées sur des prévisions. Mais tout cela est super bien dans une prévision à 100%, mais que faire quand il y a même 90% de prévision, car 10% de mauvaises prévisions peuvent faire pencher la balance trop loin.

 

Je pense que je rentrerai tard aujourd'hui, mais cela fait quelques jours que j'ai envie d'écrire un long billet. Je vais le faire maintenant et voir. Mais d'abord une petite parenthèse.

La partie écrite de l'article sera en effet publiée sur le blog et un lien y sera inséré. Ensuite, au lieu de cet article, j'ai commencé à en écrire un autre qui ressemble à "Methodological Guidelines for Working in Machine Learning". Un jour, je me promenais dans la ville et j'ai pensé qu'il serait bien d'avoir une méthodologie, comme dans les universités, qui décrirait sans eau, les règles de base de ce que vous pouvez et ne pouvez pas faire. Alors, comme on dit, attendons de voir. Et maintenant, le sujet de ce long post. Tout l'intérêt de la chose.....

Au cours de ce mois, j'ai fait une percée et vous le voyez clairement, quelqu'un le reconnaît, et quelqu'un réfute, mais personne n'a une question que l'optimiseur de Reshetova j'ai longtemps eu, mais obtenir un bon modèle, j'ai commencé quand le doc me remplir les commandes de la P avec des explications et le lendemain, j'ai reçu les résultats des tests que je n'ai jamais vu dans tous les 15 ans. Je sais qu'il ne s'agit pas de la bobine et que l'optimiseur fait du bon travail, mais il ne s'agit pas de lui. Je suis juste sûr à 100% que ce n'est pas le seul optimiseur au monde qui fait le meilleur travail. Bien sûr qu'elle ne l'est pas. La plupart des paquets P fonctionnent aussi bien que lui. Alors quel est le problème. Pourquoi les résultats sont-ils si pauvres et que toute l'épine dorsale de la branche de l'apprentissage automatique est toujours recherchée et introuvable. La réponse est simple. Vous faites des erreurs à un moment ou à un autre de la préparation du modèle. Logiquement, vous pensez que vous faites la bonne chose en choisissant une certaine prédiction ou transformation, mais vous faites une petite erreur en pensant que vous avez raison, mais en fait vous ne l'avez pas.

C'est pourquoi j'ai commencé à parler de régression, pour savoir ce que vous pouvez et ne pouvez pas faire. J'ai confronté ma propre conception erronée de la manière suivante. Logiquement, si vous y réfléchissez. Ce modèle avec plus d'entrées et un polynôme plus long est censé être plus intelligent et plus paramétrique, mais la pratique a montré le résultat inverse, lorsque les modèles avec un nombre minimal d'entrées sur les rétroactions gagnent plus que les modèles avec plus d'entrées. C'est l'exemple où l'on pense avoir raison par logique, mais où, dans la pratique, il s'avère que ce n'est pas le cas.

Mais le problème de l'apprentissage automatique ne réside pas dans la méthode d'obtention d'un modèle ou dans l'utilisation de transformations super secrètes. Le principal talon d'Achille est autre chose et je peux l'expliquer sur un exemple, ce sera compréhensible et je briserai les images de Maxim en même temps.

Supposons que nous ayons créé un système permettant d'obtenir un modèle de régression ou de classification. Et nous pensons que nous n'avons pas commis d'erreurs grossières lors de la conception. Supposons.

Nous avons un dossier de formation. Nous l'exécutons pour l'optimisation 10 fois et obtenons 10 modèles. Donc, la question la plus difficile pour moi était. Comment sélectionner le modèle qui n'est ni surentraîné ni sous-entraîné mais qui est adapté au marché, etc. C'est cette question qui constitue le talon d'Achille. Vous pouvez avoir créé un système d'IA et y avoir commis des erreurs, mais cela ne signifie pas que votre système NE PEUT PAS GENERER un modèle généralisant.

La qualité d'un système d'IA est définie précisément par le nombre de modèles adéquats par rapport au nombre total d'optimisations. Disons qu'un système sur 100 optimisations ne donne qu'un seul modèle utilisable, et que le second sur les mêmes 100 optimisations donne 20 modèles utilisables. Il est clair que le second système est meilleur que le premier car il a plus de modèles corrects que le premier pour un même nombre d'optimisations. Par exemple, Optimizer Reshetova, sur quatre modèles (en règle générale, pas plus de quatre), donne un à deux modèles appropriés. Parfois, quatre ne suffisent pas. Pas de problème, à la cinquième, sixième ou dixième optimisation, il donnera un modèle adapté au marché. Et maintenant, la chose la plus intéressante est de savoir comment identifier et trouver ce modèle. J'ai trouvé un moyen. Je le fais de la manière suivante. Je génère un fichier d'entraînement et j'effectue quatre entraînements. Ensuite, j'évalue ces modèles et je choisis celui qui est adéquat et pour cela, il me suffit d'une section de déclenchement dans laquelle il y a une validation ou un test dans le processus de déclenchement. Je laisse une petite section de l'OOS sous la forme de 3-4 signaux pour être finalement convaincu que c'est bien elle et ensuite je la mets sur la route. C'est pourquoi la question du choix du modèle est l'une des plus importantes lors de la préparation d'une TS. Je vais continuer.

 
forexman77:

Est-ce que je comprends bien que AUTO ARIMA calcule tout par lui-même, je dois seulement charger les cotations.

Je l'ai vérifié sur plusieurs graphiques et il montre ARIMA(0,1,0) partout.

auto.arima {forecast}
> y <- dd$OPEN
> auto.arima(y)
Series: y 
ARIMA(3,1,5) 

Coefficients:
         ar1     ar2      ar3      ma1      ma2     ma3      ma4      ma5
      0.3956  0.4421  -0.6151  -0.4159  -0.4165  0.6288  -0.0257  -0.0515
s.e.  0.0904  0.0701   0.0827   0.0905   0.0708  0.0797   0.0105   0.0115

sigma^2 estimated as 3.406 e-06:  log likelihood=66279.3
AIC=-132540.6   AICc=-132540.6   BIC=-132473
 

J'ai écrit et le forum a bugué, alors lisez-le de cette façon. Je ne peux pas le réécrire...


 
Mihail Marchukajtes:

Je pense que je rentrerai tard aujourd'hui, mais cela fait quelques jours que j'ai envie d'écrire un long billet. Je vais le faire maintenant et voir. Mais d'abord une petite parenthèse.

La partie écrite de l'article sera en effet publiée sur le blog et un lien y sera inséré. Ensuite, au lieu de cet article, j'ai commencé à en écrire un autre qui ressemble à "Methodological Guidelines for Working in Machine Learning". Un jour, je me promenais dans la ville et j'ai pensé qu'il serait bien d'avoir une méthodologie, comme dans les universités, qui décrirait sans eau, les règles de base de ce que vous pouvez et ne pouvez pas faire. Alors, comme on dit, attendons de voir. Et maintenant, le sujet de ce long post. Tout l'intérêt de la chose.....

Au cours de ce mois, j'ai fait une percée et vous le voyez clairement, quelqu'un le reconnaît, et quelqu'un réfute, mais personne n'a une question que l'optimiseur de Reshetova j'ai longtemps eu, mais obtenir un bon modèle, j'ai commencé quand le doc me remplir les commandes de la P avec des explications et le lendemain, j'ai reçu les résultats des tests que je n'ai jamais vu dans tous les 15 ans. Je sais qu'il ne s'agit pas de la bobine et que l'optimiseur fait du bon travail, mais il ne s'agit pas de lui. Je suis juste sûr à 100% que ce n'est pas le seul optimiseur au monde qui fait le meilleur travail. Bien sûr qu'elle ne l'est pas. La plupart des paquets P fonctionnent tout aussi bien que lui. Alors quel est le problème. Pourquoi les résultats sont-ils si pauvres et que toute l'épine dorsale de la branche de l'apprentissage automatique est toujours recherchée et introuvable. La réponse est simple. Vous faites des erreurs à un moment ou à un autre de la préparation du modèle. Logiquement, vous pensez que vous faites la bonne chose en choisissant une certaine prédiction ou transformation, mais vous faites une petite erreur en pensant que vous avez raison, mais en fait vous ne l'avez pas.

C'est pourquoi j'ai commencé à parler de régression, pour savoir ce que vous pouvez et ne pouvez pas faire. J'ai confronté ma propre conception erronée de la manière suivante. Logiquement, si vous y réfléchissez. Ce modèle avec plus d'entrées et un polynôme plus long est censé être plus intelligent et plus paramétrique, mais la pratique a montré le résultat inverse, lorsque les modèles avec un nombre minimal d'entrées sur les rétroactions gagnent plus que les modèles avec plus d'entrées. C'est l'exemple où l'on pense avoir raison par logique, mais où, dans la pratique, il s'avère que ce n'est pas le cas.

Mais le problème de l'apprentissage automatique ne réside pas dans la méthode d'obtention d'un modèle ou dans l'utilisation de transformations super secrètes. Le principal talon d'Achille est autre chose et je peux l'expliquer sur un exemple, ce sera compréhensible et je briserai les images de Maxim en même temps.

Supposons que nous ayons créé un système permettant d'obtenir un modèle de régression ou de classification. Et nous pensons que nous n'avons pas commis d'erreurs grossières lors de la conception. Supposons.

Nous avons un dossier de formation. Nous l'exécutons pour l'optimisation 10 fois et obtenons 10 modèles. Donc, la question la plus difficile pour moi était. Comment sélectionner le modèle qui n'a pas été sur-formé et sous-formé, mais qui est adapté au marché, etc. C'est cette question qui constitue le talon d'Achille. Vous pouvez avoir créé un système d'IA et y avoir commis des erreurs, mais cela ne signifie pas que votre système NE PEUT PAS GENERER un modèle généralisant.

La qualité d'un système d'IA est définie précisément par le nombre de modèles adéquats par rapport au nombre total d'optimisations. Disons qu'un système sur 100 optimisations ne donne qu'un seul modèle utilisable, et que le second sur les mêmes 100 optimisations donne 20 modèles utilisables. Il est clair que le second système est meilleur que le premier car il a plus de modèles corrects que le premier pour un même nombre d'optimisations. Par exemple, Optimizer Reshetova, sur quatre modèles (en règle générale, pas plus de quatre), donne un à deux modèles appropriés. Parfois, quatre ne suffisent pas. Pas de problème, à la cinquième, sixième ou dixième optimisation, il donnera un modèle adapté au marché. Et maintenant, la chose la plus intéressante est de savoir comment identifier et trouver ce modèle. J'ai trouvé un moyen. Je le fais de la manière suivante. Je génère un fichier d'entraînement et j'effectue quatre entraînements. Ensuite, j'évalue ces modèles et je choisis celui qui est adéquat et pour cela, il me suffit d'une section de déclenchement dans laquelle il y a une validation ou un test dans le processus de déclenchement. Je laisse une petite section de l'OOS sous la forme de 3-4 signaux pour être finalement convaincu que c'est ça et ensuite je le mets sur la route. C'est pourquoi la question du choix du modèle est l'une des plus importantes lors de la préparation d'une TS. Je vais continuer.

Je ne peux plus lire toutes ces bêtises, tu me tues.

vous autres, capitaines de l'évidence et gendarmes de la clarté

s'en aller)

 
Maxim Dmitrievsky:

Je ne peux plus lire toutes ces absurdités, vous me tuez.

Vous autres, capitaines de l'évidence et gendarmes de la clarté...

s'en aller)

Il a écrit qu'il était ivre et qu'il est resté debout pendant deux nuits. Il voulait "parler")).

Mihail Marchukajtes:
En général, Mikhail, tu devrais dormir la nuit.

 
Maxim Dmitrievsky:

Je ne peux plus lire toutes ces conneries, tu me tues.

Vous autres, capitaines de l'évidence et gendarmes de la clarté...

Je m'en vais.)

Max a trouvé un graal, c'est sûr))

 
Maxim Dmitrievsky:

le sujet a dépassé le domaine de la raison - certaines personnes sont depuis longtemps devenues rigides et obsédées par le surentraînement et les "paquets".

Certaines personnes sont toujours les mêmes que l'abruti du ministère de la Défense.

Ce n'est pas que le sujet ait disparu - il est "flou". Il n'y a pas de modération régulière. Une pile, encore pire que mon fil.

Mais, nous devons attendre que l'homme au Graal soit mis en avant.

Nous attendons.