L'apprentissage automatique dans la négociation : théorie, modèles, pratique et algo-trading - page 186

 
Yury Reshetov:

Parce qu'il est congelé.

Je suis désolé, mais la question est la même que la réponse.

Je ne comprends pas l'humour, car pour prendre une décision, la valeur de la sortie du classificateur doit être comparée à quelque chose, par exemple à une valeur seuil. Et puisque dans votre formulation du problème, les valeurs comparables, pour une raison quelconque, sont inconnues, et que seules celles qui ne sont pas nécessaires à la classification sont connues, il serait bon d'apporter des précisions.

Bygones.
 

J'ai terminé mes calculs sur plusieurs jours (modèles sur 6 prédicteurs sélectionnés (sur 114) pour le forex).

Voici la photo du titre. Distribution de la précision de la régression (comptée par la norme L1 : somme des valeurs d' erreur absolue ) sur la validation pour les modèles qui ont été sélectionnés comme les meilleurs (par la même mesure) sur les boîtes de test.

Il y a 99 valeurs dans chaque case, chacune d'entre elles étant la métrique 1 - somme(abs(X-Y))/somme(abs(X-mean(X)) sur un échantillon de validation unique. Analogue à R^2, je vois, oui.

Le total obtenu est de 8908 modèles... Pour tous les instruments et cibles étudiés.

Une réduction moyenne des erreurs de 0,2% (seulement). Mais c'est significatif... Un échantillon de validation unique a été généré pour chaque modèle.

Toutes les études que je veux publier. Il y a ensuite l'estimation du modèle MO et ainsi de suite jusqu'à la fin logique. Si je publie (pas sur MQL), je donnerai un lien à certaines personnes avec qui je communique ici ou je le posterai dans mon profil.

Et là aussi. Une image beaucoup plus intéressante d'un point de vue pratique. La relation entre l'espérance mathématique du modèle sur les blocs de test (dans la validation croisée) et sur la validation.

Ici, nous devons immédiatement vérifier si la corrélation positive est significative (puisque la corrélation négative ne peut pas du tout s'expliquer raisonnablement) et s'il y a des valeurs positives de MPO sur la validation. Eh bien, vous pouvez voir par vous-même.

Les 99 points sont des modèles.

 
Dr. Trader:


C'est un bon exemple de la raison pour laquelle 99% des traders naïfs perdent, si vous déplacez la fenêtre, ce mélange de points se transformera également de manière aléatoire, ce n'est donc que du bruit et le MO n'aidera pas ici.
 
Ça va être génial, et si vous lui donnez un téléscripteur aussi... onde cérébrale))))
 
Jene le suis pas:
C'est un bon exemple de la raison pour laquelle 99% des traders naïfs perdent...
Et ce fil de discussion est un bon exemple, clair, que l'apprentissage automatique dans le commerce, est juste une théorie ...
 
Incomplet:
Et cette branche est un bon exemple, clair, du fait que l'apprentissage automatique dans le commerce, est seulement une théorie...
Si vous regardez attentivement le fil de discussion, les habitants sont divisés en trois camps :
  1. Les utilisateurs de R (appelés ici "parasites"). Ils ressemblent à une sorte de secte destructrice. Ils sont tout le temps en train de farfouiller dans certains paquets, un jour ils sont engagés dans la classification, demain dans la régression, le jour suivant dans un clustering et ainsi de suite en cercle. L'activité semble être impétueuse, mais c'est inutile, parce que tout ce qu'ils entreprennent, ils le font de manière incorrecte et de travers, à cause de cela ils ne réussissent pas. Cela s'exprime dans leurs plaintes, par exemple : sur le destin, le "problème" du recyclage, les prédicteurs bruyants et toutes sortes de "radicaux et de mauvaises personnes" qui ne reconnaissent pas R, comme Reshetov.
  2. Ceux qui n'utilisent pas R. Ces personnes, en règle générale, ont choisi une direction particulière, où elles sont bonnes dans quelque chose. Ils ne se plaignent pas du destin, ne fouillent pas dans diverses méthodes, c'est-à-dire qu'ils ne jettent pas d'objets. Ils s'engagent dans ce qui fonctionne et s'améliorent peu à peu dans la direction qu'ils ont choisie.
  3. Ceux qui sont passés par la porte. Parfois, ils insèrent leur opinion, mais souvent de manière inopportune.
 
Alexey Burnakov:

J'ai effectué de nombreux jours de calculs.

Je suis vos recherches, très instructives, merci de les poster. Mais il me semble que, bien que vous réussissiez à résoudre des problèmes aussi compliqués, vous manquez des tâches préparatoires et cela gâche le résultat. A savoir que vous ignorez la sélection des prédicteurs.

Vous avez pris 114 prédicteurs, puis en avez sélectionné 6 d'une manière ou d'une autre, et après avoir entraîné les modèles, vous pouvez conclure quelle cible est la meilleure. Mais ce résultat obtenu n'est qu'un maximum local. Vous pouvez dire non pas globalement que "l'eurusd est meilleur pour prédire 16 barres à l'avance", mais simplement que "un ensemble de 114 prédicteurs : (pre1, pre2, pre3,...) en utilisant gbm prédit au mieux la direction du prix sur 16 barres".

Si vous prenez des neurones au lieu de gbm, vous obtenez une meilleure cible différente. Si vous utilisez d'autres 114 prédicteurs, la meilleure cible sera à nouveau différente. Vos 114 prédicteurs constituent une base si importante que tout le déroulement ultérieur de l'expérience en dépend, et vous les avez simplement pris au plafond sans aucune préparation.

Il y a environ six mois, SanSanych a publié un fichier contenant ses prédictions. La particularité de ces modèles est que la plupart d'entre eux comportent une petite erreur et que cette erreur n'augmente pas avec les nouvelles données. Vous pouvez entraîner des modèles sur n'importe quel segment et exécuter le test d'oos sur les données restantes et voir que rien n'est dégradé. Que les prédicteurs et la cible sont tellement liés que les modèles trouvent la seule relation possible entre eux sur toutes les barres.
J'essaie de reproduire ce phénomène. J'utilise plus de dix mille prédicteurs initiaux (indicateurs avec différents paramètres et décalages de mt5) et j'apprends à les sélectionner pour avoir la seule connexion possible avec la barre cible. Je vous recommande de faire la même expérience, car je pense que la capacité à déterminer ou à trouver de telles corrélations entre les prédicteurs et la cible est le véritable pointeur vers le graal.

Dans MQL5, il existe depuis peu un générateur de conseillers experts, qui permet de sélectionner une liste d'indicateurs nécessaires et de créer immédiatement un conseiller expert prêt à l'emploi avec son code, qui peut ensuite être facilement optimisé par la génétique. Dans un tel conseiller expert, il y a 20 indicateurs, sans aucun modèle d'apprentissage automatique (tout ce que nous avons, ce sont des coefficients d'importance attribués à chaque indicateur).
J'ai juste ajouté mon code personnalisé pour la fonction fitness de la génétique et inclus quelques critères pour que la cible et les indicateurs soient considérés comme étroitement liés à mon avis. Ça s'est passé comme ça :
(eurusd h1)

Les deux premiers tiers sont des backtests (échantillon), le dernier tiers est un fronttest (oos). Après 2/3 du temps, il n'y a pas de vidange, mais le solde est remis à l'initial pour le test oos. Avec un ensemble d'options aussi pauvre et en ajoutant simplement les "critères bruts et inachevés de dépendance du prédicteur et de la cible", le résultat n'est pas une perte, bien que mauvais. 51% des transactions réussies sur oos. N'est-ce pas génial ? Mais nous pourrions utiliser 20000 indicateurs au lieu de 20, et ajouter un modèle d'apprentissage automatique et supprimer la limite de 10000 itérations de la génétique mt5 et nous aurions même un conseiller expert rentable.

 
revers45:
Et ce fil de discussion est un bon exemple, clair, que l'apprentissage automatique dans le commerce, c'est seulement la théorie ...

Dans le trading, la théorie ne peut exister en principe, ou plutôt la théorie porte sur l'impossibilité de gagner de l'argent, un marché efficient, etc., tout est pris en compte dans le prix, le mécanisme d'échange...Mais les statistiques et l'apprentissage automatique, qui sont devenus plus accessibles récemment grâce à différents paquets et bibliothèques mathématiques, vous permet de vraiment voir POURQUOI il est si triste avec TA standard, pas des scientifiques, mais de simples traders, passer une semaine dans R-studio ou Matlab.

Si le mode opératoire du trading est "seulement la théorie", ce qui est partiellement vrai, alors l'AT n'est même pas une théorie, mais une connerie, comme l'astrologie ou le vaudou.

Mais beaucoup ici savent qu'il est encore possible de gagner de l'argent, un marché efficace n'est pas seulement le fruit de la volonté de Dieu, mais parce que certains sont devenus meilleurs que la plupart pour obtenir et traiter l'information. À mon avis, l'obstacle le plus important pour le commerçant est l'illusion de la simplicité de ce type d'entreprise, comme si le fonctionnaire sera payé pour sa signature, ici, sur ce forum, ils ont entendu à plusieurs reprises quelque chose comme "vous n'avez pas besoin de créer un collisionneur de hadrons pour le commerce" ...

Mais il s'avère que vous le faites....

 
Dr. Trader:

Je suis vos recherches, c'est très instructif, merci de les poster. Mais il me semble que, bien que vous réussissiez à résoudre des problèmes aussi complexes, vous manquez des tâches préparatoires et cela gâche le résultat. A savoir que vous ignorez la sélection des prédicteurs.

Vous avez pris 114 prédicteurs, puis en avez sélectionné 6 d'une manière ou d'une autre, et après avoir entraîné les modèles, vous pouvez conclure quelle cible est la meilleure. Mais ce résultat obtenu n'est qu'un maximum local. Vous pouvez dire non pas globalement que "l'eurusd est meilleur pour prédire 16 barres à l'avance", mais simplement que "un ensemble de 114 prédicteurs : (pre1, pre2, pre3,...) en utilisant gbm prédit au mieux la direction du prix sur 16 barres".

Si vous prenez des neurones au lieu de gbm, vous obtenez une meilleure cible différente. Si vous utilisez d'autres 114 prédicteurs, la meilleure cible sera à nouveau différente. Vos 114 prédicteurs constituent une base si importante que tout le déroulement ultérieur de l'expérience en dépend, et vous les avez simplement pris au plafond sans aucune préparation.

Il y a environ six mois, SanSanych a publié un fichier contenant ses prédictions. Leur particularité est que la plupart des modèles en hochet comportent une petite erreur, et en même temps l'erreur ne croît pas sur les nouvelles données. Vous pouvez entraîner des modèles sur n'importe quel segment et exécuter le test d'oos sur les données restantes et voir que rien n'est dégradé. Ses prédicteurs et sa cible sont tellement liés que les modèles trouvent la seule relation possible entre eux sur n'importe quelle barre.
J'essaie de reproduire ce phénomène. J'utilise plus de dix mille prédicteurs initiaux (indicateurs avec différents paramètres et décalages de mt5) et j'apprends à les sélectionner pour avoir la seule connexion possible avec la barre cible. Je vous recommande de faire la même expérience, car je pense que la capacité à déterminer ou à trouver de telles corrélations entre les prédicteurs et la cible est le véritable pointeur vers le graal.

Dans MQL5, il existe depuis peu un générateur de conseillers experts, qui permet de sélectionner une liste d'indicateurs nécessaires et de créer immédiatement un conseiller expert prêt à l'emploi avec son code, qui peut ensuite être facilement optimisé par la génétique. Dans un tel conseiller expert, il y a 20 indicateurs, sans aucun modèle d'apprentissage automatique (tout ce que nous avons, ce sont des coefficients d'importance attribués à chaque indicateur).
J'ai juste ajouté mon code personnalisé pour la fonction fitness de la génétique et inclus quelques critères pour que la cible et les indicateurs soient considérés comme étroitement liés à mon avis. Ça s'est passé comme ça :
(eurusd h1)

Les deux premiers tiers sont des backtests (échantillon), le dernier tiers est un fronttest (oos). Après, le temps 2/3 n'est pas un drain, mais la balance est remise à l'initiale pour le test oos. Avec un ensemble d'options aussi pauvre et en ajoutant simplement les "critères bruts et inachevés de dépendance du prédicteur et de la cible", le résultat n'est pas une perte, bien que mauvais. 51% des transactions réussies sur oos. N'est-ce pas génial ? Mais nous pourrions utiliser 20000 indicateurs au lieu de 20, et ajouter un modèle d'apprentissage automatique et supprimer la limite de 10000 itérations de la génétique mt5 et nous obtiendrions même un conseiller expert rentable.

C'est certainement un résultat local. Il n'y a pas de possibilité de diversification. Pas le temps. Pas de ressources... C'est exactement ce que GBM donne sur mes prédicteurs.

La question est de ne pas utiliser la partie surentraînée de l'expérience pour tirer des conclusions. Et si ce résultat local est validé avec succès, je serai satisfait.

Ici, la qualité de la régression est validée avec succès. Les modèles entraînés donnent une qualité de prédiction significative différente de zéro. Sans aucun problème de sélection de modèle.

Et c'est plus compliqué avec le MO du métier. Je n'ai pas tout montré... Il existe des sous-échantillons (symbole-cible) donnant une MO médiane sur validation supérieure à zéro... Mais le défi consiste à prendre la queue des modèles corrélés avec la validation pour augmenter la MO. Mais cela pourrait aussi être un cas...

A la fin, un comité sera constitué et validé par un autre échantillon du futur. Grâce à Monte Carlo, bien sûr.

Quant aux prédicteurs, c'est délicat aussi... Long à expliquer... Mais le fait est que chacun des 99 modèles pour le sous-échantillon symbole-cible utilise son propre ensemble unique de 6 prédicteurs. La combinaison donne lieu à une belle variété de modèles (de plus, ils apprennent à partir de données différentes). et en général, chacun des 114 est impliqué quelque part.

Et n'oubliez pas la sélection optimiste des modèles, s'il vous plaît. Donc je ne comprends pas comment vous avez choisi la photo ? Par meilleur résultat sur IS ou OS ? C'est juste une question. Mais les résultats de nombreuses "recherches" montrent qu'il n'y a pas de réponse à cette question.
 

Conseils pour savoir où trouver un EA (robot) qui ouvrirait une transaction à un moment donné et la fermerait à un moment donné.


Par exemple, ouvrez une transaction à 12 h 59 et fermez-la à 13 h 59, quel que soit le résultat - profit ou perte tout de même.