L'Apprentissage Automatique dans le trading : théorie, modèles, pratique et trading algo - page 3173

 
СанСаныч Фоменко #:

L'OOS doit toujours se situer à DROITE.

Si l'OOS est à GAUCHE, il est impossible de garantir que le TS n'est pas surentraîné et qu'il ne regarde pas devant lui. Ce sont les premières questions importantes qui doivent être abordées lors du test d'un CT AVANT toute autre chose.


Lequel avez-vous ? Cela ne fait aucune différence ! Peu importe que ce soit l'un ou l'autre ou les deux. Vous devez le tester correctement et basta - OOS à droite.

Et il est préférable d'oublier le testeur et les fichiers de formulaire pour les tests comme suit :

Des affirmations très catégoriques sans aucun doute. J'ai fait un billet sur le sujet du placement des OOS.

Ce n'est pas la première fois que j'éprouve de l'aversion pour le testeur. Je ne sais pas pourquoi j'ai détesté le broyeur de numéros.

Nous avons deux fichiers.


Le premier fichier est divisé aléatoirement par échantillon en trois parties : formation, test et validation. Étudiez un échantillon (aléatoire) de formation, puis vérifiez un échantillon aléatoire de test et de validation - ce sont toutes des parties DIFFÉRENTES du premier fichier. Comparez les résultats. S'ils sont à peu près égaux, vérifiez ensuite sur le deuxième fichier "séquence naturelle". S'ils sont approximativement égaux ici aussi, nous obtenons la conclusion principale : notre CT n'est PAS surentraîné et ne regarde PAS vers l'avant. Ce n'est qu'après avoir tiré cette conclusion qu'il est possible de parler d'autre chose : la précision, la rentabilité et d'autres choses, qui sont toutes SECONDAIRES.


Je constate qu'il n'existe pratiquement aucun autre moyen de tester l'anticipation et le surentraînement.

Je ne vois pas bien comment il est possible d'anticiper dans le cadre de l'optimisation.


En ce qui concerne la méthodologie. Je ne comprends pas la nécessité de diviser l'entraînement, le test et l'examen. Affirmer, même avec l'étude statistique la plus favorable, que le CT n'est PAS surentraîné semble aller trop à l'encontre du but recherché.

Le maximum que je puisse obtenir en conclusion est "il est probable que le CT a trouvé un modèle qui était présent quelque temps avant et après l'intervalle d'entraînement". En même temps, il n'y a aucune garantie que ce schéma n'ait pas déjà disparu".

"Out-Of-Sample" - где расположить, справа или слева?
"Out-Of-Sample" - где расположить, справа или слева?
  • 2019.12.10
  • www.mql5.com
Когда-то в паблике столкнулся с мнением, что OOS должен располагаться только справа. Т.е. расположение его слева от интервала Оптимизации - ошибка. Я с этим был категорически не согласен, т.к. не
 

Il s'agit plutôt de savoir quelle pilule prendre : la bleue ou la rouge :)


 
Maxim Dmitrievsky #:
C'est une question de chance et de piratage, oui. Les résultats peuvent donc être n'importe quoi.

Le piratage consiste à adapter délibérément les résultats à un critère statistique significatif. Par exemple, vous constatez que les statistiques de l'oos de gauche sont abruptes et vous choisissez cette option. Il en va de même à droite. Tout est question d'ajustement.

Attendez, de quel type de sélection parlons-nous à ce stade ?

 
fxsaber #:

Attendez, de quel choix parlons-nous à ce stade ?

Vous avez choisi cette option et montré que la gauche est bonne et la droite mauvaise.

Je veux dire que vous avez plusieurs options d'optimisation, mais vous avez choisi celle-là pour la montrer.

 
Maxim Dmitrievsky #:

Vous avez choisi cette option et montré que la gauche est bonne et la droite mauvaise.

Je ne l'ai pas fait. Voici la méthode.

Forum sur le trading, les systèmes de trading automatisés et les tests de stratégies de trading.

L'apprentissage automatique en trading : théorie, modèles, pratique et algo-trading

fxsaber, 2023.08.17 06:58

Je ne pratique pas une telle auto-illusion. Je ne le fais que de cette manière.

  1. Optimisation sur la traine.
  2. Parmi ceux qui ont été trouvés, je prends les cinq premiers et j'observe leur comportement sur OOS. Il n'y a pas d'optimisation sur ce point en tout cas.
C'est ainsi que les images originales ont été obtenues. Ainsi, le joli OOS à gauche n'est pas du tout adapté.
 
fxsaber #:

Je ne l'ai pas choisi. Voici la méthode.

Eh bien, un p-hacking plus sophistiqué :) il y a toujours des tests multiples et une sélection de plages de paramètres de CT. Ils ne sont pas tirés du plafond.

 
Aleksey Vyazmikin #:

Si la période de formation est réduite, l'inversion de la tendance du graphique se produira-t-elle aussi rapidement ?

Cela varie, bien sûr. Mais très souvent, on peut observer une rupture juste après Sample. Il s'agit peut-être d'une distorsion cognitive, lorsque vous accordez plus d'attention à quelque chose et que vous avez l'impression que cela se produit trop souvent.

Je ne connais pas bien les stratégies tick, mais l'un des facteurs de ce comportement est le manque de données comparables lors de la formation, par exemple - lors de la formation, la tendance était principalement à la baisse sur certaines TF.

Le graphique montre trois années de transactions quotidiennes.

Je ne sais pas quelle méthode d'apprentissage vous utilisez, s'il s'agit de systèmes d'arbres ou de filtres limitant la plage d'un indicateur conditionnel (fonction), cela vaut la peine d'estimer le nombre d'exemples tombant dans chacune de ces plages.

Ce que je n'ai pas fait, c'est tracer chaque plage. J'ai compté les données statistiques, mais je n'ai pas regardé le graphique lui-même.

Une situation possible est la dérive des données et un changement dans la distribution de probabilité pour le filtre/la liste.

Par exemple, lorsque je sélectionne des segments quantiques sur un échantillon pour l'entraînement, puis que j'estime leur distribution (pourcentage de réponses correctes et incorrectes à la cible 0||1) sur deux autres échantillons, le respect du critère de stabilité sur 3 échantillons est trouvé à 25-30 % près - il est clair que dans ce cas, le modèle a plus de chances de choisir un prédicteur instable, qui cessera de fonctionner sur l'un des sites.

En fin de compte, il s'agit d'analyser des modèles simples, c'est-à-dire de trouver des raisons de les considérer comme tels, plutôt que comme une observation aléatoire de la queue d'une comète dans un télescope.

Je ne comprends pas la partie surlignée.

 
Maxim Dmitrievsky #:

Eh bien, il s'agit d'un piratage plus sophistiqué :) il y a encore de nombreux tests et une sélection des gammes de paramètres de la CT. Ils ne sont pas tirés du plafond.

Stop. Vous n'êtes pas contre le processus d'optimisation lui-même, n'est-ce pas ? L'obtention de la courbe souhaitée sur l'intervalle d'échantillonnage n'a rien à voir avec les autres intervalles, en toute logique.

 
fxsaber #:

Ouh là là. Vous n'êtes pas contre le processus d'optimisation lui-même, n'est-ce pas ? L'obtention de la courbe souhaitée sur l'intervalle de l'échantillon n'est pas logiquement liée à d'autres intervalles.

Elle est liée parce que vous avez défini des paramètres sur la base de vos connaissances ou de vos préférences. Au départ, vous savez comment obtenir une meilleure courbe grâce à quels paramètres. De plus, vous avez peut-être négocié plus tôt sur un historique antérieur et utilisé cette expérience pour construire un TS sur un nouvel historique. La profondeur d'une telle thérapie gestaltiste peut être énorme :)

Je ne suis pas contre l'optimisation, j'écris simplement ce qui peut constituer des pièges.
 
Andrey Dik #:

Combien de temps le système reste-t-il rentable ?

Je ne comprends pas bien la question. La durée de non-rentabilité à gauche est d'un an. Faut-il l'augmenter à l'envers ?

J'ai rencontré un tel comportement du système, lorsque sur l'OOS de droite il y a une forte prune, je ne pense pas que cela soit directement lié à un renversement brutal de 180 degrés des modèles de marché trouvés (cela indiquerait des raisons de nature mystique, l'utilisation de pratiques vaudou et en général n'importe quoi plutôt que des problèmes réels comme le recyclage ou l'ajustement, car il est au moins étrange qu'une forte prune se produise toujours après la fin de l'entraînement). En général, cela est dû à des erreurs dans le code qui provoquent des faux positifs (ou des faux négatifs) comme Max l'a dit plus haut, dont la correction entraîne un comportement aléatoire sur la droite OOS dans le pire des cas (surentraînement) ou une diminution progressive de la rentabilité dans le meilleur des cas (diminution des modèles trouvés et/ou de leur changement progressif).

Je suppose que le fait que le code fasse exactement ce qui était prévu avant la programmation indique qu'il n'y a pas de bogues dans le code. Dans ce sens, tout va bien.

Et dans le cas général, un CT avec des erreurs dans le code est toujours un CT. Ce n'est simplement pas exactement ce que l'auteur avait prévu à l'origine.