Optimisation et tests hors échantillon. - page 5
Vous manquez des opportunités de trading :
- Applications de trading gratuites
- Plus de 8 000 signaux à copier
- Actualités économiques pour explorer les marchés financiers
Inscription
Se connecter
Vous acceptez la politique du site Web et les conditions d'utilisation
Si vous n'avez pas de compte, veuillez vous inscrire
Candidat, ce n'est pas aussi simple avec la rentabilité. Si nous prenons les mêmes ensembles A, B, C en NS, alors la rentabilité de la stratégie après un entraînement normal sera la suivante : sur la partie A, elle est maximale, sur la partie B, elle est nettement inférieure, et sur la partie C, elle est encore pire. Et c'est comme ça chez nous : de grands résultats dans l'histoire, mais en dehors - des pertes... Le problème est de choisir une stratégie où la zone C est presque certainement pire en termes de rentabilité, mais toujours comparable à la zone A.
Je n'ai pas l'intention d'en faire la promotion ici. Mais les principes de test que j'ai appris lorsque je les faisais sont tout à fait raisonnables. Et ici, contrairement à l'ajustement des métacitations, nous pouvons au moins compter sur la capacité de généralisation (la principale propriété grâce à laquelle un conseiller expert peut rester rentable à l'avenir ; notre optimiseur est complètement dépourvu de cette propriété).
Je voulais dire que le vrai testeur de MetaTrader permet d'obtenir les mêmes résultats lors de l'optimisation d'une population échantillon+échantillon que lors de l'optimisation d'un échantillon suivi d'un test hors échantillon. Dans le testeur, le bouton "Propriétés de l'expert", puis les onglets "Test" et "Optimisation" permettent de se débarrasser des pertes de la longueur et de la profondeur souhaitées.
Tout dépend de la définition de la tâche. Si nous négligeons le degré d'uniformité de la distribution des bénéfices sur le temps de test, les capacités standard du testeur MT sont vraiment suffisantes et le temps passé sera comparable. Cela vaut-il la peine de le négliger ? Chacun a sa propre expérience et son propre point de vue. Le processus peut effectivement être appelé ajustement, mais je pense que le terme approximation serait plus juste. Toutes les approximations ne peuvent pas être extrapolées dans le futur et le critère d'uniformité du bénéfice permet juste de rejeter sciemment les variantes impropres à l'extrapolation. IMHO, bien sûr.
Il s'agit de l'applicabilité du testeur à un problème d'optimisation sur un échantillon avec un test hors échantillon ultérieur. Les résultats sont les mêmes, mais il faut aborder la question sous un autre angle : réduire le nombre de pertes consécutives et la valeur des pertes. C'est tout.
Candidat, ce n'est pas aussi simple avec la rentabilité. Si nous prenons les mêmes ensembles A, B, C en NS, alors la rentabilité de la stratégie après un entraînement normal sera la suivante : sur la partie A, elle est maximale, sur la partie B, elle est nettement inférieure, et sur la partie C, elle est encore pire. Et c'est comme ça chez nous : de grands résultats dans l'histoire, mais en dehors - des pertes... Le problème est de trouver une stratégie qui est presque certainement pire en termes de rentabilité dans la zone C, mais qui reste comparable à la zone A.
Je pense que l'analogie avec l'approximation donne la réponse : nous savons que plus l'approximation est bonne, moins elle est adaptée à l'extrapolation (bien sûr, nous rejetons le cas du graphique de la fonction analytique avec son approximation). Ainsi, une bonne solution n'est probablement pas celle qui donne plus de profit sur A, mais celle qui donne un profit plus uniforme sur A+B. Nous commençons maintenant l'extrapolation et, encore une fois naturellement, l'erreur augmente au fur et à mesure que l'horizon de prévision s'élargit.
En désaccord catégorique, Vita. Sinon, dans les réseaux neuronaux, il n'y aurait pas de division de toutes les données en trois parties, fondamentalement différentes : l'optimisation réelle - uniquement sur la première partie ; la deuxième ne sert qu'à déterminer le moment de la fin de la formation, et la troisième - uniquement pour les tests uniques. C'est-à-dire que le véritable essayage ne se fait que sur le premier, et sur le troisième, c'est ce qu'il s'avère être... Et le choix - "rasoir d'Occam" ou perte de confiance dans le système - est laissé au créateur du système.
Grosso modo, l'optimisation sur A+B+C n'est pas du tout la même chose que le traitement décrit ci-dessus.
Par souci de clarté, juste au cas où.
A - ensemble des paramètres obtenus lors de l'optimisation sur l'échantillon
B - ensemble des paramètres obtenus après avoir testé A en dehors de l'échantillon.
Le processus d'obtention de B est le processus d'optimisation sur échantillon suivi d'un test hors échantillon. C'est dans ce processus que vous êtes censé vous débarrasser de l'ajustement des courbes ?
C est l'ensemble des paramètres obtenus en optimisant la population de l'échantillon + hors échantillon.
Je soutiens que C est aussi bon que B en termes d'ajustement de la courbe.
C-B= l'ensemble des paramètres qui ne sont rentables ni dans l'échantillon ni hors échantillon, mais rentables sur l'ensemble de la population.
Le processus d'obtention de B peut être réalisé par un testeur standard.
Candidat, je ne dis pas qu'une bonne solution donne le profit maximum à A. L'optimiseur fait cela mieux : il donne un maximum absolu sur A, mais rien sur hors échantillon. Selon le modèle d'apprentissage NS, le candidat le plus probable pour une bonne solution est le profit maximum sur B avec un profit déjà acceptable mais pas maximum sur A.
A propos de votre commentaire : je suis presque d'accord, mais pas A+B mais A+B+C.
2 Vita : Je pensais avoir tout écrit clairement sur la page précédente. . . Les ensembles A, B, C ne se chevauchent pas. Par exemple :
A - du 1er janvier 2004 au 31 décembre 2005,
B - du 1er janvier 2006 au 31 octobre 2006, et
C - du 1er novembre 2006 à aujourd'hui.
Le rapport habituel des longueurs de données en NS est A:B:C = 60:20:20.
A propos de votre commentaire : je suis presque d'accord, mais pas A+B mais A+B+C.
Je n'ai pas l'intention d'en faire la promotion ici. Mais les principes des tests, que j'ai appris lorsque je les faisais, sont tout à fait sensés. Et ici, contrairement à l'ajustement des métacitations, nous pouvons au moins compter sur la capacité de généralisation (la principale propriété grâce à laquelle un conseiller expert peut rester rentable à l'avenir ; notre optimiseur n'a pas du tout cette propriété).
Oh, c'est vrai ! La capacité de généralisation devrait être une propriété du conseiller expert, et non de l'optimiseur. La loi doit être énoncée dans le conseiller expert ; l'idée du conseiller expert doit être aussi complète et systématique que possible. Mais je ne ferais pas une telle affirmation contre l'optimiseur. Je pense que c'est absurde, tout comme il est absurde d'essayer de tirer absolument n'importe quel Expert Advisor au niveau de la rentabilité à tout moment et dans le futur avec un optimiseur capable de généraliser. Ce n'est pas la faute d'un optimiseur de métacitations s'il n'y a pas de loi, d'idée profitable et de soi-disant capacité de généralisation qu'il peut optimiser. La seule chose qui reste à faire est d'ajuster la courbe.
Candidat, je ne dis pas qu'une bonne solution donne le profit maximum à A. L'optimiseur fait cela mieux : il donne un maximum absolu sur A, mais rien sur hors échantillon. Selon le modèle d'apprentissage NS, le candidat le plus probable pour une bonne solution est le profit maximum sur B avec un profit déjà acceptable mais pas maximum sur A.
A propos de votre commentaire : presque d'accord, mais pas A+B mais A+B+C.
2 Vita : Je pensais avoir tout écrit clairement sur la page précédente. . . Les ensembles A, B, C ne se chevauchent pas. Par exemple :
A - du 1er janvier 2004 au 31 décembre 2005,
B - du 1er janvier 2006 au 31 octobre 2006, et
C - du 1er novembre 2006 à aujourd'hui.
Le rapport habituel des longueurs de données en NS est A:B:C = 60:20:20.
Que Dieu soit avec eux, A, B et C. Ils ont une signification différente dans mes posts. Ce ne sont pas des échéances. Ce sont les ensembles de paramètres que l'optimisation produit. Oh, allez.