L'apprentissage automatique dans la négociation : théorie, modèles, pratique et algo-trading - page 2843
Vous manquez des opportunités de trading :
- Applications de trading gratuites
- Plus de 8 000 signaux à copier
- Actualités économiques pour explorer les marchés financiers
Inscription
Se connecter
Vous acceptez la politique du site Web et les conditions d'utilisation
Si vous n'avez pas de compte, veuillez vous inscrire
SanSanych Fomenko, doit-on s'attendre à un échantillon ?
De quoi s'agit-il ?
Je vois. Vous avez une connaissance superficielle des modèles d'apprentissage automatique.
Le premier élément de la chaîne est le prétraitement, qui représente 50 à 70 % du travail. C'est là que se joue le succès futur.
Le deuxième élément de la chaîne est l'entraînement du modèle sur un ensemble d'entraînements.
Le troisième élément de la chaîne est l'exécution du modèle entraîné sur l'ensemble de tests. Si les performances du modèle sur ces ensembles diffèrent d'au moins un tiers, le modèle est réentraîné. Cela arrive de temps en temps, voire plus souvent. Un modèle surentraîné est un modèle trop précis. Je suis désolé, les bases.
De quoi s'agit-il ?
Plus tôt, j'ai écrit
Forum sur le trading, les systèmes de trading automatisés et les tests de stratégies de trading
L'apprentissage automatique dans le trading : théorie, modèles, pratique et algo-trading
Aleksey Vyazmikin, 2022.12.08:44
Pouvez-vous m'envoyer votre échantillon ? Nous avons la même vision du problème de la mauvaise formation des modèles, j'aimerais comparer dans quelle mesure votre méthode de sélection est meilleure que la mienne, et si elle s'adapte à votre échantillon.
Vous avez répondu que c'était une bonne idée, mais vous avez effacé le message.
Si je comprends bien, je parle de modèles d'apprentissage automatique et de l'optimisation intégrée à ces modèles. C'est là que vous avez commencé, avec les réseaux neuronaux.
Vous discutez de l'optimisation en tant que telle, ce qui, à mon avis, n'est pas pertinent dans le cadre de l'apprentissage automatique.
Je vous souhaite bonne chance dans votre recherche d'un optimum global.
Si je comprends bien, je suis en train de discuter des modèles d'apprentissage automatique et de l'optimisation qui est intégrée dans ces modèles. C'est par là que vous avez commencé, avec les réseaux neuronaux.
Vous discutez de l'optimisation en tant que telle, ce qui, selon moi, n'est pas pertinent dans le cadre de l'apprentissage automatique.
Bonne chance dans votre recherche de l'optimum global.
Je suis parvenu à l'idée la plus importante : il existe un lien indéniable entre l'optimisation et le recyclage du modèle. Le modèle doit toujours rester assez "grossier" et il n'est certainement pas nécessaire d'obtenir des optimums globaux.
Le simple fait de rejeter un optimum global n'évitera évidemment pas l'adaptation excessive. Le surajustement consiste en une adaptation trop importante du modèle à cet échantillon particulier, au détriment de la régularité existante. Il se produit en raison de la très grande flexibilité de presque tous les algorithmes de MO. Par conséquent, la façon standard de traiter ce problème est d'introduire une pénalité pour la flexibilité excessive du modèle dans le critère d'optimisation (régression lasso, par exemple). Vous pouvez simplement restreindre la flexibilité du modèle de manière normative, mais mathématiquement, il s'agit simplement d'une pénalité plus sévère.
C'est d'ailleurs un bon exemple de la raison pour laquelle il devrait être possible de créer des critères personnalisés.
Préférer un extrême global à un plateau est un peu différent. Il ne s'agit plus d'un surajustement à un échantillon particulier au détriment d'une dépendance existante et immuable. Nous parlons ici du fait qu'en raison de la non-stationnarité des prix (ce que vous avez écrit au début), la dépendance change et nous devons rechercher des valeurs stables (robustes) des paramètres qui resteront suffisamment bonnes même avec de petits changements dans la dépendance.
Il n'est pas nécessaire de tout mélanger dans une seule pile.
Lorsque je cherche une liste acceptable de prédicteurs, il s'agit d'optimisation au sens de la pantalonnade. Mais le sens est tout à fait différent : il s'agit d'essayer d'éviter le "rubbish in - rubbish out". Il y a ici une différence qualitative par rapport à la recherche du "bon" algorithme qui trouve l'optimum global. Aucun optimum global ne donnera une TS rentable sur les déchets.
Le choix d'un pantalon est un exemple d'optimisation multicritère - le choix est fait en fonction de la longueur, de la taille, de la couleur, du tissu, du prix, de la marque, etc.) Il est clair que la surface de Pareto n'est pas construite, mais il y a un mélange implicite dans la tête de l'acheteur de tous les critères en un seul compromis. Il en va de même pour la sélection des caractéristiques. La différence importante avec les pantalons est qu'ici, une formalisation explicite du critère d'optimalité du compromis sera utile, car le fait de se fier constamment à l'intuition conduira à des échecs imprévisibles.
si le modèle fonctionne, il a des paramètres pour lesquels il fonctionne bien sur des données inconnues. il est également probable qu'il ait des paramètres qui ne donnent pas une performance satisfaisante sur les oos - ce cas est appelé surentraînement. en fait, le critère d'estimation n'est pas choisi correctement. le critère correct donnera une courbe violette pour un modèle qui fonctionne. le problème se résume à la maximisation (maximum global) du critère d'estimation correct. en d'autres termes, si nous trouvons le maximum global du critère correct, nous obtiendrons une courbe violette.
et vice versa, si le critère est mal choisi, la maximisation de ce critère incorrect donnera une courbe rouge.
Cela suppose que le modèle fonctionne, mais nous voyons à quel point le critère d'évaluation est important.
Mais si le modèle ne fonctionne pas, alors rien ne sera utile, ni le critère, ni l'optimisation.
Donc, modèle->critère->optimisation du critère
Le choix d'un pantalon est un exemple d'optimisation multicritère - le choix est fait en fonction de la longueur, de la taille, de la couleur, du tissu, du prix, de la marque, etc.) Il est clair que la surface de Pareto n'est pas construite, mais il y a un mélange implicite dans la tête de l'acheteur de tous les critères en un seul compromis. Il en va de même pour la sélection des caractéristiques. La différence importante avec les pantalons est qu'ici, une formalisation explicite du critère d'optimalité du compromis sera utile, car le fait de se fier constamment à l'intuition conduira à des échecs imprévisibles.
La sélection d'un pantalon est un bon exemple d'optimisation guidée par des critères. Tous les bons pantalons ne conviennent pas à tout le monde. L'optimisation guidée par l'utilisateur permet d'obtenir le meilleur pantalon, celui qui convient le mieux (critère du maximum global).
pantalon -> critère d'évaluation du pantalon -> sélection (optimisation du critère d'évaluation du pantalon)
Un simple rejet de l'extremum global n'évitera évidemment pas le surentraînement (overfitting, overfitting). Le surajustement consiste en une adaptation trop importante du modèle à cet échantillon particulier, au détriment de la régularité existante. Il se produit en raison de la très grande flexibilité de presque tous les algorithmes de MO. Par conséquent, la façon standard de traiter ce problème est d'introduire une pénalité pour la flexibilité excessive du modèle dans le critère d'optimisation (régression lasso, par exemple). Il est possible de limiter simplement la flexibilité du modèle de manière directive, mais mathématiquement, il s'agit simplement d'une pénalité plus stricte.
C'est d'ailleurs un bon exemple de la raison pour laquelle il devrait être possible de créer des critères personnalisés.
Préférer un extrême global à un plateau est un peu différent. Il ne s'agit plus d'un surajustement à un échantillon particulier au détriment d'une dépendance existante et immuable. Nous parlons ici du fait qu'en raison de la non-stationnarité des prix (ce que vous avez écrit au début), la dépendance change et qu'il est nécessaire de rechercher des valeurs stables (robustes) des paramètres qui resteront suffisamment bonnes même avec de petits changements dans la dépendance.
Ne mélangez pas tout dans un même tas.
Le choix d'un pantalon est un exemple d'optimisation multicritère - le choix est fait en fonction de la longueur, de la taille, de la couleur, du tissu, du prix, de la marque, etc.) Il est clair que la surface de Pareto n'est pas construite, mais il y a un mélange implicite dans la tête de l'acheteur de tous les critères en un seul compromis. Il en va de même pour la sélection des caractéristiques. La différence importante avec les pantalons est qu'ici, une formalisation explicite du critère d'optimalité du compromis sera utile, car le fait de se fier constamment à l'intuition conduira à des échecs imprévisibles.
Il est agréable de voir un message de quelqu'un sur le sujet !
Si le modèle fonctionne, c'est qu'il a des paramètres pour lesquels il fonctionne bien sur des données inconnues. il est également probable qu'il ait des paramètres qui ne donnent pas une performance satisfaisante sur les oos - c'est ce que certains appellent le surentraînement. en fait, le critère d'estimation n'est pas choisi correctement. le critère correct donnera une courbe violette pour le modèle qui fonctionne. le problème revient à maximiser (maximum global) le critère d'estimation correct. en d'autres termes, si nous trouvons le maximum global du critère correct, nous obtiendrons une courbe violette.
et vice versa, si le critère est mal choisi, la maximisation d'un tel critère incorrect donnera une courbe rouge.
Cela suppose que le modèle fonctionne, mais nous voyons à quel point le critère d'évaluation est important.
Mais si le modèle ne fonctionne pas, rien n'y fera, ni le critère, ni l'optimisation.
Donc, modèle->critère->optimisation du critère
.
exemples de critères intégraux : solde, facteur de profit et autres. ces critères font une évaluation sommaire sans prendre en compte les résultats des événements intermédiaires du processus (dans le commerce, il s'agit des transactions). par exemple, deux résultats avec le même solde final de 10000, dans un cas 1000 transactions rentables, et dans l'autre cas 999 non rentables et 1 rentable. il est évident que bien que le critère intégral soit le même dans les deux cas, la façon dont le résultat a été obtenu est coordonnée différemment. c'est pourquoi les gens se plaignent souvent des critères intégraux, que le recyclage est reçu, que le marché n'est pas stationnaire, etc.
Un exemple de critère dérivé est l'écart-type d'une ligne d'équilibre qui va du point de départ au point d'arrivée. Ces critères, contrairement aux critères intégraux, prennent en compte les résultats intermédiaires du processus, ce qui permet de décrire sans ambiguïté les exigences du critère.
Les critères intégraux peuvent également avoir droit de cité, car ils sont applicables à certains types de systèmes (par exemple, lorsque le nombre de transactions par unité de temps est pratiquement une constante).
Le choix des critères détermine la robustesse du système dans le futur.
Si le chercheur a l'idée qu'il peut être nécessaire de rechercher non pas le maximum global, mais quelque chose d'intermédiaire, il est alors nécessaire de reconsidérer immédiatement les critères d'évaluation du modèle.