L'apprentissage automatique dans la négociation : théorie, modèles, pratique et algo-trading - page 3175

 
СанСаныч Фоменко graphique d'optimisation sous la forme d'une "surface bidimensionnelle".

Il peut être utilisé pour surveiller le surentraînement.

Si, sur cette surface, il est possible d'identifier un morceau dans lequel une cellule est entourée d'autres cellules ayant approximativement la même couleur, alors cette cellule centrale donnera les paramètres du CT NON surentraîné. Cette position correspond au fait que l'optimum trouvé est un plateau.

En revanche, si la "surface" ressemble à une peau de léopard, le TS est sans espoir, car le testeur a trouvé un grand nombre de maxima, ce qui indique une probabilité extrêmement faible de les atteindre à l'avenir.

C'est impossible.

La nature du motif (surface) ne renseigne que sur les caractéristiques du TS selon un critère d'optimisation particulier. Si nous prenons un autre critère, le schéma sera différent. Une mauvaise compréhension de ce point conduit à penser que l'optimisation (l'apprentissage) ne doit pas être effectuée jusqu'au maximum global, alors qu'elle devrait l'être. C'est le choix d'un critère d'optimisation adapté à la stratégie qui est la clé d'un apprentissage correct.

Tout cela a déjà été discuté à maintes reprises.

 
fxsaber #:
C'est comme ça, j'ai posé une question, et les professionnels sont venus avec leurs réponses))))))

Comme une divorcée sur un jeune informaticien stupide))) au moins se défendre avec des bâtons maintenant))))
 
fxsaber #:

Veuillez préciser la signification de ces intervalles.

Pour l'instant, je suis en train d'imaginer ce schéma sur ces intervalles.

  1. Le broyeur de numéros fonctionne en continu, en filtrant par test.
  2. Le broyeur de numéros est complètement désactivé. Et quelques meilleurs résultats sont pris à l'examen.


Le premier point semble étrange. Un peu comme le "forward test" dans le testeur. Est-ce mieux que l'optimisation sans filtrage, mais sur un intervalle combiné : train+test ?

En médecine, un groupe de 60 patients à peu près également malades est divisé au hasard en trois groupes, le premier groupe est traité avec un nouveau médicament, le deuxième avec un ancien, le troisième groupe n'est pas traité, on lui donne un placebo. Si le premier groupe est meilleur que le deuxième et le troisième, le médicament est reconnu comme bon et l'expérience est répétée sur un grand nombre de patients pendant un certain temps, c'est-à-dire qu'elle est surveillée, puis laissée à l'état libre.

Il semble logique que la probabilité de résultats faussement positifs ou négatifs diminue, mais pour moi, ce n'est pas une panacée contre les erreurs.

Et je ne comprends pas ou ne reconnais pas l'évaluation catégorique des résultats d'études bruyantes à l'adresse all)))).

 
Andrey Dik #:

Non, vous ne pouvez pas.

Le caractère du motif (surface) ne renseigne que sur les caractéristiques du véhicule en fonction d'un critère d'optimisation particulier. Si nous prenons un autre critère, le schéma sera différent. Une mauvaise compréhension de ce point conduit à l'idée erronée que l'optimisation (formation) ne doit pas être effectuée jusqu'au maximum global, alors qu'au contraire, elle devrait l'être. C'est le choix d'un critère d'optimisation adapté à la stratégie qui est la clé d'une formation correcte.

Tout cela a déjà été discuté à maintes reprises.

Et chacun en est resté à sa propre opinion. Il me semble que vous êtes le seul.

Vous devez rechercher des plateaux, et non des pics individuels qui, en raison du caractère aléatoire du processus, ne réapparaîtront jamais.

 
Valeriy Yastremskiy #:

En médecine, un groupe de 60 patients à peu près également malades est divisé au hasard en trois groupes : le premier est traité avec un nouveau médicament, le deuxième avec un ancien, le troisième n'est pas traité et reçoit un placebo. Si les résultats du premier groupe sont meilleurs que ceux du deuxième et du troisième, le médicament est reconnu comme bon et l'expérience est répétée sur un grand nombre de patients pendant un certain temps, c'est-à-dire qu'elle est surveillée, avant d'être libérée.

Il semble logique que la probabilité de résultats faussement positifs ou négatifs diminue, mais pour moi, ce n'est pas une panacée contre les erreurs.

Et je ne comprends pas ou ne reconnais pas l'évaluation catégorique des résultats d'études bruyantes à l'adresse all)))).

La division du fichier en différentes sections et, dans l'exemple que vous avez donné, l'inclusion aléatoire de patients dans le groupe, qui correspond à mon échantillon, ne fonctionnent que si les prédicteurs sont pertinents pour la variable cible, c'est-à-dire que ce n'est pas n'importe quoi. En médecine, pour déterminer la relation entre un médicament (prédicteur) et une maladie, il faut comprendre la physiologie du processus d'administration du médicament dans l'organisme. Nous devons disposer d'autres méthodes pour déterminer la relation entre le prédicteur et la variable cible - tout cela constitue le prétraitement, qui est effectué AVANT l'entraînement du modèle, et cette étape est obligatoire.

De même, l'architecture de test est obligatoire et doit être réalisée AVANT le surentraînement du modèle.

 
СанСаныч Фоменко #:

Et chacun reste avec sa propre opinion. Il me semble que vous êtes unique en votre genre.

Vous devez rechercher des plateaux, et non des sommets individuels qui ne réapparaîtront jamais en raison du caractère aléatoire du processus.

Je ne me soucie pas vraiment d'être le seul, cela montre simplement qu'il y a vraiment peu de gens qui comprennent le problème))))

Les plateaux ou les pics dépendent de la surface du critère d'optimisation, le critère ! Pourquoi pensez-vous que l'on utilise souvent le critère - erreur en MO ? Parce que la surface est monotone))), c'est-à-dire que l'on essaie toujours de choisir un critère qui est aussi monotone que possible et qui a une seule valeur globale, si possible.

Nous ne devrions donc pas chercher un plateau, mais un critère dont l'hypersurface est aussi monotone que possible.

D'ailleurs, le critère d'erreur a exactement une valeur globale avec la valeur 0. Et le fait qu'il faille arrêter l'entraînement sans atteindre la valeur globale est une autre question qui n'a rien à voir avec la surface du critère.

 
combien je plains ces pauvres gens à l'esprit immature qui lisent ces inepties et pensent qu'ici des gens intelligents discutent de quelque chose d'intelligent....
 
Maxim Dmitrievsky #:
On pourrait en conclure que vous faites cela depuis des années. Ou bien vous pourriez simplement faire une recherche aléatoire, ce que vous faites actuellement.

Je viens d'écrire que la recherche aléatoire est une approche improductive.

J'utilise la randomisation avec un élément de hasard dans la sélection des prédicteurs lorsque je teste le potentiel d'échantillonnage, et je l'utilise depuis des années dans CatBoost.

La randomisation ne justifie pas que l'on s'attende à ce que le modèle continue à fonctionner, parce que les réponses des prédicteurs y ont été intégrées de manière aléatoire.

 
Aleksey Nikolayev #:

Selon moi, cela ressemble à du pi-hacking, dont Maxim a parlé récemment. À moins que des tests statistiques ne soient utilisés pour déterminer l'importance des quanta alloués, il s'agit bien de lui.

J'ai donné une fois un exemple simple où la meilleure heure de la semaine pour le trading était sélectionnée sur SB (alors qu'elle n'existe manifestement pas). Il n'y avait que 5*24=120 variantes, mais il suffisait qu'une telle heure soit toujours trouvée (l'intervalle de temps était d'une demi-année, je crois). Il y a là aussi une "stabilité de l'échantillonnage".

Quels tests de signification suggérez-vous ? Je ne dis pas que l'algorithme de sélection des segments quantiques est parfait, au contraire - il y a beaucoup de déchets et je veux l'améliorer.

Je ne comprends pas sur quels signes vous avez décidé qu'il s'agissait d'une sorte de "pi-hacking" - et quelle partie exactement, la sélection des segments quantiques ou le filtrage des chaînes, qui sont bien et sans entraînement filtrées par les segments quantiques (c'est-à-dire les graphes que j'ai construits) ? Oui, la méthode est un peu différente de l'approche courante de la construction de modèles en bois, mais pas vraiment, le concept reste le même.

En ce qui concerne l'exemple du SB, il y a deux considérations à prendre en compte :

1. Si le processus est inconnu et qu'il n'y a que des données, alors on peut supposer qu'il existe une meilleure heure pour trader. Ou y a-t-il des raisons de rejeter cette hypothèse ?

2. Si ces observations sont réparties de manière relativement uniforme dans le temps (historique des événements), il s'agit plutôt d'une erreur du générateur de nombres aléatoires.

Lors de la formation, j'utilise des échantillons sur une longue période - généralement au moins 10 ans.

 
СанСаныч Фоменко #:

La division du fichier en différentes sections et, dans l'exemple que vous avez donné, l'inclusion aléatoire de patients dans un groupe, qui correspond à mon échantillon, ne fonctionnent que si les variables prédictives sont pertinentes pour la variable cible. En médecine, pour déterminer la relation entre un médicament (prédicteur) et une maladie, il faut comprendre la physiologie du processus d' introduction du médicament dans le corps. Nous devons disposer d'autres méthodes pour déterminer la relation entre le prédicteur et la variable cible - tout cela relève du prétraitement, qui est effectué AVANT l'entraînement du modèle, et cette étape est obligatoire.

De même, l'architecture de test est obligatoire et doit être réalisée AVANT le surentraînement du modèle.

Malheureusement non. La phagocytose est visible au microscope, mais la science médicale, pour laquelle le microscope n'est d'aucune utilité, s'appuie sur des hypothèses confirmées par des expériences appropriées.)

Et d'ailleurs, les patients ne savent pas dans quel groupe ils se trouvent.))))

En général, des conditions similaires, sans comprendre les relations de cause à effet, recherchent ces relations.