L'apprentissage automatique dans la négociation : théorie, modèles, pratique et algo-trading - page 3117

 
Maxim Dmitrievsky #:

Tout cela a été discuté ici à de nombreuses reprises dans la préhistoire. Le premier modèle formé sur l'achat/la vente est testé sur de nouvelles données. Les cas où il est erroné sont placés dans la classe "ne pas négocier", les autres dans la classe "négocier". Le deuxième classificateur est entraîné sur ces données. Nous obtenons deux modèles. L'un d'entre eux prédit la direction, l'autre prédit si la transaction doit être abandonnée. Cela donne de la flexibilité, si l'on se contente de fixer le seuil des transactions à l'aide d'un seul modèle. En effet, les deux modèles peuvent être améliorés, l'un par l'autre. J'ai décrit la méthode originale dans le dernier article. J'ai ensuite adopté une logique modifiée.

Il s'agit d'ailleurs d'une question ouverte, car il est possible d'améliorer l'un et l'autre, apparemment, de différentes manières.

Je suis ensuite tombé sur l'inférence kozul, où l'on procède de manière similaire.

Je n'en sais rien.

Et qu'il y a une utilisation de ce filtrage par le deuxième modèle ?

 
mytarmailS #:

Je ne sais pas.

Et à quoi sert ce filtrage par le deuxième modèle ?

Il est meilleur sur les nouvelles données.

 
Maxim Dmitrievsky #:

sur les nouvelles données, il est préférable

si nous fixons des seuils de probabilité sur le modèle unique initial, par exemple

> 0,7 acheter

< 0,3 vente

alors il deviendra meilleur à la fois sur le test et sur la formation, et il y aura moins de transactions naturellement...

Le deuxième modèle apporte-t-il vraiment quelque chose ? Je suis curieux...

Y a-t-il eu des tests, des comparaisons ?

 
Maxim Dmitrievsky direction de la transaction et un méta-modèle qui prédit la probabilité de gagner (négocier ou ne pas négocier) :

Appelons le premier modèle le modèle principal, qui divise l'espace des caractéristiques en achat/vente à l'aide d'une ligne noire. Le second est un méta-modèle qui divise l'espace total des caractéristiques en négociation/non négociation (ligne rouge).

Imaginons maintenant une autre variante, lorsqu'il existe deux méta-modèles et que chacun d'entre eux divise les différents espaces de caractéristiques des classes ACHETER et VENDRE en commerce/non-commerce séparément (deux lignes rouges).

Une question purement théorique à laquelle il faut réfléchir est de savoir si la deuxième option est meilleure. Et si c'est le cas, pourquoi ? N'hésitez pas à nous faire part de vos commentaires.

Une demande, probablement même à Alexei Nikolaev, comment on peut déterminer l'effet d'une telle "intervention". Après tout, nous obtiendrons deux distributions de probabilité de deux méta-modèles, qui peuvent être comparées/évaluées/distribuées par des coins.

Il s'agit là d'une formulation ambiguë du problème.

Il s'avère que nous croyons davantage au second modèle probabiliste qu'au premier, et que nous utilisons le second modèle comme un filtre pour le premier.

Ou bien nous traitons la situation comme une opération "ET", c'est-à-dire une intersection de résultats.


C'est une impasse, je l'ai déjà fait.


Je n'ai pas rencontré de modèles qui donneraient une direction, car s'ils donnent une direction, même extérieurement, c'est le résultat d'une régularisation de la probabilité de direction. C'est pourquoi l'approche standard pour R appelée "ensemble de modèles" est suggérée, lorsque les résultats de deux ou plusieurs modèles, pour ainsi dire, du premier niveau, sont utilisés comme prédicteurs dans un algorithme de classification du deuxième niveau. D'ailleurs, si vous aimez tant les variables catégorielles, vous pouvez également les introduire dans l'entrée d'un classificateur. S'il est possible de classer les résultats des modèles en fonction du niveau de confiance, celui-ci peut être ajusté par des poids. En d'autres termes, le deuxième niveau est un classificateur qui utilise les résultats de la classification du modèle de premier niveau comme prédicteurs. Cette approche est très intéressante pour les classes déséquilibrées obtenues par une régularisation autre que 0,5, par exemple en divisant le résultat du classificateur en tant que probabilité par des quantiles avec des valeurs de 0,4 et 0,6. Le milieu est hors du marché.

 
mytarmailS #:

si, sur le modèle unique initial, nous plaçons des seuils de probabilité tels que

> 0,7 acheter

< 0,3 vendre

alors il deviendra meilleur à la fois sur test et sur traine, et il y aura moins de transactions naturellement....

Je me demande si le second modèle apporte vraiment quelque chose...

Y a-t-il eu des tests, des comparaisons ?

Imaginez que vous ayez formé le premier modèle par validation croisée, et que vous mettiez toutes les mauvaises prédictions dans le second modèle pour ne pas faire de transactions. Vous disposez déjà d'une signification statistique selon laquelle le premier modèle se trompe plus souvent à certains endroits et réalise toujours de bonnes transactions à d'autres endroits. Le second modèle peut alors filtrer ces erreurs. Il est déjà plus difficile de passer par un modèle. Il existe d'autres variantes de ce type de réglage.
 
Maxim Dmitrievsky #:
Imaginez que vous ayez formé le premier modèle par validation croisée et que vous ayez placé toutes les prédictions incorrectes dans le second modèle en tant que non-échange. Il est déjà statistiquement significatif que le premier modèle soit plus susceptible de se tromper à certains endroits, ce qui peut être filtré par le second modèle. Il est déjà plus difficile de passer par un modèle. Il existe d'autres variantes de ce type de réglage.

Cela semble raisonnable.

 
mytarmailS #:

Cela semble raisonnable.

Même si le second modèle est lui aussi erroné, il corrige en quelque sorte les erreurs du premier dans ce cas, oui, c'est un peu ça. Dans l'inférence de Kozul, il y a une justification plus rigoureuse de leurs approches. Je dirais même qu'elle est parfaitement rigoureusement prouvée.

https://en.wikipedia.org/wiki/Frisch%E2%80%93Waugh%E2%80%93Lovell_theorem

 
Forester #:
Je n'ai pas essayé. Intuitivement) Mais comme l'a dit Marx : la pratique est le critère de la vérité. Si cela fonctionne pour vous dans la pratique, tant mieux).

J'essaie de passer à la deuxième option, en cours de route.

 
СанСаныч Фоменко #:

Une formulation ambiguë du problème.

Il s'avère que nous croyons davantage au second modèle probabiliste qu'au premier, le second modèle étant utilisé comme filtre pour le premier.

Ou bien nous interprétons la situation comme une opération "ET", c'est-à-dire une intersection de résultats.


Une voie sans issue, nous l'avons connue.


Je n'ai pas rencontré de modèles qui donneraient une direction, car s'ils donnent une direction, même extérieurement, c'est le résultat d'une régularisation de la probabilité de direction. C'est pourquoi l'approche standard pour R appelée "ensemble de modèles" est suggérée, lorsque les résultats de deux ou plusieurs modèles, pour ainsi dire, du premier niveau, sont utilisés comme prédicteurs dans un algorithme de classification du deuxième niveau. D'ailleurs, si l'on aime tant les variables catégorielles, elles peuvent également être introduites dans l'entrée d'un classificateur. S'il est possible de classer les résultats des modèles en fonction du niveau de confiance, celui-ci peut être ajusté par des poids. En d'autres termes, le deuxième niveau est un classificateur qui utilise les résultats de la classification du modèle de premier niveau comme prédicteurs. Cette approche est très intéressante pour les classes déséquilibrées obtenues par une régularisation autre que 0,5, par exemple en divisant le résultat du classificateur en tant que probabilité par des quantiles avec des valeurs de 0,4 et 0,6. Le milieu est hors du marché.

Ensemble est proche dans sa signification mais éloigné dans sa mise en œuvre. Comme l'approche proposée peut être utilisée de différentes manières pour obtenir différents résultats, elle est très flexible.

J'ai également utilisé des ensembles, mais cela n'a pas fonctionné.

 
Maxim Dmitrievsky #:
Imaginez que vous ayez formé le premier modèle par validation croisée et que vous ayez placé toutes les prédictions incorrectes dans le second modèle en tant que non-échange. Il est déjà statistiquement significatif que le premier modèle soit plus susceptible de se tromper à certains endroits, ce qui peut être filtré par le second modèle. Il est déjà plus difficile de passer par un modèle. Il existe encore d'autres variantes de ce type de réglage.

L'idée du filtrage des erreurs n'est pas du tout claire pour moi.

Il s'avère que si le modèle prédit 50/50, en éliminant les 50 mauvais, le reste prédit 100 % ? C'est du super-apprentissage et rien d'autre.


L'erreur de classification provient du fait que les mêmes valeurs de prédicteurs permettent dans certains cas de prédire correctement, et dans d'autres cas de ne pas prédire correctement, et c'est le problème qui ne peut être éliminé qu'au stade du filtrage de la "force de la relation" entre le prédicteur et la variable cible, et il est totalement impossible, si Dieu le veut, de filtrer les prédicteurs et de réduire à ce prix l'erreur de classification de 10 pour cent.