L'Apprentissage Automatique dans le trading : théorie, modèles, pratique et trading algo - page 1305

 

Changement de performance en fonction du déplacement du seuil de "probabilité" pour la classification 0/1 de 0,45 à 0,65

Essentiellement la précision

Les histogrammes montrent que l'augmentation de la précision de la classification se produit de manière assez régulière avec un déplacement du seuil de probabilité pour la classification, ce qui ne peut être dit pour les bénéfices.

Il s'avère que nous ne devons pas seulement considérer l'efficacité de la classification, mais aussi estimer comment les bénéfices sont répartis entre les règles (feuilles) et quel est leur seuil de sensibilité. En d'autres termes, quelle que soit la manière dont vous envisagez les choses, vous devez sortir les règles individuelles et leur donner une estimation.

 
elibrarius:
scie)
Il y a une confusion générale sur la terminologie.

que penser de la validation croisée ? tous les sabbats sont concernés, donc la validation est meilleure que le test.

Bref, ouais, peu importe. Mon test est la 2ème partie du sous-échantillon, mais je l'appellerai la validation alors

 
Aleksey Vyazmikin:

Changement de performance en fonction du déplacement du seuil de "probabilité" pour la classification 0/1 de 0,45 à 0,65

Essentiellement la précision

Les histogrammes montrent que l'augmentation de la précision de la classification se produit de manière assez régulière avec un déplacement du seuil de probabilité pour la classification, ce qui ne peut être dit pour les bénéfices.

Il s'avère que nous ne devons pas seulement considérer l'efficacité de la classification, mais aussi estimer comment les bénéfices sont répartis entre les règles (feuilles) et quel est leur seuil de sensibilité. Quelle que soit la façon dont vous le découpez, vous devez tirer des règles individuelles et les estimer.

Les profits sont plus faibles à 0,65 car il y a moins de transactions. Par exemple, au lieu de 100, il y aura 10 transactions. Vous pouvez augmenter le lot

 
Aleksey Vyazmikin:

Changement de performance en fonction du déplacement du seuil de "probabilité" pour la classification 0/1 de 0,45 à 0,65

Essentiellement la précision

Les histogrammes montrent que l'augmentation de la précision de la classification se produit de manière assez régulière avec un déplacement du seuil de probabilité pour la classification, ce qui ne peut être dit pour les bénéfices.

Il s'avère que nous ne devons pas seulement considérer l'efficacité de la classification, mais aussi estimer comment les bénéfices sont répartis entre les règles (feuilles) et quel est leur seuil de sensibilité. Donc, quelle que soit la façon dont vous le présentez, vous devez sortir les règles individuelles et leur donner une estimation.

Augmentez le seuil, lorsque le modèle se dégrade, il y aura de moins en moins de transactions sur les nouvelles données, les probabilités tourneront autour de zéro, c'est le bon moment pour un réentraînement.

pour relever les seuils, l'erreur doit être faible, sinon il n'y aura pas de signaux du tout
 
elibrarius:

Les profits sont plus faibles à 0,65 parce qu'il y a moins de transactions aussi. Par exemple, au lieu de 100, nous aurons 10 transactions. Nous pouvons augmenter la taille du lot.

Le nombre de transactions et de transactions rentables varie de façon assez régulière (une transaction est une transaction/2 selon la logique de MT).

La perte n'est tout simplement pas stable par transaction, car le stop loss n'est pas fixe.

 
elibrarius:
scie)
Dans l'ensemble, la terminologie est confuse

Je propose ma terminologie (je m'y tiendrai pour l'instant) :

1. Echantillon de formation - celui où la création du modèle a lieu

2. échantillon d'essai - utilisé pour contrôler la qualité de la formation du modèle, y compris l'arrêt de la formation.

3. échantillon d'examen - utilisé pour l'estimation de la qualité du modèle, indépendant de la formation

 
Maxim Dmitrievsky:

Augmentez le seuil, lorsque le modèle se détériore, il y aura de moins en moins de transactions sur les nouvelles données, les probabilités tourneront autour de zéro, c'est le bon moment pour un réentraînement.

Il faut une erreur faible pour élever les seuils, sinon il n'y aura pas de signaux du tout.

Oui, c'est compréhensible. C'est juste que les signaux disparaissent à cause du manque de connexions de relecture dans les feuilles, surtout si leur grand total d'activation tournait autour de 0,5 et ressemblait à une somme de 0,1+0,05+0,08+0,25+0,03 - une des sommes est tombée et c'est tout, aucune activation ne se produit.

 
Aleksey Vyazmikin:

C'est compréhensible. Juste des signaux disparaissent à cause du manque de liens de reproduction dans les feuilles, surtout si leur grande partie d'activation totale tournait autour de 0,5, et ressemblait à la somme de 0,1+0,05+0,08+0,25+0,03 - est tombé une des sommes et tout, aucune activation ne se produit.

Cela signifie que l'algorithme ne se généralise pas correctement aux nouvelles données et qu'il faut le tordre un peu plus).

 
Maxim Dmitrievsky:

10% d'erreur par test et trace pour ~10k exemples, augmente doucement avec l'augmentation

à cette erreur, les modèles ont commencé à travailler sur de nouvelles données

sur la validation différemment, il s'agit de passer par les options

Je ne révèle plus d'algorithmes, je communique juste

О ! C'est l'affaire ! Presque comme le mien ! Je t'avais dit qu'il n'était pas nécessaire d'écouter toutes sortes d'ales et de sorciers :)

 
Maxim Dmitrievsky:

Cela signifie que l'algorithme ne se généralise pas bien aux nouvelles données et qu'il faut le tordre davantage (en gros, le recycler).

Donc je tourne et retourne, je ne veux pas me tromper :)

Je vais ajouter une nouvelle dose de prédicteurs maintenant...