L'apprentissage automatique dans la négociation : théorie, modèles, pratique et algo-trading - page 31

 
Alexey Burnakov:

Yuri, le premier essai sur vos données :

méthode fonction_perte cv_folds sac_frac paramètres du modèle AUC_cv précision_formation précision_validation
GBM bernoulli 4 0.4 0.015_|_7_|_70_|_600 0.429659 0.590361 0.50501
GBM bernoulli 4 0.6 0.02_|_5_|_110_|_600 0.485727 0.586345 0.51503

Deux ensembles différents de valeurs de paramètres pour la formation. Il convient de noter que l'AUC est inférieure à la plinthe lors de la validation croisée.

Globalement, une précision de 51,5 % sur le test est le meilleur résultat obtenu.

Je ne sais même pas comment tu arrives à contourner 60%.

Nous devrions jeter cet ensemble de prédicteurs.

Si nous prenons stupidement tous les incréments de pas et quelques oscillateurs, plus de 100 prédicteurs avec plus de 5000 observations, c'est-à-dire H1, alors à partir d'un tel ensemble nous pouvons choisir 10-15 prédicteurs qui non seulement donneront moins de 40% d'erreur de prédiction, mais surtout ne donneront pas un modèle RÉFÉRÉ.

 
SanSanych Fomenko:

Nous devrions jeter cet ensemble de prédicteurs.

Si nous prenons stupidement des incréments de tout avec quelques oscillateurs sur 100 prédicteurs avec plus de 5000 observations, c'est-à-dire H1, à partir d'un tel ensemble nous pouvons choisir 10-15 prédicteurs qui non seulement donneront une erreur de prédiction inférieure à 40%, mais surtout ne donneront PAS un modèle REPROVÉ.

Nous ne savons pas encore quelles fonctionnalités Yuri a incluses dans le kit. Il dit qu'ils sont tous nécessaires.
 

En général, je n'ai jamais obtenu une précision de classification supérieure à 51,5 %. Par conséquent, le reste de la métrique sera également proche de l'estimation aléatoire.

L'équilibre des réponses au test est presque parfaitement 50/50.

Yuri, j'attends avec impatience vos révélations.

 
J'ai environ 50% de prédictions correctes sur test.csv, toutes peu prometteuses. Je suis d'accord que l'ensemble des prédicteurs n'est pas très bon, Yuri, ajoutez plus d'indicateurs standards, si votre modèle est vraiment si bon, alors je pense que vous pouvez atteindre 80% ou plus de prédictions correctes avec de bons prédicteurs.
 
Alexey Burnakov:

En général, je n'ai jamais obtenu une précision de classification supérieure à 51,5 %. Par conséquent, le reste de la métrique sera également proche de l'estimation aléatoire.

Les réponses équilibrées sur le test sont presque parfaitement 50/50.

Merci pour ces informations. Si personne n'a pu obtenir un meilleur résultat, et j'ai moi-même exécuté cet ensemble de données sur Weka et c'est une déception là aussi, alors il est temps de mettre à jour la version de libVMR. 60% de réponses correctes sur de tels échantillons n'est pas la limite, si vous appliquez la nouvelle version.
Alexey Burnakov:

Yuri, j'attends vos révélations.

Je ne cache rien. Pour l'ancienne version dont j'ai déjà donné les résultats ci-dessus, toutes les informations sont en accès libre :

Description de la méthode de construction du classificateur binaire : https://sites.google.com/site/libvmr/

Code source Java avec commentaires : https://sourceforge.net/p/libvmr/code/HEAD/tree/trunk/

Constructions : https://sourceforge.net/projects/libvmr/files/

Векторная машина Решетова
  • sites.google.com
Теория и практика алгоритмов машинного обучения обладающих обобщающей способностью
 
Yuri, merci.

Il y a une chose que je ne comprends pas. Si l'ensemble est linéairement séparable, pourquoi ne pas utiliser la méthode SVM habituelle ? En quoi le vôtre est-il meilleur ?
 
Alexey Burnakov:
Yuri, merci.

Il y a une chose que je ne comprends pas. Si l'ensemble est linéairement séparable, pourquoi ne pas utiliser la méthode SVM habituelle ? En quoi le vôtre est-il meilleur ?

Si l'ensemble est linéairement séparable, alors le nombre d'hyperplans de séparation potentiels est infini. Dans un tel cas, nous devons trouver un critère pour identifier un hyperplan adéquat. Un tel critère a été formulé pour la méthode des vecteurs de référence dans le livre : Vapnik V. N., Chervonenkis A. Y. The theory of pattern recognition. Moscou : Nauka, 1974. Plus précisément, de nombreux critères différents sont examinés dans cet ouvrage.

Les deux SVM et VMR sont des méthodes vectorielles de référence.

  • Le SVM est une méthode permettant de reconstruire les dépendances à partir de données empiriques. Le critère est la distance maximale entre les hyperplans de référence, si l'espace est linéairement séparable. Voir Vapnik V. N. Dependence reconstruction from empirical data. Moscou : Nauka, 1979.
  • La VMR est une méthode d'identification des dépendances fortes et de suppression (réduction) des dépendances faibles. Le critère est le minimax de la distance entre les hyperplans de référence, indépendamment de la séparabilité linéaire. En d'autres termes, le VMR ne récupère pas les dépendances (il n'ajoute rien au modèle dont on sait qu'il est absent de l'échantillon d'apprentissage), sans parler du fait que certaines dépendances implicites ne sont pas intégrées au modèle (elles sont éliminées). Plus précisément, VMR réduit l'hyperespace en réduisant certaines des caractéristiques.

On peut discuter longtemps de la meilleure ou de la pire méthode. Cependant, on peut prendre et vérifier la généralisabilité et alors tout se mettra en place.

 
Yury Reshetov:

Si l'ensemble est linéairement séparable, alors le nombre d'hyperplans de séparation potentiels est infini. Dans ce cas, il est nécessaire de trouver un critère permettant d'identifier un hyperplan adéquat. Un tel critère a été formulé pour la méthode des vecteurs de référence dans le livre : Vapnik V. N., Chervonenkis A. Y. The theory of pattern recognition. Moscou : Nauka, 1974. Plus précisément, de nombreux critères différents sont examinés dans cet ouvrage.

Les deux SVM et VMR sont des méthodes vectorielles de référence.

  • Le SVM est une méthode permettant de reconstruire les dépendances à partir de données empiriques. Le critère est la distance maximale entre les hyperplans de référence si l'espace est linéairement séparable. Voir Vapnik V. N. Dependence reconstruction from empirical data. Moscou : Nauka, 1979.
  • La VMR est une méthode permettant d'identifier les dépendances fortes et de supprimer (réduire) les dépendances faibles. Le critère est le minimax de la distance entre les hyperplans de référence, indépendamment de la séparabilité linéaire. En d'autres termes, le VMR ne récupère pas les dépendances (il n'ajoute rien au modèle dont on sait qu'il est absent de l'échantillon d'apprentissage), sans parler du fait que certaines dépendances implicites ne sont pas intégrées au modèle (elles sont éliminées). Plus précisément, VMR réduit l'hyperespace en réduisant certaines des caractéristiques.

On peut discuter longtemps de la meilleure ou de la pire méthode. Cependant, il est possible de prendre et de vérifier la capacité de généralisation, et alors tout se tiendra sur les lieux.

Les problèmes doivent être résolus au fur et à mesure qu'ils se présentent, et mettre la charrue (le modèle) avant les bœufs (les prédicteurs) est un exercice absolument futile. D'autant plus pour comparer des chariots, alors que l'on ne sait pas ce qui y est attelé et si c'est le cas.

Avant d'appliquer tout type de modèle, il est nécessaire de débarrasser la liste des prédicteurs du bruit, en ne laissant que les prédicteurs qui sont "pertinents" pour la variable cible. Si cela n'est pas fait, on peut facilement se laisser aller à construire des modèles basés sur les anneaux de Saturne, le marc de café et d'autres prédicteurs qui ont été largement utilisés dans la pratique depuis plusieurs centaines d'années.

LeDr. Trader ci-dessus a essayé de faire le travail de suppression du bruit de son ensemble de prédicteurs.

Le résultat est négatif.

Je pense que la raison du résultat négatif est le petit nombre d'observations avec un très grand nombre de prédicteurs. Mais c'est la direction à creuser avant d'appliquer TOUT modèle.

 
Yury Reshetov:

Si l'ensemble est linéairement séparable, alors le nombre d'hyperplans de séparation potentiels est infini. Dans ce cas, il est nécessaire de trouver un critère permettant d'identifier un hyperplan adéquat. Un tel critère a été formulé pour la méthode des vecteurs de référence dans le livre : Vapnik V. N., Chervonenkis A. Y. The theory of pattern recognition. Moscou : Nauka, 1974. Plus précisément, de nombreux critères différents sont examinés dans cet ouvrage.

Les deux SVM et VMR sont des méthodes vectorielles de référence.

  • Le SVM est une méthode permettant de reconstruire les dépendances à partir de données empiriques. Le critère est la distance maximale entre les hyperplans de référence si l'espace est linéairement séparable. Voir Vapnik V. N. Dependence reconstruction from empirical data. Moscou : Nauka, 1979.
  • La VMR est une méthode permettant d'identifier les dépendances fortes et de supprimer (réduire) les dépendances faibles. Le critère est le minimax de la distance entre les hyperplans de référence, indépendamment de la séparabilité linéaire. En d'autres termes, le VMR ne récupère pas les dépendances (il n'ajoute rien au modèle dont on sait qu'il est absent de l'échantillon d'apprentissage), sans parler du fait que certaines dépendances implicites ne sont pas intégrées au modèle (elles sont éliminées). Plus précisément, VMR réduit l'hyperespace en réduisant certaines des caractéristiques.

On peut discuter longtemps de la meilleure ou de la pire méthode. Cependant, il est possible de prendre et de vérifier la capacité de généralisation, et alors tout se tiendra sur les lieux.

Yury, merci. Je vais y réfléchir.

Nous avons une question. Comment avez-vous sélectionné les prédicteurs ?
 



Malheureusement, je ne peux pas calculer Sharpe et autres dans R, car je dispose de 49 échantillons aléatoires qui, une fois superposés, ne reconstituent pas la séquence des transactions.


R a tout ce dont vous avez besoin. Voir fTrading::sharpeRatio.

Oh, et PerformanceAnalitics ne ferait pas de mal non plus.

Bonne chance