L'Apprentissage Automatique dans le trading : théorie, modèles, pratique et trading algo - page 1854

Nouveau commentaire
 
comment se fait-il qu'il n'y ait pas d'archives OI sur la bourse ? il semble qu'il y ait des services payants, peut-être qu'ils vendent des produits.
 
Maxim Dmitrievsky:
Comment se fait-il qu'il n'y ait pas d'archive OM sur la bourse ?
C'est pour cela qu'il n'y a pas d'archives. Il a longtemps été suggéré que les développeurs incluent dans le copieur des OM que l'on peut prendre dans l'histoire. Mais apparemment, il y a des restrictions. Comme option, je peux demander au gars qui m'a fait un conseiller. Il l'écrit tout le temps, mais pas pour tous les symboles. J'ai arrêté de l'écrire uniquement à cause de la mauvaise performance de l'indicateur :-(.
 

J'ai découvert une caractéristique étrange dans le comportement des différentes méthodes de détection des erreurs. Modèle de régression. Apprentissage avec l'enseignant y = 0 ou 1. Les données du Titanic.

   oob   RMSEr     AvgEr     AvgRelEr    Train  RMSEr     AvgEr     AvgRelEr

        0.409762  0.333394  0.431368          0.406325  0.330199  0.430042
        0.384805  0.293965  0.377680          0.380747  0.289936  0.377605
        0.383891  0.286546  0.356373          0.370912  0.275152  0.358349
        0.370671  0.261466  0.321370          0.353781  0.250322  0.326013
        0.380332  0.259588  0.299060          0.337633  0.227993  0.296931
        0.388428  0.248587  0.245976          0.309293  0.191325  0.249176
        0.401764  0.237416  0.195562          0.273932  0.150077  0.195456

Pour Train tout est comme il se doit, plus on enseigne fort, moins il y a d'erreurs pour toutes les méthodes.

Sur l'OOV , l'erreur RMSE atteint 0,370671 puis commence à augmenter, ce qui indique que le surentraînement a commencé. Mais l'AvgEr et l'AvgRelEr continuent de baisser. Il me semblait que toutes les erreurs devraient se comporter de manière synchrone, c'est-à-dire qu'elles auraient dû commencer à augmenter en même temps que la RMSE.
Formules de calcul :

for (r=0;r<rows;r++){
  RMSEr += Sqr (pred[r] - y[r]);
  AvgEr += fabs(pred[r] - y[r]);
}
//После суммирования:
RMSEr= sqrt(RMSEr / rows);
AvgEr = AvgEr / rows;

Les calculs sont très similaires ( l'élévation au carré (Sqr) et le module de valeur (fabs) suppriment le signe ), mais le comportement des courbes est différent...
L'entraînement répété avec le modèle de classification, il a également un minimum au point où RMSE atteint 0.370671.
Quelqu'un a-t-il rencontré un tel comportement des erreurs ? Comment l'expliquer ?

 
elibrarius:

J'ai découvert une caractéristique étrange dans le comportement des différentes méthodes de détection des erreurs. Modèle de régression. Apprentissage avec l'enseignant y = 0 ou 1. Les données du Titanic.

Pour Train tout est comme il se doit, plus on enseigne fort, moins il y a d'erreurs pour toutes les méthodes.

Sur l'OOV , l'erreur RMSE atteint 0,370671 et commence à augmenter, ce qui indique que le surentraînement a commencé. Mais l'AvgEr et l'AvgRelEr continuent de baisser. Il me semblait que toutes les erreurs devraient se comporter de manière synchrone, c'est-à-dire qu'elles auraient dû commencer à augmenter en même temps que la RMSE.
Formules de calcul :

Les calculs sont très similaires ( l'élévation au carré (Sqr) et le module de valeur (fabs) suppriment le signe ), mais le comportement des courbes est différent...
L'entraînement répété avec le modèle de classification, il a également un minimum au point où RMSE atteint 0.370671.
Quelqu'un a-t-il rencontré un tel comportement des erreurs ? Comment l'expliquer ?

Et il s'agit en fait d'un sujet lorsque l'erreur est d'abord réduite lors de l'optimisation et commence donc à croître. D'un point de vue purement théorique, si nous supposons que le surentraînement commence lorsque l'erreur commence à augmenter, nous devrions essentiellement arrêter l'entraînement au moment où l'erreur commence à augmenter ou juste avant. Il s'agit de la méthode de détection elle-même. Les méthodes d'évaluation qui la mettront en œuvre sont une autre question, mais le fait que l'erreur commence à croître comme signe du début du recyclage est génial. sans aucun sarcasme :-) Maintenant, je vais penser à ce qui va rendre cela possible...
 
Mihail Marchukajtes:
Et il s'agit en fait d'un sujet où, pendant l'optimisation, l'erreur diminue au début et commence ensuite à augmenter. D'un point de vue purement théorique, si nous supposons qu' au début de la croissance des erreurs, le surentraînement commence, alors en fait nous devrions arrêter l'entraînement au début de la croissance des erreurs ou juste avant. Il s'agit de la méthode de détection elle-même. Les méthodes d'évaluation qui la mettront en œuvre sont une autre question, mais le fait que l'erreur commence à croître comme signe du début du recyclage est génial. sans aucun sarcasme :-) Maintenant, je vais penser à ce qui va rendre cela possible...

Il s'agit d'une méthode connue depuis longtemps pour déterminer le surentraînement, je pense à environ 50 ans, c'est-à-dire depuis le tout début des réseaux et des arbres neuronaux. Voir les articles de V. Perervenko, par exemple.
Dans cette situation, je ne comprends pas bien les différents comportements d'erreur. Par RMSE, nous pouvons déterminer le début du recyclage, par d'autres non.

 
elibrarius:

Il s'agit d'une méthode connue depuis longtemps pour déterminer le surentraînement, depuis environ 50 ans, je pense, c'est-à-dire depuis le tout début des réseaux et des arbres neuronaux. Voir par exemple les articles de V. Perervenko.
Dans cette situation, je ne comprends pas bien les différents comportements des erreurs. Le RMSE permet de déterminer le début du recyclage, d'autres non.

Ouais ??? J'en suis friand :-)
 
elibrarius:

J'ai découvert une caractéristique étrange dans le comportement des différentes méthodes de détection des erreurs. Modèle de régression. Apprentissage avec l'enseignant y = 0 ou 1. Les données du Titanic.

Pour Train tout est comme il se doit, plus on enseigne fort, moins il y a d'erreurs pour toutes les méthodes.

Sur l'OOV , l'erreur RMSE atteint 0,370671 et commence à augmenter, ce qui indique que le surentraînement a commencé. Mais l'AvgEr et l'AvgRelEr continuent de baisser. Il me semblait que toutes les erreurs devraient se comporter de manière synchrone, c'est-à-dire qu'elles auraient dû commencer à augmenter en même temps que la RMSE.
Formules de calcul :

Les calculs sont très similaires ( l'élévation au carré (Sqr) et le module de valeur (fabs) suppriment le signe ), mais le comportement des courbes est différent...
L'entraînement répété avec le modèle de classification, il a également un minimum au point où RMSE atteint 0.370671.
Quelqu'un a-t-il rencontré un tel comportement des erreurs ? Comment l'expliquer ?

C'est comme la SMA et l'EMA, l'AvrEr est plus en retard - je le prends - un jeu de chiffres.

 
Quelqu'un s'est-il occupé de Keras, comment préparer les données pour LSTM ?
 
Mihail Marchukajtes:
C'est ça le problème : il n'y a pas d'archives. Nous avons longtemps suggéré aux développeurs d'inclure l'OM dans le cahier d'exercices afin qu'il puisse être retiré de l'histoire. Mais il semble qu'il y ait certaines restrictions. En option, je peux demander au gars qui l'a fait pour moi. Il l'écrit tout le temps, mais pas pour tous les symboles. J'ai arrêté de l'écrire uniquement à cause de la mauvaise performance de l'indicateur :-(.

Misha, j'ai enregistré une vidéo pour toi.

 
Maxim Dmitrievsky:

Misha, je t'ai fait une vidéo, je vais la mettre en ligne bientôt.

Allez-y. Voyons voir quel genre de bête :-)
1...184718481849185018511852185318541855185618571858185918601861...3399
Nouveau commentaire