L'apprentissage automatique dans la négociation : théorie, modèles, pratique et algo-trading - page 2015

 
Maxim Dmitrievsky:

toutes les puces entrent et sortent, il y a moins de neurones dans la couche cachée. Il compresse simplement l'information en minimisant l'erreur en sortie. Les entrées doivent être égales aux sorties (dans l'idéal). Ensuite, la deuxième partie de NS est rejetée après la formation et vous obtenez des caractéristiques comprimées à la sortie égales au nombre de neurones dans la couche cachée.

vous pouvez ajouter des couches récurrentes, etc.

google Autoencoder. et ses variantes.

Oui, j'ai tout compris, merci, mais je ne comprends pas comment on peut entraîner un réseau à donner plusieurs réponses à la fois à une seule ligne d'échantillon. Ce n'est pas clair comment le faire avec les arbres...

 
Aleksey Vyazmikin:

Oui, je comprends tout cela, merci, mais je ne comprends pas comment former le réseau pour qu'il donne plusieurs réponses à une seule chaîne d'échantillons à la fois. Quelle est la métrique ici, avec des arbres, on ne voit pas bien comment cela pourrait être fait...

Je ne suis pas du tout un expert, mais tout d'abord - la décomposition, lorsqu'un événement génère plusieurs causes possibles. Après cela - la recomposition, lorsque toutes ces causes possibles sont analysées afin de déterminer les influences possibles sur ces causes. Le résultat est un petit nombre de paramètres qui peuvent être influencés lors du contrôle d'un événement.

 
Aleksey Vyazmikin:

Oui, je comprends tout cela, merci, mais je ne comprends pas comment former le réseau pour qu'il donne plusieurs réponses à une seule chaîne d'échantillons à la fois. C'est quoi la métrique là, avec des arbres on ne voit pas bien comment on pourrait faire une telle chose....

Cela n'a pas beaucoup de sens d'utiliser d'abord un autoencodeur ou simplement un NS profond. Vous en avez besoin lorsque vous avez beaucoup de tâches identiques. Par exemple, pour compresser des images, etc. et les utiliser ensuite dans d'autres applications.

 
Alexei Tarabanov:

Je ne suis pas du tout un expert, mais il y a d'abord la décomposition, où un événement donne lieu à une multitude de causes possibles. Ensuite, il y a la recomposition, où toutes ces causes possibles sont analysées afin de déterminer les influences possibles sur les causes. Le résultat est un petit nombre de paramètres qui peuvent être contrôlés par l'événement.

Pas exactement - ici, en réfractant les données dans un neurone par le biais de poids dans des fonctions, les valeurs sont regroupées en une seule fonction (un peu comme la mise au point de l'image). Et ensuite, connaissant ces poids, il est à nouveau décomposé en composants, comme un prisme décompose un arc-en-ciel ou quelque chose comme ça. Je comprends le processus, mais je ne comprends pas comment le faire à travers les arbres.

 
Maxim Dmitrievsky:

Cela n'a pas beaucoup de sens d'utiliser d'abord un auto-encodeur ou simplement un NS profond. Vous en avez besoin lorsque vous avez beaucoup de tâches identiques. Par exemple, pour compresser des images, etc. et les utiliser ensuite comme éléments intégrés dans d'autres applications.

Peut-être serait-il judicieux de former exactement ces neurones "goulots d'étranglement" sur des arbres. C'est-à-dire un nombre réduit de prédicteurs.

 
Aleksey Vyazmikin:

Pas exactement - là, en réfractant les données dans le neurone par des poids dans les fonctions, les valeurs sont réduites à une seule fonction. Et ensuite, connaissant ces poids, décomposer à nouveau en composants, comme un prisme décompose un arc-en-ciel. Je comprends le processus, mais je ne comprends pas comment le faire à travers les arbres.

Non. Essaie d'abord la décomposition et tu comprendras.

Simplement, la décomposition suit un principe et la connexion en suit un autre. Analyse et synthèse. Les neurones fonctionnent de la même manière ici et là, mais dans le premier cas, l'événement est mis de côté, et dans le second, il est rassemblé autour des facteurs affectant l'événement.

 
Aleksey Vyazmikin:

Il peut être judicieux de former ces neurones "goulots d'étranglement" particuliers sur des arbres. C'est-à-dire un nombre réduit de prédicteurs.

n'a aucun sens

La compression est la compression. Si le modèle est déjà mauvais, il ne fera rien. Et la régularisation a à peu près la même fonction f.

 
Il y a une perte lors de la compression des données d'entrée. Si la compression est jugée par la capacité à récupérer les mêmes données d'entrée, alors nous perdons uniformément des informations, y compris celles qui permettraient de bien prédire la cible.
Si l'on compresse uniquement pour obtenir la fonction cible, c'est la meilleure option.
Je pense que l'apprentissage normal fait exactement cela.
Je conclus que la compression en entrée seule dégrade la qualité de l'apprentissage ultérieur de la cible sur les données compressées.
Mais vous feriez mieux de réaliser une expérience au lieu de tirer des conclusions de la théorie.

Bien que vous puissiez comprendre pourquoi Alexey cherche un moyen de réduire la dimensionnalité - il utilise l'échafaudage et le boosting. Dans un arbre, la plupart des 3000 entrées peuvent ne jamais être utilisées du tout. Les forêts et le boosting sont plus performants, mais je crains que cela ne soit pas d'une grande utilité.
 
Maxim Dmitrievsky:

il n'y a aucun intérêt

La compression est la compression. Si le modèle est déjà mauvais, il ne fera rien. Et la régularisation fait plus ou moins la même chose.

elibrarius:
Il y a des pertes lors de la compression des données d'entrée. Si la compression est évaluée par la capacité à récupérer les mêmes données d'entrée, alors nous perdons uniformément des informations, y compris celles qui permettraient de bien prédire la cible.
Si l'on compresse uniquement pour obtenir la fonction cible, c'est la meilleure option.
Je pense que l'apprentissage normal fait exactement cela.
Je conclus que la compression en entrée seule dégrade la qualité de l'apprentissage ultérieur de la cible sur les données compressées.
Mais vous feriez mieux de réaliser une expérience au lieu de tirer des conclusions de la théorie.

Bien que vous puissiez comprendre pourquoi Alexey cherche un moyen de réduire la dimensionnalité - il utilise l'échafaudage et le boosting. Dans un arbre, la plupart des 3000 entrées peuvent ne jamais être utilisées du tout. La forêt et le boosting sont meilleurs pour ça, mais j'ai peur que ça ne soit pas très utile.

Il existe un certain nombre de raisons pour lesquelles cela pourrait être utile :

1. Des prédicteurs interdépendants peuvent être identifiés :

1.1. construire un modèle distinct avec eux et évaluer leur pouvoir prédictif

1.2. excluez-les de l'échantillon et évaluez leur impact sur le résultat. S'ils améliorent le résultat, envisagez de créer des prédicteurs similaires.

2. utiliser un seul prédicteur au lieu d'un groupe de prédicteurs :

1. cela égalise les chances de le prendre au hasard lors de la construction du modèle.

2. Réduire le temps de formation en réduisant la dimensionnalité

Oui, j'aimerais tester cela, mais je ne connais pas l'outil permettant de créer un tel modèle à partir de la boîte.


Au fait, j'ai eu une idée : pourquoi ne pas utiliser des fonctions brisées (comme avec la quantification - au lieu de la ligne d'escalier) dans la formation, cela permettrait d'avoir un écart dans la précision des données et de réduire le réentraînement.

 
Aleksey Vyazmikin:

J'ai une idée : pourquoi ne pas utiliser des fonctions brisées (pour ainsi dire avec quantification - au lieu d'une ligne d'étape) dans la formation, cela permettrait d'avoir un retour sur la précision des données et de réduire le surentraînement.

Parce qu'il ne peut pas être entraîné, le solveur resterait bloqué dans des minima locaux. Pour ce qui est des idées, vous ne pouvez rien en tirer car c'est une boîte noire.