L'apprentissage automatique dans la négociation : théorie, modèles, pratique et algo-trading - page 451

 
Alexander Ivanov:
Reshetov s'est-il présenté à Dieu ?

La rumeur dit que je n'étais pas présent aux funérailles moi-même.

 

Ce n'est pas lié au commerce, c'est juste une expérience intéressante.


L'approche en composantes principales (ACP) peut être utilisée pour supprimer le bruit dans les données, je voulais voir comment elle fonctionnerait pour nettoyer des images bruyantes.

J'ai pris l'image http://sites.psu.edu/siowfa15/wp-content/uploads/sites/29639/2015/10/Fall-beautiful-nature-22666764-900-562.jpg, j'y ai ajouté du bruit.

Cette image peut être représentée sous forme de matrice. La hauteur de la matrice est égale à la hauteur de l'image, et la largeur de la matrice = largeur de l'image x3 (comme 3 canaux de couleur rouge, bleu, vert).
Vous pouvez ensuite utiliser des outils R courants pour trouver les principaux composants, ne conserver que les principaux, et les utiliser pour essayer de reconstruire l'image originale. Les informations relatives au bruit seront stockées dans des composants moins importants, et en les éliminant, nous éliminerons le bruit.

Voici ce qui s'est passé

Bien que la qualité de l'image ait souffert, il n'y a plus de grain. Et pour certains algorithmes de reconnaissance d'objets, la seconde image pourrait être plus appropriée.

Dossiers :
 

Un filtre moins grossier. Les valeurs des filtres peuvent être modifiées dans le script(SIZE_REDUCTION)


 
Dr. Trader:

Un filtre moins grossier. Les valeurs des filtres peuvent être modifiées dans le script(SIZE_REDUCTION)


Remplacer un bruit par un autre :D

De telles images granuleuses, d'ailleurs, sont très facilement trompées par les NS de la vision comp. J'ai vu un article quelque part sur les panneaux routiers bruyants qui déroutent le NS qui reconnaît les panneaux :)

Vous êtes bon en R, qu'est-ce qui vous empêche d'essayer les parcelles de Récurrence https://en.wikipedia.org/wiki/Recurrence_plot

disons qu'il faut convertir les graphiques en diagrammes de récurrence et enseigner le NS convolutionnel à ces images, puis après l'apprentissage, introduire un morceau du graphique dans la forme convertie, obtenir l'image résultante (prédiction) et ensuite faire la conversion inverse à la forme normale.

Intuitivement, les graphiques de récurrence seront reconnus par la vision par ordinateur beaucoup plus facilement que les séries temporelles, sans perte de caractéristiques significatives.

Mais elle doit être vérifiée.

 
Dr. Trader:

Bien que la qualité de l'image ait souffert, il n'y a plus de grain. Et pour certains algorithmes de reconnaissance d'objets, la seconde image peut très bien être plus adaptée.

À mon avis, l'image montre une sur-optimisation - la perte de données pour prendre la bonne décision.
 
Maxim Dmitrievsky:

Vous êtes bon en R, qu'est-ce qui vous empêche d'essayer les parcelles de Récurrence https://en.wikipedia.org/wiki/Recurrence_plot

disons, convertir les graphiques en tracés de récurrence et enseigner le NS convolutionnel à ces images, puis après la formation donner un morceau de graphique dans la forme convertie, obtenir l'image résultante (prévision) et ensuite faire la transformation inverse à la forme normale.

Intuitivement, les graphiques de récurrence seront reconnus par la vision par ordinateur beaucoup plus facilement que les séries temporelles, sans perte de caractéristiques significatives.

Mais je dois vérifier.

Je n'ai pas essayé Recurrence plot mais sa description est très similaire à celle d'Arima, il recherche également les dépendances de récurrence.

Vous pouvez également dessiner le graphique d'autocorrélation avec les fonctions acf() et pacf(), il sera un peu similaire au graphique de récurrence, mais le graphique aura un vecteur au lieu du plan.

 
Dr. Trader:

Je n'ai pas essayé le Recurrence plot, mais la description est très similaire à celle d'Arima, ce modèle recherche également les dépendances de récurrence.

Vous pouvez également dessiner le graphique d'autocorrélation en utilisant les fonctions acf() et pacf() qui seront quelque peu similaires au graphique de récurrence mais le graphique contiendra un vecteur au lieu d'un plan.


L'avantage principal est que l'espace entier est toujours rempli d'une intrigue, et non pas comme une intrigue normale descendante ou ascendante. Il sera plus facile à identifier pour la machine, et les particularités des motifs révéleront certaines régularités du motif en question.
 
Maxim Dmitrievsky:

Intuitivement, les graphiques de récurrence seront reconnus par la vision par ordinateur beaucoup plus facilement que les séries temporelles, sans perte d'attributs significatifs.

Mais il est nécessaire de vérifier.

Je l'ai essayé et je crois que j'ai même écrit à ce sujet, le résultat est le même qu'avec BP.



Le problème est que le marché génère constamment des BP différentes, ces choses qui étaient dans le passé ne se répéteront jamais dans le futur si vous regardez le marché à travers les BP ou à travers n'importe quelle transformation de BP, donc travailler avec de telles caractéristiques est inutile pour les IR et pour les humains aussi d'ailleurs....

 
Dr. Trader:

Cela n'a rien à voir avec le commerce, c'est juste une expérience intéressante.

Merci ! Avec cette méthode, vous pouvez également nettoyer des sons du bruit, par exemple des enregistrements anciens ou endommagés, en supprimant leurs composantes de bruit... Mais toutes ces tâches d'analyse spectrale peuvent être effectuées non seulement avec l'ACP, mais aussi avec des ondelettes de Fourier ou des ondelettes.
 
Dr. Trader: L'approche en composantes principales (ACP) peut être utilisée pour supprimer le bruit dans les données, je voulais voir comment elle fonctionnerait pour nettoyer des images bruyantes.....

Sans compter l'existence d'un grand nombre de filtres pour des tâches similaires,
dans Photoshop, etc., essayez d'autres algorithmes de sous-échantillonnage -
ICA, NMF, SVD, etc.
Mais puisque vous vous intéressez à l'approche autodynamique avec des éléments de DM, vous pouvez utiliser le clustering, par exemple.
K-Means, EM-c, DBSCAN, t-SNE, etc.
1. Essayez d'attraper le bruit.
2. Si vous avez de la chance, vous pouvez l'enlever.
3. Remplacer les vides par le voisin le plus proche, etc.
Ensuite, nous lui donnons des images avec des bruits différents et nous voyons comment elles se présentent.
Si vous ne pouvez pas le faire, laissez une fille avec des crayons le retoucher)))