Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 451

 
Alexander Ivanov:
¿Reshetov se presentó a Dios?

Se rumorea que yo mismo no estuve presente en el funeral.

 

No está relacionado con el comercio, sólo es un experimento interesante.


El enfoque de componentes principales (PCA) puede utilizarse para suprimir el ruido en los datos, por lo que quería ver cómo funcionaría para limpiar las imágenes ruidosas.

Tomé la imagen http://sites.psu.edu/siowfa15/wp-content/uploads/sites/29639/2015/10/Fall-beautiful-nature-22666764-900-562.jpg y le añadí ruido.

Esta imagen puede representarse como una matriz. La altura de la matriz es igual a la altura de la imagen, y el ancho de la matriz = ancho de la imagen x3 (como 3 canales de color rojo, azul, verde).
Y luego puedes utilizar herramientas comunes de R para encontrar los componentes principales, conservar sólo los principales y utilizarlos para intentar reconstruir la imagen original. La información sobre el ruido se almacenará en componentes menos importantes, y al descartarlos descartaremos el ruido.

Esto es lo que ocurrió

Aunque la calidad de la imagen se ha resentido, ya no hay grano. Y para algunos algoritmos de reconocimiento de objetos la segunda imagen podría ser más adecuada.

Archivos adjuntos:
 

Un filtro menos grueso. Los valores de los filtros se pueden cambiar en el script(SIZE_REDUCTION)


 
Dr. Trader:

Un filtro menos grueso. Los valores de los filtros se pueden cambiar en el script(SIZE_REDUCTION)


Sustituir un ruido por otro :D

Estas imágenes granuladas, por cierto, son muy fáciles de engañar por NS de visión comp. Vi un artículo en alguna parte sobre las señales de tráfico ruidosas que confunden a la NS que reconoce las señales :)

Eres bueno en la R, ¿qué te impide probar las parcelas de Recurrencia https://en.wikipedia.org/wiki/Recurrence_plot

digamos, convertir los gráficos en gráficos de recurrencia y enseñar el NS convolucional a estas imágenes, luego después de aprender alimentar un fragmento del gráfico en la forma convertida, obtener la imagen resultante (predicción) y luego hacer la conversión inversa a la forma normal

Intuitivamente, los gráficos de recurrencia serán reconocidos por la visión por ordenador mucho más fácilmente que las series temporales, sin pérdida de características significativas.

Pero hay que comprobarlo.

 
Dr. Trader:

Aunque la calidad de la imagen se ha resentido, ya no hay grano. Y para algunos algoritmos de reconocimiento de objetos, la segunda imagen puede ser más adecuada.

En mi opinión, la imagen muestra un exceso de optimización: la pérdida de datos para tomar la decisión correcta.
 
Maxim Dmitrievsky:

Eres bueno en la R, ¿qué te impide probar las parcelas de Recurrencia https://en.wikipedia.org/wiki/Recurrence_plot

digamos, convertir gráficos en gráficos de recurrencia y enseñar NS convolucional a estas imágenes, entonces después del entrenamiento dar un trozo de gráfico en la forma convertida, obtener la imagen resultante (previsión) y luego hacer la transformación inversa a la forma normal

Intuitivamente, los gráficos de recurrencia serán reconocidos por la visión por ordenador mucho más fácilmente que las series temporales, sin pérdida de características significativas.

Pero tengo que comprobarlo.

No he probado Recurrence plot pero su descripción es muy similar a la de Arima, este modelo también busca dependencias de recurrencia.

También se puede dibujar la gráfica de autocorrelación con las funciones acf() y pacf(), será algo similar a la gráfica de Recurrencia, pero la gráfica tendrá un vector en lugar del plano.

 
Dr. Trader:

No he probado Recurrence plot, pero la descripción es muy similar a la de Arima, este modelo también busca dependencias de recurrencia.

También se puede dibujar la gráfica de autocorrelación utilizando las funciones acf() y pacf() que será algo similar a la gráfica de Recurrencia pero la gráfica contendrá un vector en lugar de un plano.


Bueno, la principal ventaja aquí es que todo el espacio está siempre lleno de una trama, no como una trama regular de arriba a abajo o de abajo a arriba allí. Será más fácil de identificar para la máquina, y las peculiaridades de los patrones dirán sobre ciertas regularidades del patrón particular
 
Maxim Dmitrievsky:

Intuitivamente, los gráficos de recurrencia serán reconocidos por la visión del ordenador mucho más fácilmente que las series temporales, sin pérdida de atributos significativos.

Pero es necesario comprobarlo.

Yo lo probé y creo que incluso escribí sobre ello, el resultado es el mismo que con BP.



El problema es que el mercado genera constantemente diferentes BPs, aquellas cosas que fueron en el pasado nunca se repetirán en el futuro si se mira el mercado a través de BPs o a través de cualquier transformación de BPs, así que trabajar con tales características es inútil para los IRs y para los humanos también por cierto...

 
Dr. Trader:

No tiene nada que ver con el comercio, sólo es un experimento interesante.

Gracias. Este método también puede utilizarse para limpiar sonidos de ruido, por ejemplo, grabaciones antiguas o dañadas, eliminando sus componentes de ruido... Pero todas estas tareas de análisis espectral pueden realizarse no sólo con PCA, sino también con Fourier o wavelets
 
Dr. Trader: El enfoque de componentes principales (PCA) puede utilizarse para suprimir el ruido en los datos, quería ver cómo funcionaría para limpiar las imágenes ruidosas....

Dejando de lado la existencia de un gran número de filtros para tareas similares,
en Photoshop, etc., pruebe otros algoritmos de reducción de la muestra -
ICA, NMF, SVD, etc.
Pero como usted está interesado en el enfoque autodinámico con elementos de DM, puede utilizar la agrupación, por ejemplo.
K-Means, EM-c, DBSCAN, t-SNE, etc.
1. Intenta captar el ruido.
2. Si tienes suerte, entonces quítalo.
3. Sustituir los vacíos por el vecino más cercano, etc.
Luego le damos fotos con diferentes ruidos y vemos cómo se ven.
Si no puedes hacerlo, deja que una chica con lápices lo retoque))