Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 2253

 
Vladimir Perervenko:

Digamos (no todo el código de Python tiene sentido para mí). ¿Dónde está la formación de esta BAE?

¿Está en pyTorch?

todo en la antorcha

el codificador funciona, sólo que los resultados son peores

en resumen, el modelo de distancia de Kullback-Leibner es muy difícil de aprender, es un problema descrito con los codificadores de variaciones

de hecho, el algoritmo "converge" después de 2-3 épocas y no pasa nada más

Uno de los principales inconvenientes de los autocodificadores variacionales es que la integral del término de divergencia KL no tiene una solución analítica de forma cerrada, excepto para un puñado de distribuciones. Además, no es sencillo utilizar distribuciones discretas para el código latentez z . Esto se debe a que la retropropagación a través de variables discretas no suele ser posible, lo que dificulta el entrenamiento eficiente del modelo. Un enfoque para hacer esto en el entorno de la VAE se introdujoaquí
.
Discrete Variational Autoencoders
  • arxiv.org
Download PDF Probabilistic models with discrete latent variables naturally capture datasets composed of discrete classes. However, they are difficult to train efficiently, since backpropagation through discrete variables is generally not possible. We present a novel method to train a class of probabilistic models with discrete latent variables...
 
mytarmailS:

¿tiene usted acceso a los pesos de la red y a la posibilidad de modificarlos?

Claro, pero no es necesario.

 
Maxim Dmitrievsky:

todo en la antorcha.

el codificador funciona, sólo que los resultados son peores.

en resumen, el modelo de distancia de Kullback-Leibner es muy difícil de aprender, este es un problema descrito de los codificadores de variaciones

de hecho, el algoritmo "converge" después de 2-3 épocas y no pasa nada más

Uno de los principales inconvenientes de los autocodificadores variacionales es que la integral del término de divergencia KL no tiene una solución analítica de forma cerrada, excepto para un puñado de distribuciones. Además, no es sencillo utilizar distribuciones discretas para el código latentez z . Esto se debe a que la retropropagación a través de variables discretas no suele ser posible, lo que dificulta el entrenamiento eficiente del modelo. Un enfoque para hacer esto en el entorno de la VAE se introdujoaquí
.

El artículo habla de otra cosa. Se trata del caso en el que todos los predictores son discretos [0, 1]. Entonces hay un problema. La red neuronal no entiende de predictores con variación cero.

Su caso, según tengo entendido, es ligeramente diferente. Ha combinado los predictores (continuos) y el objetivo (matriz discreta ncol=3) en la entrada. Se trata de obtener una distribución cualitativa de latentes a partir de la cual se generan (restauran) las de entrada incluyendo la de destino prácticamente sin entrenamiento. ¿He entendido bien? No tendrá éxito cualitativamente. El artículo muestra el camino de la solución. Convertir el objetivo discreto en continuo mediante RBM, conectar con otros predictores y además con VAE (¡entrenamiento!). Y luego recuperar los ejemplos de la VAE entrenada y restaurar el objetivo de nuevo con RBM. Es bastante complicado. Pero puede funcionar.

Lo probaré con un AE normal.

Buena suerte

 
Vladimir Perervenko:

El artículo trata de un asunto ligeramente diferente. Se trata del caso en el que todos los predictores son discretos [0, 1]. Entonces hay un problema. La red neuronal no entiende de predictores con variación cero.

Su caso, según tengo entendido, es ligeramente diferente. Ha combinado los predictores (continuos) y el objetivo (matriz discreta ncol=3) en la entrada. Se trata de obtener una distribución cualitativa de latentes a partir de la cual se generan (restauran) las de entrada incluyendo la de destino. ¿He entendido bien? No tendrá éxito cualitativamente. El artículo muestra el camino de la solución. Convertir el objetivo discreto en continuo mediante RBM, conectar con otros predictores y además con VAE (¡entrenamiento!). Y luego recuperar los ejemplos de la VAE entrenada y restaurar el objetivo de nuevo con RBM. Es bastante complicado. Pero puede funcionar.

Lo probaré con un AE normal.

Buena suerte

Tengo CVAE. En las etiquetas de clase del codificador y el decodificador (1,0), entre otras cosas. Pero he comparado la VAE y la CVAE, los resultados no son muy diferentes (igualmente mediocres)

Los objetivos no se reconstruyen, sino que se fijan al generar las características. Es decir, para qué objetivo generar las características. En los ejemplos de generación de imágenes esto es lo que se hace, sólo que hay más objetivos, por lo que se hacen van-calientes

Estaba mirando las tablas comparativas de VAE y GAN. Este último es mucho mejor para generar, estoy pensando en escupir a los codificadores. No me gusta tanto reinventar la rueda.

Podría tener sentido convertirlo en continuo, sí... pero no es una certeza.

Hay una pequeña posibilidad de que esté haciendo algo mal ... pero han practicado en gatitos antes )

Z.U. incluso en el ejemplo con los números, sólo aprende 10 épocas y luego el error deja de caer

 
¿Alguien ha probado el método vectorial correspondiente?
 

Los autocodificadores son más adecuados para comprimir datos a dimensiones más bajas o para generar vectores semánticos a partir de ellos. Donde los GAN son más adecuados para generar datos

https://medium.com/lis-computer-vision-blogs/gans-cgans-ae-aae-ave-caae-cave-2e7d23255b52

Creo que los resultados son borrosos debido a la compresión de datos. Aunque se aumente el número de neuronas, seguirá habiendo cierta compresión, un cambio hacia una distribución diferente. Los nuevos datos siempre se verán emborronados, suavizados, etc. Y no quiero una mancha, quiero muestras plausibles.

Se puede obtener exactamente el mismo aspecto escarchado comprimiendo las muestras en PCA, convirtiéndolas después en GMM y descomprimiéndolas después desde PCA. Yo lo he hecho y también me ha salido muy borroso.

Coder es PCA + GMM en una botella, si se hace la analogía

GANs, cGANs, AE, AAE, AVE, CAAE, CAVE
GANs, cGANs, AE, AAE, AVE, CAAE, CAVE
  • Li Yin
  • medium.com
The difference between each other. The purpose of this article is to see the difference of concepts between GANs, conditional GANs, Autoencoder (AE), adversarial autoencoder (AAE), and conditional adversarial autoencoder (CAAE). Unconditional GAN The generator ( G ) and discriminator ( D ) are both feedforward neural networks which play a...
 
Aleksey Vyazmikin:
¿Alguien ha probado el método vectorial correspondiente?

serás el primero

Maxim Dmitrievsky:

Se puede obtener exactamente el mismo aspecto difuso comprimiendo los atributos de PCA, convirtiéndolos después en GMM y descomprimiéndolos después desde PCA. Yo lo he hecho y tengo el mismo lío.

El codificador es PCA + GMM en un solo paquete, si se hace la analogía.

Por lo tanto, deja todos los componentes de PCA y no tendrás manchas, obtendrás una imagen nítida.

 
mytarmailS:

Serás el primero.

Así que deja todos los componentes del PCA y no tendrás una mancha, tendrás una imagen clara.

No lo hará, la conversión inversa añade mucho ruido

o tal vez no... pero parece que sí
 
Maxim Dmitrievsky:

no lo hará, la conversión inversa del nagenerado añade mucho ruido

No lo entiendo, ¿el gmm añade ruido o qué?

 
mytarmailS:

No entiendo, ¿el gmm ya se suma al ruido? ¿o qué?

No pensé mucho en ello, sólo una suposición basada en un poco de hurgar.

gmm le dará características que no ha visto antes. Pero similares a los que has visto. En una transformación inversa podría tener algún efecto, supongo. Añade algo de ruido.

Es una suposición.