Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 2827

 
cuando entrenas neuronas, ¿qué seguridad tienes de que no está atascada en algún lugar local?
 
Andrey Dik #:
cuando entrenas neuronas, ¿qué seguridad tienes de que no está atascada en algún lugar local?

En neuronas, dividir en lotes ayuda a evitar

en otros algoritmos de optimización, también es útil ejecutar o dividir en lotes varias veces, por ejemplo

además de ajustar el paso de gradiente y otros trucos.

Usted todavía debe explorar la vecindad del óptimo a continuación, mediante el cambio de hiperparámetros para ver cómo sobreviven el sistema es.
 
Algoritmo de optimización para dividir en lotes????? )
 
Maxim Dmitrievsky #:

en neurónica, la división en lotes ayuda a evitar

en otros algoritmos de optimización, también es útil ejecutar o dividir en lotes varias veces, por ejemplo

además de ajustar el paso de gradiente y otros trucos.

todavía es necesario explorar la vecindad del óptimo a continuación, a través del cambio de hiperparámetros para ver cómo sobreviven el sistema es.

Me da vergüenza preguntar, ¿qué son los lotes?

No, quiero decir, ¿cómo puedes estar seguro de que la neurona no se atasca en algún sitio? ¿Se comprueba su resistencia a las interferencias?

 
Andrey Dik #:

Me da vergüenza preguntar, ¿qué son los lotes?

No, quiero decir, ¿cómo puedes estar seguro de que la neurona no se atasca en algún sitio? ¿Se comprueba su resistencia a atascarse?

Se prueba con nuevos datos, a través de una parada temprana, por ejemplo.

cuando el error cae en los datos de entrenamiento y comienza a crecer en los nuevos datos. Mientras no empiece a crecer con los nuevos datos, significa que aún no se ha atascado.

Los lotes son paquetes de datos para el entrenamiento: no es necesario entrenar todo el conjunto de datos a la vez, puedes dividir los datos en paquetes y entrenarlos en cada iteración.

Como los óptimos de cada paquete variarán, la media será algo menos que óptima para todos ellos.

En principio, es difícil juzgar cuál es el óptimo. Y si la muestra está desplazada, ¿qué hacer? ¿Cómo encontrar este óptimo global en una submuestra desplazada?

Bueno, si la pregunta se refiere en principio a algoritmos de optimización, tienes razón. Pero entonces empiezas a desplazar muestras, lo que crea más problemas que esta pregunta.

si pasas un poco de la teoría a la práctica :)

 
Maxim Dmitrievsky #:

se comprueba con nuevos datos, por ejemplo, mediante una parada anticipada.

cuando el error disminuye en los datos de entrenamiento y empieza a crecer en los nuevos datos. Mientras no empiece a crecer con los nuevos datos, significa que aún no estamos atascados.

los lotes son paquetes de datos para el entrenamiento: no es necesario entrenar todo el conjunto de datos a la vez, se pueden dividir los datos en paquetes y entrenarlos en cada iteración.

como los óptimos en cada paquete variarán, la media será algo menos que óptima para todos ellos.

En principio, es difícil juzgar cuál es el óptimo. Y si la muestra está desplazada, ¿qué hacer? ¿Cómo encontrar este óptimo global en una submuestra desplazada?

Bueno, si la pregunta se refiere en principio a algoritmos de optimización, tienes razón. Pero entonces empiezas a desplazar muestras, lo que crea más problemas que esta pregunta.

si pasas un poco de la teoría a la práctica :)

ah, entonces he entendido bien tu primera respuesta. no hay forma de comprobar la resistencia del atasco.

lo que dices "el error cae en las de entrenamiento y empieza a crecer en las nuevas" no es una prueba de jamming, sino solo un criterio para parar el entrenamiento.

mi pregunta se refiere a los algoritmos de optimización que la gente utiliza aquí para entrenar las neuronas, no sobre el aumento de la estabilidad de las neuronas en los nuevos datos, que es la segunda etapa. bueno, la primera etapa no se ha discutido aquí en absoluto yet))))

 
Andrey Dik #:

Ah, así que tengo su primera respuesta correcta. no hay manera de probar la resistencia a la interferencia.

Lo que dices de que "el error cae en los de entrenamiento y empieza a crecer en los nuevos" no es una prueba de atasco, sino sólo un criterio para detener el entrenamiento.

mi pregunta se refiere a los algoritmos de optimización que la gente utiliza aquí para entrenar las neuronas, no sobre el aumento de la estabilidad de las neuronas en los nuevos datos, que es la segunda etapa. bueno, la primera etapa no se ha discutido aquí en absoluto yet))))

Pues como que sí, no se ha discutido. Lo que es más popular en neuroncs es el algoritmo de optimización Adam. Quizás puedas probarlo de alguna manera también
 
Maxim Dmitrievsky #:
Bueno, más o menos, sí, no se discute. En neuronas, lo más popular es el algoritmo de optimización Adam. Tal vez usted puede probar de alguna manera, también

Ahí lo tienes, no se discute en absoluto.

En la práctica, esto significa que la neurona estará infraentrenada, es decir, que el error sobre nuevos datos empezará a crecer antes que si se usara un AO más resistente a la mermelada.

 
Sí, voy a echar un vistazo a adam en mi tiempo libre, hacer algunas pruebas.
 
Andrey Dik #:
Sí, echaré un vistazo a adam en algún momento de ocio, haré algunas pruebas.
Los artículos son de primera, sólo que no lo suficientemente cualificado para argumentar nada :)