Red neuronal en forma de guión - página 11
Está perdiendo oportunidades comerciales:
- Aplicaciones de trading gratuitas
- 8 000+ señales para copiar
- Noticias económicas para analizar los mercados financieros
Registro
Entrada
Usted acepta la política del sitio web y las condiciones de uso
Si no tiene cuenta de usuario, regístrese
"cambio en el número de neuronas en las capas"
Número de neuronas en las capas
1. lo mismo:
2. diferente:
a) aumentar en número de capa a capa;
b) disminuir de una capa a otra.
c) ¿aumentar (disminuir) la proporción?
El producto del número de entradas por el tamaño de la muestra de entrenamiento (número de patrones) debe ser igual al cuadrado de los pesos NS.
Estoy un poco asustado por esta cifra. ¿Es éste un número mínimo para el funcionamiento normal o uno óptimo?
En otras palabras, si doy un vector de 20 valores en la entrada y tengo el número total de vectores de al menos 50000, significa que el número de pesos en la red no debe ser inferior a Sqrt(20*50000)=1000? ¿Verdad?
Una pregunta ligeramente reformulada de Andy_Kon.
He visto ejemplos de redes organizadas según el principio de la onda. Por ejemplo, 20-50-10-1 o 20-40-1. Es decir, hay una expansión de la red en el centro. (el número de neuronas de la capa oculta es varias veces mayor que el de la capa de entrada).
A partir de las pruebas de mis mallas llegué a la conclusión de que cuantas más capas ocultas de neuronas, el aprendizaje va más suave y el resultado es como un poco manchado en la salida. Si, por ejemplo, 20-20-1, la red encuentra la solución de forma más aguda y produce valores agudos en las salidas.
Si por ejemplo algún principio teórico y práctico del número óptimo de neuronas en las capas ocultas en función del número de neuronas de entrada.
Gracias.
"cambio en el número de neuronas en las capas"
Número de neuronas en las capas
1. lo mismo:
2. diferente:
a) aumentar en número de capa a capa;
b) disminuir de una capa a otra.
c) ¿aumentar (disminuir) la proporción?
Bueno, he dado un enlace a un teorema, según el cual una capa oculta es suficiente.
Por eso, todos los problemas enumerados desaparecen de forma natural. Otra cosa es si se decide disminuir la dimensionalidad de las entradas utilizando el método de componentes principales no lineales o utilizar NS híbrido con capa competitiva... pero las preguntas también tienen que ser adecuadas.
Esta figura me intimidó un poco. ¿Es éste el número mínimo para un funcionamiento normal o el óptimo?
Es decir, si tomo un vector de 20 valores y tengo el número total de vectores de al menos 50000, significa que toda la red de pesos debe contener no menos de Sqrt(20*50000)=1000? ¿Está bien?
Correcto.
Aquí hay un enlace al libro de Ezhov y Shumsky "Neurocomputing" donde se estudia esta cuestión de forma superficial (inteligible).
¿Cuál es la dependencia de la dimensionalidad y la "estratificación" de la red con respecto al número de patrones (patters)?
1. La capa oculta debe ser mayor que la capa de entrada en al menos 1 elemento, de lo contrario la información de la capa oculta se comprimirá, lo que no ayuda en absoluto al resultado.
2. Tenga en cuenta el número de parámetros que hay que ajustar. Si el número de parámetros supera el número de patrones, se corre el riesgo de tener una red sobreentrenada. Debe haber más patrones. Puedes reducir el tamaño de la red mientras ésta aprende.
Una pregunta ligeramente reformulada de Andy_Kon.
He visto ejemplos de redes organizadas según el principio de la onda. Por ejemplo, 20-50-10-1 o 20-40-1. Es decir, hay una expansión de la red en el centro. (el número de neuronas de la capa oculta es varias veces mayor que el de la capa de entrada).
A partir de las pruebas de mis mallas llegué a la conclusión de que cuantas más capas ocultas de neuronas, el aprendizaje va más suave y el resultado es como un poco manchado en la salida. Si, por ejemplo, 20-20-1, la red encuentra la solución de forma más aguda y produce valores agudos en las salidas.
Si por ejemplo algún principio teórico y práctico del número óptimo de neuronas en las capas ocultas en función del número de neuronas de entrada.
Gracias.
Mejor aún, 20-21-1
O mejor aún, 20-21-1
Por cierto, también me he dado cuenta de que la capa oculta no hace que el número de neuronas sea un múltiplo de la capa de entrada. >> ¿Por qué?
Bueno, he dado un enlace al teorema que dice que una capa oculta es suficiente.
Así, todos los problemas anteriores desaparecen de forma natural. Otra cosa es si se decide reducir la dimensionalidad de las entradas utilizando el método de componentes principales no lineales o utilizar NS híbrido con capa competitiva... pero entonces las preguntas deben ser adecuadas.
Sin embargo, muchos problemas se resuelven con un perseptrón de 5 capas, la existencia del teorema no significa que un perseptrón de 3 capas sea la panacea.
¿Qué es mejor, utilizar una red 5-6-6-2 o una sustitución de 3 capas de 5-25-2? Un número tan grande podría funcionar bien para una no linealidad adecuada.
Por cierto, ¿conoces la arquitectura más convergente para la XORa?
4 neuronas media -- sigmoidal
Por cierto, también me he dado cuenta de que el número de neuronas de la capa oculta no es un múltiplo de la capa de entrada. >> ¿Por qué?
Según mi experiencia, cuanto más cerca de la entrada, mejor. 21 es lo óptimo para 20 entradas.
En mi práctica, cuanto más cerca de la entrada, mejor, 21 -- óptimo para 20 entradas
Hmmm... ¿hay alguna manera de resumir este óptimo. Y sobre los de 5 y 3 capas también me pregunto. ¿Dónde está la teoría?