Red neuronal en forma de guión - página 12

 
TheXpert писал (а) >>

Sin embargo, muchos problemas se resuelven con un perseptrón de 5 capas, la existencia del teorema no significa que un perseptrón de 3 capas sea la panacea.

¡Simplemente afirma que todos (con muy pocas excepciones) los problemas se resuelven con un perseptrón de 2 capas con una capa oculta! Sí, sobre la terminología, parece que tú cuentas los nodos de entrada del NS (los que no contienen neuronas) como una capa, y yo no.

¿Qué es mejor, utilizar una red 5-6-6-2 o una sustitución de 3 capas de 5-25-2? Un número tan grande bien puede funcionar para garantizar una no linealidad adecuada.

Yo utilizaría la arquitectura X-Y-1, que resuelve el problema. Y ajustaría experimentalmente el número de neuronas en una capa oculta Y empezando por 2 y subiendo hasta que las propiedades de generalización de la red no mejoraran. Según mi modesta experiencia, para muchas implementaciones prácticas dos neuronas en esta capa son suficientes. Al aumentar el número de neuronas aumenta el tiempo de entrenamiento, y debido al aumento del número de sinapsis tenemos que aumentar el tamaño de la muestra de entrenamiento o la dimensión de la entrada, lo que conduce al "procesamiento" de información insignificante o al empeoramiento de las propiedades de aproximación del NS (estas propiedades, según Ezhov, caen como 1/d, donde d es el número de entradas), etc., lo que no es bueno.

Por supuesto, es posible construir un perseptrón de diez capas y que funcione... ¿pero qué sentido tiene?

 
Neutron писал (а) >>

¡Simplemente se argumenta que todos (con muy pocas excepciones) los problemas se resuelven con un perseptrón de 2 capas con una capa oculta! Sí, sobre la terminología, parece que tú cuentas los nodos de entrada del NS (los que no contienen neuronas) como una capa, y yo no.

Yo utilizaría la arquitectura X-Y-1, que resuelve el problema. Y elegiría experimentalmente el número de neuronas en la capa oculta Y empezando por 2 y hasta que las propiedades de generalización de la red no mejoraran. Según mi modesta experiencia, para muchas implementaciones prácticas dos neuronas en esta capa son suficientes. Al aumentar el número de neuronas aumenta el tiempo de entrenamiento, y debido al aumento del número de sinapsis tenemos que aumentar el tamaño de la muestra de entrenamiento o la dimensión de la entrada, lo que conduce al "procesamiento" de información insignificante o al empeoramiento de las propiedades de aproximación del NS (estas propiedades, según Ezhov, caen como 1/d, donde d es el número de entradas), etc., lo que no es bueno.

Digamos que tenemos 10 en la entrada. ¿Son suficientes 2 en la capa oculta? No creo que sea así, no tiene sentido para una tarea bastante sencilla.

Sobre la capa de entrada. A veces vale la pena hacer una capa de entrada con umbrales, por lo que es mejor tratarla como una capa más, como parte integrante de todo el sistema.

 
sergeev писал (а) >>


Hmmm... ¿hay alguna forma de resumir esto de forma óptima? Y sobre los de 5 y 3 capas también me pregunto. ¿Dónde está la teoría?



Sobre lo óptimo - mi experiencia personal, tal vez equivocada. Sobre el número de capas - lo he encontrado en la práctica. Depende de la no linealidad de la conversión entrada-salida, la mayoría de los problemas pueden resolverse con una red de 3 capas. Sobre la teoría, lo siento, fue hace mucho tiempo...

 
TheXpert писал (а) >>

Sin embargo, muchos problemas pueden resolverse con un perseptrón de 5 capas, la existencia del teorema no implica que un perseptrón de 3 capas sea la panacea.


¿Qué es mejor, una red 5-6-6-2 o una sustitución de 3 capas 5-25-2? Un número tan grande podría funcionar bien para una no linealidad adecuada.

Por cierto, ¿conoces la arquitectura más convergente para la XORa?


4 neuronas medias -- sigmoideas


Existe una solución analítica para XOR-a:


outXOR = in1 + in2 - 2*in1*in2


donde: las entradas in1 e in2 toman valores de 0 a 1


La convergencia es instantánea.

 
Reshetov писал (а) >>


Para XOR-a existe una solución analítica:


outXOR = in1 + in2 - 2*in1*in2


donde: las entradas in1 e in2 toman valores de 0 a 1


La convergencia es instantánea.

LOL, hay una solución analítica para cualquier función, pero encontrarla... A veces es muy, muy difícil.

He puesto este ejemplo para demostrar una vez más que un perseptrón de 3 capas no es siempre la mejor opción.

 
TheXpert писал (а) >>

He puesto este ejemplo para demostrar una vez más que un perseptrón de 3 capas no es siempre la mejor opción.

Este problema también puede ser resuelto por un perseptrón de 3 capas con un umbral en las neuronas y el NS basado en funciones radiales puede manejarlo:

En general, hay muchas variantes, la tarea es encontrar una adecuada.

 
Neutron писал (а) >>

Este problema también puede ser resuelto por un perceptrón de 3 capas con umbral en las neuronas, y el NS basado en funciones radiales puede manejarlo:

En general, hay muchas variantes, la tarea es encontrar una adecuada.

>> Gracias por la foto.

 
Por favor, dame estos libros. O quiénes son los autores.
 
Esto es de Haykin. Los detalles están en la página anterior del tema.
 

Hay una tarea específica de escribir un guión que, a una profundidad determinada de la historia, producirá una solución -

A continuación, es necesario determinar la configuración mínima específica de la red y el número mínimo necesario de entradas. Esto significa que es necesario definir los términos de referencia y luego todo el mundo debe venir a la realización para tener un producto concreto listo para ser conectado a un gráfico y ver el resultado. He visto algo similar en forma de neuroindicador en el sitio de Klot .

http://www.fxreal.ru/forums/topic.php?forum=2&topic=1