red neuronal y entradas - página 10

 
Figar0:
NS es complejo.

1)Todos "llegan" a las entradas (algunos las atraviesan hasta ser bolas grises),

2) Algunos piensan en la salida, eligen la tarea de la red, su tipo y su arquitectura,

3) sólo unos pocos se lanzan en serio a la formación en red.

No hay nada menor en NS, de ahí la falta de resultados.


  1. He probado diferentes entradas - desde el aumento de las cotizaciones y los índices hasta las transformaciones FFT y la alimentación de componentes espectrales. Intenté alimentarme de tarjetas Kohonen entrenadas.
  2. La arquitectura es un peseptron multicapa con función de activación tangente hiperbólica.
  3. Varios algoritmos desde el simple Back Prop, hastael algoritmo de Levenberg - Marquardt con cálculo exacto del hessiano.
 
TimeMaster:
  1. diferentes algoritmos, desde el simple Back Prop, hastael algoritmo deLevenberg-Marquardt con cálculo exacto del hessiano.
Al algoritmo de aprendizaje le da igual tres veces, aunque sea un algoritmo genérico).
 
TheXpert:
El algoritmo de aprendizaje no se preocupa por el algoritmo tres veces, incluso si es un algoritmo gen )


Estoy de acuerdo. La única diferencia es la velocidad de aprendizaje. No veo el sentido de "atrapar" 6-7 decimales con MSE, por lo que utilizo más a menudo un simple Back Prop con tres muestras. Una muestra de entrenamiento, una muestra de validación y una muestra de prueba. Los válidos se seleccionan de diferentes maneras, o se seleccionan los válidos inmediatamente después de los de entrenamiento, según el intervalo de tiempo, o "agarro" aleatoriamente ejemplos de los de entrenamiento, respectivamente con la eliminación de ejemplos de la muestra de entrenamiento.
 

Sobre los algoritmos genéticos...

Es difícil imaginar la "utilidad" de utilizarlo en redes neuronales con más de 10000 sinapsis. Requiere una población de unos 10000*1000 individuos, lo que no es "bueno" en términos de velocidad. No hablo de épocas...

 
<br/ translate="no">

Por ejemplo, si quiero entrenar una red. que 2*2 = 4, no 5 o 6 o 7 . entonces depende de mí debe entenderlo claramente. qué enseñar. No para que a veces 2*2=4 y a veces 5 ...

El planteamiento del problema en general es importante. ¿Qué es lo que quiero? Y así sucesivamente.


Con el cambio del mercado, "2*2" no siempre es igual a 4, así que ese es el problema. A medida que el mercado cambia, las condiciones cambian. Los datos inconsistentes empiezan a estar presentes en las muestras de entrenamiento. La red no aprende. Si se reducen las muestras para "capturar" sólo el estado actual, se enfrentará al tamaño de las propias muestras: es demasiado pequeño para entrenar una red neuronal más o menos volumétrica. Se produce un sobreentrenamiento. Utilizar redes neuronales simples tampoco es una opción, es MUY difícil "meter" datos útiles en la entrada, ya que ésta es pequeña.
 
TimeMaster:

Sobre los algoritmos genéticos...

Es difícil imaginar la "utilidad" de utilizarlo en redes neuronales con más de 10000 sinapsis. Requiere una población de unos 10000*1000 individuos, lo que no es "bueno" en términos de velocidad. Sobre las épocas me callo...

El año pasado escribí una optimización genética dentro de un búho en el 4. Para divertirme, he introducido 88 parámetros de entrada en el rango 0...200. Entrenado en 15 minutos durante 2 semanas ~20 min (P-4 3GHz, 2GB). Tengo el plumero - no hay estrategia, sólo un experimento. Si está interesado, puedo hablarle de ello.

 
icas:

El año pasado escribí una optimización genética dentro de un búho en 4. Para divertirme, he introducido 88 parámetros de entrada en el rango 0...200. Entrenamiento en 15 minutos durante 2 semanas ~20 min (P-4 3GHz, 2GB). Tengo el plumero - no hay estrategia, sólo un experimento. Puedo hablarte de ello si te interesa.


Y si hay 10000 parámetros de entrada, entonces el problema en su forma BEST será 10000/88 veces más complicado, respectivamente ~20min*100=2000min ....

Eso es aproximadamente un día y medio...

La genética manda, cuando tienes miles de millones de años, puedes mirarte en un espejo. :-)

 
solar:
lo que hay que hacer es recoger los datos, prepararlos, blanquearlos, racionarlos, etc. Así es como se combate la no estacionalidad en el mercado. (En teoría )) )


La recopilación de datos es un campo bien investigado, hay formas y lugares para descargar el historial de citas relativamente "buenas".

La preparación de los datos también es cosa del pasado. Puedo decir que incluso aplicando una conversión de lado a lado a cada dimensión del vector de entrada no elimina el problema de los datos inconsistentes.

Es más complicado con el ruido, el intervalo es IMPORTANTE en este caso, los minutos frente a las semanas son naturalmente "ruidosos", pero 15 minutos frente a las horas es cuestión de escarbar...

La normalización también es una cuestión trivial.

 
TimeMaster:

Sobre los algoritmos genéticos... Es difícil imaginar la "utilidad" de utilizarlo en redes neuronales con más de 10000 sinapsis. Requiere una población de unos 10000*1000 individuos, lo que no es "bueno" en términos de velocidad. No estoy hablando de épocas...

¿10000 sinapsis? En mi opinión, esto es demasiado, yo llegué a un máximo de 500-700. No necesitaba más. Por cierto, es GA quien enseña NS. Sí, es lento, pero me resulta más cómodo y tiene sus ventajas.
TimeMaster:

Con la evolución del mercado, "2*2" no siempre es igual a 4, así que ahí está el problema. A medida que el mercado cambia, las condiciones cambian. Las muestras de entrenamiento comienzan a tener datos inconsistentes. La red no aprende. Si se reducen las muestras para "capturar" sólo el estado actual, se enfrentará al tamaño del muestreo: es demasiado pequeño para entrenar una red neuronal más o menos volumétrica.

¿2*2 no es siempre 4? A mí me basta con que 2*2=4, por ejemplo, en el 70% de los casos, y ni siquiera filtro el 30% restante de ejemplos, en los que 2*2 no es igual a 4. La red puede manejarlo bien por sí misma... Si 2*2 es igual a 4 en el 50% de los casos, hay que intentar cambiar algo, por ejemplo las entradas.... Creo que he dejado claro mi punto de vista)

icas:

El año pasado escribí una optimización genética dentro de un búho en el 4. Para divertirme, he introducido 88 parámetros de entrada en el rango de 0...200. Entrenado en 15 minutos durante 2 semanas ~20 min (P-4 3GHz, 2GB). Tengo el plumero - no hay estrategia, sólo un experimento. Si está interesado puedo contarlo.

Dímelo a mí, por supuesto que es interesante.
 
Figar0:
¿10000 sinapsis? En mi opinión, esto es un exceso grave, tenía como mucho 500-700. No necesitaba más. Por cierto, es GA quien enseña NS. Sí, es lento, pero para mí es más cómodo y tiene sus propias ventajas.

¿2*2 no es siempre 4? Me basta con que 2*2=4, por ejemplo, en el 70% de los casos, y ni siquiera filtro el 30% restante de ejemplos en los que 2*2 no es igual a 4. La red puede manejarla bien por sí misma... Si 2*2 es igual a 4 en el 50% de los casos, hay que intentar cambiar algo, por ejemplo las entradas.... Creo que he dejado claro mi punto de vista)

Dímelo a mí, por supuesto que es interesante.

¿Puedes darme un ejemplo en el que 2*2 no sea igual a 4?

Lo he leído a menudo en la literatura, pero desgraciadamente no hay ejemplos.