Discusión sobre el artículo "Neuroredes profundas (Parte V). Optimización bayesiana de los hiperparámetros de las DNN"

 

Artículo publicado Neuroredes profundas (Parte V). Optimización bayesiana de los hiperparámetros de las DNN:

En el artículo se analizan las posibilidades de la optimización bayesiana de los hiperparámetros de las neuroredes profundas obtenidas con diferentes formas de entrenamiento. Se compara la calidad de la clasificación de las DNN con los hiperparámetros óptimos en diferentes variedades de entrenamiento. Se ha comprobado mediante forward tests la profundidad de la efectividad de los hiperparámetros óptimos de la DNN. Se han definido los posibles campos de mejora de la calidad de la clasificación.

El resultado es bueno. Vamos a ver el gráfico de la historia de entrenamiento:

plot(env$Res1$Dnn.opt, type = "class")

SRBM + RP

Fig.2 Historia de entrenamiento de la DNN con la variante SRBM + RP

Como podemos ver por la figura, el error en el conjunto de validación es inferior al error en el conjunto de entrenamiento. Esto indica que nuestro modelo no ha sido sobreentrenado y tiene una buena capacidad de generalización. La línea roja vertical muestra los resultados del modelo reconocido como el mejor, que hemos obtenido tras el entrenamiento.

Autor: Vladimir Perervenko