Discussão do artigo "Redes neurais de maneira fácil (Parte 25): Exercícios práticos de transferência de aprendizado"

 

Novo artigo Redes neurais de maneira fácil (Parte 25): Exercícios práticos de transferência de aprendizado foi publicado:

Nos dois últimos artigos, criamos uma ferramenta que permite criar e editar modelos de redes neurais. E agora é hora de avaliar o uso potencial da transferência de aprendizado (transfer learning, em inglês) usando exemplos práticos.

Os resultados do teste são mostrados no gráfico abaixo. Como você pode ver, o modelo pré-treinado começou com um erro menor. Mas logo ambos os modelos se estabilizaram e seus valores ficaram bem próximos. Isso confirma a conclusão anterior de que a arquitetura do codificador tem um impacto significativo no desempenho de todo o modelo.

Comparação de dinâmicas de aprendizado de modelos recorrentes

Também vale a pena notar a velocidade de aprendizado. Durante os testes, o modelo pré-treinado mostrou 6 vezes menos tempo para passar uma época. Claro, aqui levamos em conta o tempo puro sem levar em conta o custo de treinamento do autocodificador.

Autor: Dmitriy Gizlyk