Discussão do artigo "Redes neurais de maneira fácil (Parte 54): usando o codificador aleatório para exploração eficiente (RE3)"

[MetaQuotes]

Novo artigo Redes neurais de maneira fácil (Parte 54): usando o codificador aleatório para exploração eficiente (RE3) foi publicado:

A cada vez que consideramos métodos de aprendizado por reforço, nos deparamos com a questão da exploração eficiente do ambiente. A solução deste problema frequentemente leva à complexificação do algoritmo e ao treinamento de modelos adicionais. Neste artigo, vamos considerar uma abordagem alternativa para resolver esse problema.

O objetivo principal do método Random Encoders for Efficient Exploration (RE3) é minimizar o número de modelos treinados. Em seu trabalho, os autores do método RE3 chamam a atenção para o fato de que, na área de processamento de imagens, apenas redes convolucionais são capazes de destacar características individuais e características de um objeto. São justamente as redes convolucionais que ajudam a reduzir a dimensionalidade do espaço multidimensional, destacar características distintas e lidar com o escalonamento do objeto original.

E então surge a pergunta: que tipo de minimização de modelos treinados estamos falando se recorremos a redes convolucionais adicionais?

Neste aspecto, a palavra-chave é "treinados". Os autores do método notaram o fato de que até um codificador convolucional (Convolutional Encoder) inicializado com parâmetros aleatórios captura eficientemente informações sobre a proximidade de dois estados. Abaixo está uma visualização dos k-estados mais próximos, encontrados medindo distâncias no espaço de representação de um codificador aleatório (Random Encoder) inicializado aleatoriamente e no espaço do estado verdadeiro (True State), da publicação original.

Autor: Dmitriy Gizlyk