Rede neural sob a forma de um roteiro - página 12

 
TheXpert писал (а) >>

Entretanto, muitos problemas são resolvidos com um perseptron de 5 camadas, a existência do teorema não significa que um perseptron de 3 camadas seja uma panaceia.

Ela simplesmente declara que todos os problemas (com poucas exceções) são resolvidos por um perseptron de 2 camadas com uma camada oculta! Sim, sobre a terminologia, parece que você conta os nós de entrada dos NS (aqueles que não contêm neurônios) como uma camada, e eu não.

O que é melhor -- usar uma rede 5-6-6-2 ou uma substituição de 3 camadas de 5-25-2 ? Um número tão grande pode muito bem funcionar para garantir a não-linearidade adequada.

Eu usaria a arquitetura X-Y-1 - ela resolve o problema. E eu experimentalmente ajustaria o número de neurônios em uma camada Y escondida, começando em 2 e subindo até as propriedades de generalização da rede não melhorariam. De acordo com minha modesta experiência, para muitas implementações práticas, dois neurônios nesta camada é suficiente. Aumentando ainda mais o número de neurônios, o tempo de treinamento aumenta e, devido ao número crescente de sinapses, temos que aumentar o tamanho da amostra de treinamento ou a dimensão do input, o que leva ao "processamento" de informações insignificantes ou ao agravamento das propriedades aproximadas dos NS (estas propriedades, de acordo com Ezhov, caem como 1/d, onde d é o número de inputs), etc., etc. O que não é bom.

É claro que é possível construir um perseptron de dez camadas e funcionará... mas qual é o objetivo?

 
Neutron писал (а) >>

Argumenta-se simplesmente que todos os problemas (com muito poucas exceções) são resolvidos por um perseptron de 2 camadas com uma camada oculta! Sim, sobre a terminologia, parece que você conta os nós de entrada dos NS (aqueles que não contêm neurônios) como uma camada, e eu não.

Eu usaria a arquitetura X-Y-1 - ela resolve o problema. E eu escolheria experimentalmente o número de neurônios na camada escondida Y, começando de 2 até as propriedades de generalização da rede não melhoraria. De acordo com minha modesta experiência, para muitas implementações práticas, dois neurônios nesta camada é suficiente. Aumentando ainda mais o número de neurônios o tempo de treinamento aumenta, e devido ao número crescente de sinapses temos que aumentar o valor da amostra de treinamento ou dimensão do input, o que leva ao "processamento" de informações insignificantes ou piora das propriedades aproximadas de NS (estas propriedades, de acordo com Ezhov, caem como 1/d, onde d é o número de inputs) etc., etc., o que não é bom.

Digamos que temos 10 na entrada. 2 na camada oculta é suficiente? Não creio que seja assim, não se trata de uma tarefa bastante simples.

Sobre a camada de entrada. Às vezes vale a pena fazer uma camada de entrada com limiares, então é melhor tratá-la como outra camada, como uma parte integrante de todo o sistema.

 
sergeev писал (а) >>


Hmmm... há alguma maneira de resumir este ótimo. E sobre as de 5 e 3 dobras eu também me pergunto. Onde está a teoria?



Sobre o ótimo - minha experiência pessoal, talvez equivocada. Sobre o número de camadas - eu o encontrei na prática. Depende da não linearidade da conversão de entrada-saída, a maioria dos problemas pode ser resolvida com uma rede de 3 camadas. Sobre a teoria, desculpe, foi há muito tempo...

 
TheXpert писал (а) >>

Entretanto, muitos problemas podem ser resolvidos por um perseptron de 5 camadas, a existência do teorema não implica que um perseptron de 3 camadas seja uma panaceia.


Qual é melhor, uma rede 5-6-6-2 ou uma rede 5-25-2 de 3 camadas de substituição? Um número tão grande pode muito bem funcionar para uma não-linearidade adequada.

A propósito, você conhece a arquitetura mais convergente para XORa?


4 neurônios do meio -- sigmoid


Existe uma solução analítica para XOR-a:


outXOR = in1 + in2 - 2*in1*in2


onde: em1 e em2 as entradas levam valores de 0 a 1


A convergência é instantânea.

 
Reshetov писал (а) >>


Para XOR-a existe uma solução analítica:


outXOR = in1 + in2 - 2*in1*in2


onde: em1 e em2 as entradas levam valores de 0 a 1


A convergência é instantânea.

LOL, cada função tem uma solução analítica, mas encontrá-la... Às vezes é muito, muito difícil.

Dei este exemplo para mostrar mais uma vez que um perseptron de 3 camadas nem sempre é a melhor opção.

 
TheXpert писал (а) >>

Dei este exemplo para mostrar mais uma vez que um perseptron de 3 camadas nem sempre é a melhor opção.

Este problema também pode ser resolvido por um perseptron de 3 camadas com um limiar em neurônios e o NS baseado em funções radiais pode lidar com ele:

Em geral, existem muitas variantes, a tarefa é encontrar uma adequada.

 
Neutron писал (а) >>

Este problema também pode ser resolvido por um perceptron de 3 camadas com limiar em neurônios, e os NS baseados em funções radiais podem lidar com ele:

Em geral, existem muitas variantes, a tarefa é encontrar uma adequada.

>> Obrigado pela foto.

 
Por favor, me dê estes livros. Ou quem são os autores.
 
Isto é de Haykin. Os detalhes estão na página anterior do tópico.
 

Há uma tarefa específica de escrever um roteiro que, com uma determinada profundidade de história, produzirá uma solução -

Então é necessário determinar a configuração mínima específica da rede e o número mínimo exigido de entradas. Isso significa que é necessário definir os termos de referência e então o mundo inteiro deve chegar à realização para ter um produto concreto pronto para ser anexado a um gráfico e ver o resultado. Vi algo semelhante na forma de um neuroindicador no site Klot .

http://www.fxreal.ru/forums/topic.php?forum=2&topic=1