rede neural e entradas - página 10

 
Figar0:
NS é complexo.

1)Todos "alcançam" os insumos (alguns passam por eles até serem bolas cinzas),

2) Algumas pessoas pensam na saída, escolhem a tarefa da rede, seu tipo e arquitetura,

3) apenas alguns poucos mergulham seriamente no treinamento da rede.

Não há nada de menor em NS, daí a falta de resultados.


  1. Tentei diferentes entradas - desde o aumento de cotações e índices até transformações FFT e alimentação de componentes espectrais. Alimentação experimentada a partir de cartões Kohonen treinados.
  2. A arquitetura é um peseptron multicamadas com função de ativação tangente hiperbólica.
  3. Vários algoritmos desde o simples Back Prop Prop, até oalgoritmo Levenberg - Marquardt com cálculo exato do Hessian.
 
TimeMaster:
  1. diferentes algoritmos desde o simples Propulsor traseiro, até oalgoritmo Levenberg-Marquardt com cálculo exato do Hessian.
O algoritmo de aprendizagem não se importa três vezes, mesmo que seja um algoritmo gen).
 
TheXpert:
O algoritmo de aprendizagem não se importa com o algoritmo três vezes, mesmo que seja um algoritmo genético )


Eu concordo. A única diferença é a velocidade de aprendizagem. Eu não vejo o ponto em "pegar" 6-7 casas decimais com MSE, então eu uso um simples Propulsor traseiro com três amostras mais vezes. Uma amostra para treinamento, uma amostra para validação e uma amostra para teste. Válido é selecionado de diferentes maneiras, ou válido é selecionado imediatamente após o treinamento, de acordo com o intervalo de tempo, ou eu "pego" exemplos aleatórios do treinamento, respectivamente com a remoção de exemplos da amostra do treinamento.
 

Sobre os algoritmos genéticos...

É difícil imaginar a "utilidade" de utilizá-lo em redes neurais com mais de 10000 sinapses. Requer uma população de cerca de 10000*1000 indivíduos, o que não é "bom" em termos de velocidade. Estou em silêncio sobre épocas...

 
<br/ translate="no">

Por exemplo, se eu quiser treinar uma rede. que 2*2 = 4, não 5 ou 6 ou 7 . então depende de mim deve entender claramente. o que ensiná-lo. Não é assim que às vezes 2*2=4 e às vezes 5 ...

A declaração do problema em geral é importante. O que eu quero ? E assim por diante.


Com o mercado mudando, "2*2" nem sempre é igual a 4, então esse é o problema. O mercado muda, as condições mudam. Dados incoerentes começam a estar presentes nas amostras de treinamento. A rede não aprende. Se você reduzir as amostras a fim de "capturar" apenas o estado atual, você enfrentará o tamanho das próprias amostras - é muito pequeno para treinar uma rede neural mais ou menos volumétrica. O sobretreinamento é realizado. O uso de redes neurais simples também não é uma opção, é MUITO difícil "amontoar" dados úteis na entrada, uma vez que a entrada é pequena.
 
TimeMaster:

Sobre os algoritmos genéticos...

É difícil imaginar a "utilidade" de utilizá-lo em redes neurais com mais de 10000 sinapses. Requer uma população de cerca de 10000*1000 indivíduos, o que não é "bom" em termos de velocidade. Sobre épocas eu estou em silêncio...

No ano passado, escrevi uma otimização genética dentro de uma coruja no 4. Por diversão, entrei 88 parâmetros de entrada na faixa de 0...200. Treinado em 15 minutos durante 2 semanas ~20 min (P-4 3GHz, 2GB). Apanhou o prummer - sem estratégia, apenas uma experiência. Se você estiver interessado, posso lhe falar sobre isso.

 
icas:

No ano passado, escrevi uma otimização genética dentro de uma coruja em 4. Por diversão, entrei 88 parâmetros de entrada na faixa de 0...200. Treinado em 15 minutos durante 2 semanas ~20 minutos (P-4 3GHz, 2GB). Apanhou o prummer - sem estratégia, apenas uma experiência. Se você estiver interessado, posso lhe falar sobre isso.


E se houver 10000 parâmetros de entrada, então o problema em sua forma BEST se tornará 10000/88 vezes mais complicado, respectivamente ~20min*100=2000min ....

Isso é aproximadamente um dia e meio...

Regras genéticas, quando você tem bilhões de anos, você pode se olhar em um espelho. :-)

 
solar:
é a coleta de dados, preparação de dados, clareamento de ruídos, racionamento e assim por diante que precisa ser feito. É assim que se combate a não-estacionariedade no mercado. (Em teoria )) )


A coleta de dados é um campo bem pesquisado, há maneiras e lugares para baixar o histórico de citações relativamente "boas".

A preparação dos dados, também, é uma área de estudo. Posso dizer que mesmo aplicando uma conversão lado a lado para cada dimensão do vetor de entrada, não elimina o problema de dados inconsistentes.

É mais complicado com o ruído, o intervalo é IMPORTANTE aqui, minutos versus semanas é naturalmente "ruidoso", mas 15 minutos versus horas é uma questão de cavar...

A normalização também é uma questão trivial.

 
TimeMaster:

Sobre os algoritmos genéticos... É difícil imaginar a "utilidade" de utilizá-lo em redes neurais com mais de 10000 sinapses. Requer uma população de cerca de 10000*1000 indivíduos, o que não é "bom" em termos de velocidade. Não estou falando de épocas...

10000 sinapses? Imho, isto é um sério exagero, eu ultrapassei no máximo cerca de 500-700. Eu não precisava de mais. A propósito, é a GA que eu ensino a NS. Sim, é lento, mas é mais conveniente para mim e tem suas próprias vantagens.
TimeMaster:

Com a mudança do mercado, "2*2" nem sempre é igual a 4, portanto, é aí que reside o problema. À medida que o mercado muda, as condições mudam. As amostras de treinamento começam a conter dados inconsistentes. A rede não aprende. Se você reduzir as amostras a fim de "capturar" apenas o estado atual, enfrentará o tamanho da amostragem - é muito pequena para treinar uma rede neural mais ou menos volumétrica.

2*2 nem sempre é 4? É suficiente para mim que 2*2=4, por exemplo, em 70% dos casos, e eu nem filtrei os 30% restantes dos exemplos, onde 2*2 não é igual a 4. A rede pode lidar bem sozinha... Se 2*2 é igual a 4 em 50% dos casos, você deve tentar mudar alguma coisa, por exemplo, inputs.... Acho que já me manifestei)

icas:

No ano passado, escrevi otimização genética dentro da coruja no 4. Por diversão, entrei 88 parâmetros de entrada na faixa de 0...200. Treinado em 15 minutos durante 2 semanas ~20 min (P-4 3GHz, 2GB). Apanhou o prummer - sem estratégia, apenas uma experiência. Se estiver interessado, posso lhe falar sobre isso.

Fale-me sobre isso, é claro que é interessante.
 
Figar0:
10000 sinapses? Imho, este é um exagero grave, eu tive o uso máximo de cerca de 500-700. Eu não precisava de mais. A propósito, é a GA que eu ensino a NS. Sim, é lento, mas para mim é mais conveniente e tem suas próprias vantagens.

2*2 nem sempre é 4? É suficiente para mim que 2*2=4, por exemplo, em 70% dos casos, e eu nem filtrei os 30% restantes dos exemplos em que 2*2 não é igual a 4. A rede pode lidar bem sozinha... Se 2*2 é igual a 4 em 50% dos casos, você deve tentar mudar alguma coisa, por exemplo, inputs.... Acho que já me manifestei)

Fale-me sobre isso, é claro que é interessante.

Você pode me dar um exemplo quando 2*2 não é igual a 4?

Tenho lido isso com freqüência na literatura, mas infelizmente não há exemplos.