Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 2015

 
Maxim Dmitrievsky:

todos os chips dentro e fora, há menos neurónios na camada oculta. Ele simplesmente comprime a informação, minimizando o erro na saída. A entrada deve ser igual à saída (idealmente). Então a segunda parte do NS é descartada após o treinamento e você obtém características comprimidas na saída igual ao número de neurônios na camada oculta

você pode adicionar camadas recorrentes, etc.

google Autoencoder. e as suas variantes.

Sim, eu entendo tudo, obrigado, só não entendo como é treinar uma rede para dar múltiplas respostas a uma única linha de amostra ao mesmo tempo. Não é claro como fazê-lo com árvores...

 
Aleksey Vyazmikin:

Sim, eu entendo tudo isso, obrigado, eu só não entendo como treinar a rede para dar múltiplas respostas a uma única amostra de corda ao mesmo tempo. Qual é a métrica aí, com árvores não está claro como isto poderia ser feito...

Não sou especialista, mas primeiro - decomposição, quando um evento gera muitas causas possíveis. Depois disso - recomposição, quando todas estas causas possíveis são analisadas em busca de possíveis influências sobre estas causas. O resultado é um pequeno número de parâmetros que podem ser influenciados quando se controla um evento.

 
Aleksey Vyazmikin:

Sim, eu entendo tudo isso, obrigado, eu só não entendo como treinar a rede para dar múltiplas respostas a uma única amostra de corda ao mesmo tempo. Qual é a métrica aí, com árvores não está claro como tal coisa poderia ser feita...

Não faz muito sentido usar primeiro um autocodificador ou apenas um NS profundo. Você precisa deles quando você tem muitas das mesmas tarefas. Por exemplo, para comprimir imagens, etc. e depois usá-las em outros ns

 
Alexei Tarabanov:

Não sou especialista em nada, mas primeiro há a decomposição, onde um evento dá origem a uma multiplicidade de causas possíveis. Depois há a recomposição, onde todas estas causas possíveis são analisadas para possíveis influências sobre as causas. O resultado é um pequeno número de parâmetros que podem ser controlados pelo evento.

Não exatamente - lá, ao refrair os dados em um neurônio através de pesos em funções, os valores são reduzidos em uma única função (como focalizar a imagem). E então, conhecendo esses pesos, ele é novamente decomposto em componentes, como um prisma decompõe um arco-íris ou assim. Eu entendo o processo, mas não entendo como fazê-lo através das árvores.

 
Maxim Dmitrievsky:

Não faz muito sentido usar primeiro um autocodificador ou apenas um NS profundo. Você precisa deles quando você tem muitas das mesmas tarefas. Por exemplo, para comprimir imagens, etc., e depois usá-las como embutimentos em outros ns

Talvez faça sentido treinar exactamente estes neurónios "pescoço de garrafa" nas árvores. Isto é, número reduzido de preditores.

 
Aleksey Vyazmikin:

Não exatamente - lá, ao refrair os dados no neurônio através de pesos nas funções, os valores são reduzidos a uma única função. E então, conhecendo estes pesos, decompõe-se novamente em componentes, como um prisma decompõe um arco-íris. Eu entendo o processo, mas não entendo como fazê-lo através das árvores.

Não. Tenta a decomposição primeiro e vais tê-la.

Simplesmente, a decomposição segue um princípio e a conexão segue outro. Análise e síntese. Os neurônios trabalham da mesma forma aqui e ali, mas no primeiro caso, o evento é arquivado, e no segundo, é reunido em torno dos fatores que afetam o evento.

 
Aleksey Vyazmikin:

Pode fazer sentido treinar estes neurónios "pescoço de garrafa" em particular nas árvores. Ou seja, um número reduzido de preditores.

não faz sentido

compressão é compressão. Se o modelo já é mau, não vai fazer nada. E a regularização tem mais ou menos a mesma função f.

 
Há uma perda ao comprimir os dados de entrada. Se a compressão for julgada pela capacidade de recuperar os mesmos dados de entrada, então perdemos a informação uniformemente, incluindo aquela que predizeria bem o alvo.
Se comprimirmos apenas para obter a função alvo, esta é a melhor opção.
Acho que a aprendizagem normal faz exactamente isso.
Concluo que a compressão apenas de entrada irá degradar a qualidade da aprendizagem subsequente do alvo nos dados comprimidos.
Mas é melhor fazeres uma experiência em vez de tirares conclusões da teoria.

Embora você possa entender porque Alexey está procurando uma maneira de reduzir a dimensionalidade - ele usa andaimes e andaimes. Em uma árvore, a maioria de 3000 entradas nunca poderão ser utilizadas. As florestas e o impulso são melhores nisso, mas temo que seja de pouca utilidade.
 
Maxim Dmitrievsky:

não vale a pena

compressão é compressão. Se o modelo já é mau, não fará nada. E a regularização faz mais ou menos a mesma coisa.

elibrarius:
Há perdas ao comprimir os dados de entrada. Se a compressão for avaliada pela capacidade de recuperar os mesmos dados de entrada, então perdemos uniformemente a informação, incluindo a que predizia bem o alvo.
Se comprimirmos apenas para obter a função alvo, esta é a melhor opção.
Acho que a aprendizagem normal faz exactamente isso.
Concluo que a compressão apenas de entrada irá degradar a qualidade da aprendizagem subsequente do alvo nos dados comprimidos.
Mas é melhor fazeres uma experiência em vez de tirares conclusões da teoria.

Embora você possa entender porque Alexey está procurando uma maneira de reduzir a dimensionalidade - ele usa andaimes e andaimes. Em uma árvore, a maioria de 3000 entradas nunca poderão ser utilizadas. As florestas e o impulso são melhores nisso, mas temo que seja de pouca utilidade.

Há uma série de ideias sobre o porquê de isto poder ser útil:

1. Os preditores interdependentes podem ser identificados:

1.1 Construir um modelo separado com eles e avaliar o seu poder de previsão

1.2. excluí-los da amostra e avaliar seu impacto no resultado. se eles melhorarem o resultado, considerar a criação de preditores semelhantes

2. Use um preditor em vez de um grupo de preditores:

1. isto igualará as hipóteses de o tomar ao acaso na construção do modelo

2. Reduzir o tempo de formação, reduzindo a dimensionalidade

Sim, eu gostaria de testar isto, mas não conheço a ferramenta para criar tal modelo fora da caixa.


A propósito, porque não usar funções quebradas (como com a quantização - em vez de linha de passo) no treinamento, permitiria ter uma lacuna na precisão dos dados e reduzir o re-treinamento.

 
Aleksey Vyazmikin:

Há um pensamento aqui, por que eles não usam funções quebradas (por assim dizer com quantização - ao invés de uma linha de passo) no treinamento, isso permitiria ter uma folga na precisão dos dados e reduziria o overtraining.

Como não pode ser treinado, haveria um solucionador a ficar nos mínimos locais. Quanto a ideias - não se consegue tirar nada, pois é uma caixa negra.