Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 84

 
Continuo a dizer-lhes que prever o mercado durante 5 anos não é realista. Eles querem construir um modelo adequado por pelo menos uma semana ou duas e ficar felizes com isso, mas eles querem construir um modelo por 5 anos. Isto é utopia. E uma pergunta para Alexey: Diga-me como o modelo se comportará se duas classes absolutamente idênticas forem definidas e a correção do mercado nelas for diametralmente oposta. Por assim dizer, dados contraditórios.... como se comportaria o modelo em tal caso???? Afinal de contas, o padrão em si não é importante, o que importa é a reação do mercado a este padrão....
 
Mihail Marchukajtes:
Também lhes digo que prever o mercado durante 5 anos não é realista...

É inútil falar e exortar. Muitas pessoas têm distorções cognitivas entre as quais também existem filtros de informação, tais como: se a informação não se ajusta à visão do mundo, ou não é percebida de todo ou causa uma resposta rancorosa.

Em outras palavras, a maioria dos residentes aqui ou não prestará atenção às suas conversas, ou começarão a resmungar e a chamá-lo de troll.

Mas não é essa a questão. A questão é que no jPrediction desde a versão 7 surgiu a possibilidade de avaliar o significado dos preditores. Para isso, após criar (treinar) um novo modelo ou carregar um modelo gravado anteriormente a partir de um arquivo, você precisa chamar o item de menu "View a significant of predicictors" ou pressionar a tecla "hot" F5:

E você pode olhar para um gráfico da importância dos preditores:

O melhor preditor é o melhor - o preditor mais significativo. Se você remover a coluna "Competitividade" desta amostra, você recebe a mensagem "Lixo dentro, Lixo fora" após o treinamento.

O pior preditor é o pior - o preditor menos significativo. Se removermos a coluna "Risco operacional" da amostra, a capacidade de generalização não vai piorar.

Os restantes preditores marcados com "-" em Descrição são de importância média. Se eles forem removidos desta amostra, a capacidade de generalização será acentuadamente degradada.

 
Yury Reshetov:

É inútil falar e exortar. Muitas pessoas têm distorções cognitivas, entre as quais também existem filtros de informação, tais como: se a informação não se ajusta à visão do mundo, ou não é percebida de todo, ou causa uma resposta rancorosa.

Ou seja, a maioria dos habitantes daqui ou não prestará atenção às suas conversas, ou começarão a resmungar e a chamar-lhe troll.

Mas não é essa a questão. A questão é que no jPrediction desde a versão 7 surgiu a possibilidade de avaliar o significado dos preditores. Para isso, após criar (treinar) um novo modelo ou carregar um modelo gravado anteriormente a partir de um arquivo, você precisa chamar o item de menu "View a significant of predicictors" ou pressionar a tecla "hot" F5:

E você pode olhar para um gráfico da importância dos preditores:

O melhor preditor é o melhor - o preditor mais significativo. Se você remover a coluna "Competitividade" desta amostra, você recebe a mensagem "Lixo dentro, Lixo fora" após o treinamento.

O pior preditor é o pior - o preditor menos significativo. Se a coluna "Risco operacional" for removida desta amostra, a generalização não se deteriorará.

Os outros preditores marcados com "-" na Descrição são de significado médio. Se eles forem removidos desta amostra, a capacidade de generalização será acentuadamente degradada.

Obrigado!!! Adição extremamente útil. Continuando a rodar.... ...a girar...
 
Yury Reshetov:

É inútil falar e exortar. Muitas pessoas têm distorções cognitivas, entre as quais também existem filtros de informação, tais como: se a informação não se ajusta à visão do mundo, ou não é percebida de todo, ou causa uma resposta rancorosa.

Em outras palavras, a maioria dos residentes aqui ou não prestará atenção às suas conversas, ou começarão a resmungar e a chamá-lo de troll.

Mas não é essa a questão. A questão é que no jPrediction desde a versão 7 surgiu a possibilidade de avaliar o significado dos preditores. Para isso, após criar (treinar) um novo modelo ou carregar um modelo gravado anteriormente a partir de um arquivo, você precisa chamar o item de menu "View a significant of predicictors" ou pressionar a tecla "hot" F5:

E você pode olhar para um gráfico da importância dos preditores:

O melhor preditor é o melhor - o preditor mais significativo. Se você remover a coluna "Competitividade" desta amostra, você recebe a mensagem "Lixo dentro, Lixo fora" após o treinamento.

O pior preditor é o pior - o preditor menos significativo. Se a coluna "Risco operacional" for removida desta amostra, a generalização não se deteriorará.

Os restantes preditores marcados com "-" em Descrição são de importância média. Se eles forem removidos desta amostra, a capacidade de generalização será acentuadamente degradada.

Como você calcula o significado dos preditores?
 
SanSan Fomenko:
Como é calculado o significado do preditor?

Em muito curto (mas não muito claro), a significância do preditor é calculada através de coeficientes de ponderação obtidos após o treinamento.

Para mais detalhes, veja o algoritmo para calcular o significado do preditor no código fonte do jPrediction. Ou terei de escrever um artigo inteiro para o explicar mais claramente.

 
Mihail Marchukajtes:
Obrigado!!! Adição extremamente útil. Continuando a girar.... ....

O principal é que agora você pode calcular muito rapidamente os preditores de baixo valor e substituí-los por outros preditores. Após a sua substituição, é imperativo ver se a generalização aumentou ou não. Se não aumentou, então a mudança foi feita incorretamente, ou seja, um preditor mais significativo foi substituído por um menos significativo.

Ontem eu experimentei com citações. Rapidamente encontrei os osciladores de TA mais significativos. Mas acabaram por ser apenas 5 deles. E mais adiante, a capacidade de generalização não cresce, não importa o que você coloque nela. Então acontece que o que quer que você olhe através dos indicadores de AT e osciladores, mas na verdade todos eles são baseados nos mesmos dados - um pequeno segmento do histórico anterior (várias barras), embora eles processem esses dados de forma um pouco diferente. Todos os indicadores de AT e osciladores são os mesmos "ovos", mas de lado. Não importa como você baralha o baralho, ele contém as mesmas cartas. Todos os índices e osciladores se correlacionam muito entre si e se correlacionam muito pouco com o futuro.

A fim de aumentar a capacidade de generalização é necessário levar alguns outros dados de algum lugar que influenciam as citações, mas não são derivados das citações. Isto é, precisamos de algumas fontes de informação adicionais. Onde posso arranjá-los? Claro que podemos tentar usar os seguintes preditores: fases da lua, a quantidade de manchas solares, resultados dos jogos do time de futebol de rua, nível da água no rio Wonchka ou a quantidade de pulgas por centímetro quadrado de cão Tuzyk. Mas será que eles têm algum significado?

 
Yury Reshetov:

O principal é que agora você pode calcular muito rapidamente os preditores de baixo valor e substituí-los por outros preditores. Após a sua substituição, é imperativo ver se a generalizabilidade aumentou ou não. Se não aumentou, então a substituição não foi feita corretamente, o preditor mais significativo foi substituído por um menos significativo.

Ontem eu experimentei com citações. Rapidamente encontrei os osciladores de TA mais significativos. Mas eles eram apenas 5. E além disso, a capacidade de generalização não cresce, não me importa o que você coloca nela. Ou seja, acontece que o que quer que você tente indicadores de TA e osciladores, mas na verdade todos eles são baseados nos mesmos dados - um pequeno segmento da história anterior (várias barras), embora eles processem esses dados de forma um pouco diferente. Todos os indicadores de AT e osciladores são os mesmos "ovos", mas de lado. Não importa como você baralha o baralho, ele contém as mesmas cartas. Todos os índices e osciladores se correlacionam muito entre si e se correlacionam muito pouco com o futuro.

A fim de aumentar a capacidade de generalização é necessário levar alguns outros dados de algum lugar que influenciam as citações, mas não são derivados das citações. Isto é, precisamos de algumas fontes de informação adicionais. Onde posso arranjá-los? Claro que podemos tentar usar os seguintes preditores: fases da lua, a quantidade de manchas solares, resultados dos jogos do time de futebol de rua, nível da água no rio Wonchka ou a quantidade de pulgas por centímetro quadrado do rafeiro de Tuzik. Mas é pouco provável que sejam significativos?

Quanto à astrologia, eu não descartaria a prática de milhares de anos. Como fã, posso dizer que perder um time favorito tem um impacto negativo na produtividade. Se a cidade voadora é uma monocidade com um monopolista de recursos como Nornickel, a produção pode cair, como indiretamente indicado pela queda do nível da água no rio Vonyuchka.

É impossível adivinhar qual borboleta, onde e quando, causará um tsunami com uma aba de suas asas.

 
Yury Reshetov:

O principal é que agora você pode calcular muito rapidamente os preditores de baixo valor e substituí-los por outros preditores. Após a sua substituição, é imperativo ver se a generalidade aumentou ou não. Se não aumentou, então a substituição foi feita incorretamente, ou seja, o preditor mais significativo foi substituído por um menos significativo.

Ontem eu experimentei com citações. Rapidamente encontrei os osciladores de TA mais significativos. Mas eles eram apenas 5. E além disso, a capacidade de generalização não cresce, não me importa o que você coloca nela. Então acontece que o que quer que você olhe através dos indicadores de AT e osciladores, mas na verdade todos eles são baseados nos mesmos dados - um pequeno segmento do histórico anterior (várias barras), embora eles processem esses dados de forma um pouco diferente. Todos os indicadores de AT e osciladores são os mesmos "ovos", mas de lado. Não importa como você baralha o baralho, ele contém as mesmas cartas. Todos os índices e osciladores se correlacionam muito entre si e se correlacionam muito pouco com o futuro.

A fim de aumentar a capacidade de generalização é necessário levar alguns outros dados de algum lugar que influenciam as citações, mas não são derivados das citações. Isto é, precisamos de algumas fontes de informação adicionais. Onde posso arranjá-los? Claro que podemos tentar usar os seguintes preditores: fases da lua, a quantidade de manchas solares, resultados dos jogos do time de futebol de rua, nível da água no rio Wonchka ou a quantidade de pulgas por centímetro quadrado de cão Tuzyk. Mas é pouco provável que sejam significativos?

Tente o delta cumulativo. Distribuição cumulativa por volumes reais..... Zscore system/ Ye cjjndtcndtyyj dc` 'nj c hfpys[ gfh? vj;yj lf;t 'rpjnbxtcrb[? nfv rjhhtkzwbz ljk;yf jncencndjdfnm ^-)
 
Mihail Marchukajtes:
Tente o delta cumulativo. Distribuição cumulativa por volumes reais..... Zscore system/ Ye cjjndtcndtyyj dc` 'nj c hfpys[ gfh? vj;yj lf;t 'rpjnbxtcrb[? nfv rjhhtkzwbz ljk;yf jncencndjdfnm ^-)
E, claro, dados de outros pares, mesmo os exóticos não relacionados com a previsão...
 

Talvez alguém esteja interessado, eu encontrei um pacote que pode simular trading e construir sistemas de trading chamado quantstrat

http://www.rinfinance.com/agenda/2013/workshop/Humme+Peterson.pdf