Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 104

 
Dr. Trader:

O Vtreat é melhor. Avalia tudo estatisticamente, o quão bom/mau o preditor é, em geral, para prever a variável alvo, sem se ajustar a um modelo de previsão particular. Recomenda-se a utilização de preditores com pontuação máxima de 1/(número de preditores). Por exemplo, se houver 200 preditores, você pode tirar deles apenas aqueles com avaliação inferior a 1/200. É possível estimar os preditores e se todas as estimativas forem superiores ao limiar - em vez de tentar ensinar o modelo e prever novos dados sem sucesso, é melhor começar a procurar outros preditores.

Existem algumas desvantagens - o pacote funciona com preditores um por um, e não leva em conta a interação entre eles. Eu também não gosto disso, mesmo que haja preditores totalmente idênticos, ou altamente correlacionados - o vtreat não remove os repetitivos, às vezes isso é um grande problema.

Na verdade, os preditores correlacionados são maus.

Talvez o pacote exija o pré-processamento de preditores em geral, por exemplo, escalonamento, centralização, remoção correlacionada ..... como no caret

Talvez sim?

 
SanSanych Fomenko:

Na verdade, os preditores correlacionados são maus.

Talvez o pacote precise de pré-processamento de preditores em geral, por exemplo, escalonamento, centralização, remoção correlacionada ..... como em caret

Talvez sim?

A propósito, ninguém cancelou a extracção de dados. Há um artigo fantástico sobre este assunto do nosso colega aqui no site. Infelizmente, o autor não participa desta discussão.
 
Dr. Trader:

Belo kit de ferramentas que você desenvolveu para avaliar a heurística, sólido. Você provou que o método de treinamento do modelo (comitê) que você desenvolveu não é adequado para forex, mas o que segue?


Ainda não puseste um ponto no método. É intrigante porque 1/3 dos melhores modelos em treinamento e testes passam por mais 5 anos de validação com um plus. Se ao menos toda a gente estivesse a vazar.

Além disso, há outro pensamento em relação ao meu gráfico. Se um modelo é tão bom que 95% dos seus valores ficariam acima de 0 na validação, então você pode esquecer a relação validação/teste e pegar qualquer modelo treinado.

Esse é o objectivo de procurar modelos poderosos (com bons efeitos de generalização).

 
Eu sempre leio tais tópicos (não apenas neste fórum) onde eles tentam construir teorias comerciais complexas.
Algoritmos genéticos, redes neurais, fórmulas convolutas que só o autor entende, etc.

E eu sempre vejo que tais sistemas não funcionam no mercado. O monitoramento vai para zero ou para menos.
Mas no próximo tópico alguém ganha usando um Expert Advisor em dois deslizes. E eles ganham bom dinheiro.

A questão é se tudo isto faz sentido.
Porque, pela minha experiência, quanto mais simples e claro for o sistema, mais lucrativo ele é.
 
SanSanych Fomenko:

.... Mas só depois do barulho ter sido eliminado. E o facto de não haver ruído é determinado pela invariância aproximada do desempenho do modelo em diferentes amostras. Não é o valor absoluto do erro de previsão, mas o facto da igualdade aproximada dos indicadores de desempenho que (igualdade) pode ser interpretada como uma prova da ausência de sobretreinamento do modelo.

Também te quero responder.

Aqui você está olhando para a igualdade dos indicadores. Chamas-lhe falta de sobretreinamento. Mas você já tentou estimar a real ausência de sobretreinamento testando seu modelo selecionado com mais uma amostra - a amostra atrasada? A igualdade numa parte dos dados não degeneraria num modelo adequado a esses dados, e o modelo iria drenar no futuro? Eu sigo um padrão assim na minha pesquisa.

 
Leia sobre a rede elástica. É um método e um pacote. Regularização híbrida para modelos lineares. A correlação de preditores é apenas tratada aqui.
 
Alguém treina os seus modelos separadamente para si próprio e para si próprio?
 
Alexey Burnakov:

Eu também quero responder-te.

Aqui você está olhando para a igualdade dos indicadores. Chamas-lhe falta de sobretreinamento. Você já tentou avaliar a real falta de supertreinamento testando seu modelo selecionado com outra amostra grande - uma amostra atrasada? A igualdade numa parte dos dados não degeneraria num modelo adequado a esses dados, e o modelo iria drenar no futuro? Eu sigo este padrão na minha pesquisa.

Tenho o meu próprio algoritmo para peneirar o barulho.

Se aplicado, em preditores selecionados treinam o modelo, então em qualquer amostra o desempenho deste modelo é aproximadamente igual. Os meus pensamentos sobre os intervalos de confiança são daqui, para me livrar das palavras "aproximadamente iguais".

Vou dizer mais do que isso.

A prática parece diferente.

Tem que se trabalhar na janela. Por isso, para trabalhar na janela, começo a seleccionar preditores a partir do meu conjunto pré-seleccionado de preditores por rfe da carpete. Para uma determinada janela eu recebo algum subconjunto que reduz o erro em 5-7%. Faço-o uma vez por semana no H1. Este subconjunto é alterado no próximo fim-de-semana. Eu vivo assim desde o ano passado.

Mas livrar-se do barulho de antemão é uma obrigação. Se eu não o fizer, verei maravilhas.

 
Acho que não faz sentido construir dois modelos com resultados opostos:
Quem treina os seus modelos separadamente para comprar e vender?

Prevejo apenas 2 classes - "comprar" e "vender", o que significa que terei sempre algum comércio aberto. Eu trabalho com um modelo, não vejo a utilidade de fazer dois modelos que dão resultados exatamente opostos.

Mas eu gostaria de mudar gradualmente para 3 classes - "comprar"/"fechar tudo e não trocar"/"vender". Isto daria a oportunidade de negociar com uma estratégia mais complexa. Eu tentei algumas vezes, mas tive problemas com modelos de treinamento para três aulas, especialmente se o modelo for regressivo, seguido de arredondamento do resultado para as aulas.
Acho que vale a pena tentar criar dois modelos com as classes 1/0/-1 originais transformadas em 1/0/0 para o primeiro modelo(comprar apenas), e 0/0/1 para o segundo modelo (vender apenas). Isso levaria a classes desequilibradas em cada modelo (o número de exemplos com uma classe é muito maior que o outro), mas encontrei boas métricas para avaliar modelos que funcionam em tais condições - F-score e kappa. Ainda não fiz nada nesse sentido, mas tal plano parece bem possível.

 
SanSanych Fomenko:

Na verdade, os preditores correlacionados são maus.

Talvez o pacote precise de pré-processamento de preditores em geral, por exemplo, escalonamento, centralização, remoção correlacionada ..... como em caret

Talvez sim?

Não, o vtreat simplesmente não analisa as interacções preditoras, infelizmente. Estuda-os estritamente um de cada vez. Não é um pacote gráfico:(
Eu não acho que escalar ou centralizar faria qualquer diferença. E se você ativar a opção y-aware - o pacote irá escalar e centralizar os dados em si.

Artigo interessante de Vladimir, obrigado pelo link. A análise da interação entre os preditores está correta no tópico.