Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 3117

 
Maxim Dmitrievsky #:

Tudo isso já foi discutido aqui muitas vezes na pré-história. O primeiro modelo treinado em compra/venda é testado em novos dados. Os casos em que ele está errado são colocados na classe de "não negociar" e os demais na classe de "negociar". O segundo classificador é treinado com base nisso. Obtemos dois modelos. Um deles prevê a direção, o outro prevê se a negociação deve ser retirada. Isso proporciona flexibilidade, se apenas definirmos o limite para as negociações por meio de um modelo. Porque os dois modelos podem ser aprimorados, um por meio do outro. Descrevi o método original no último artigo. Depois, mudei para uma lógica modificada.

A propósito, essa é uma questão em aberto, pois é possível melhorar um ao outro, aparentemente, de maneiras diferentes.

Então me deparei com a inferência kozul, em que eles fazem isso de maneira semelhante.

Eu não sei.

E que há algum uso dessa filtragem pelo segundo modelo?

 
mytarmailS #:

Eu não sei.

E para que serve essa filtragem do segundo modelo?

É melhor com os novos dados.

 
Maxim Dmitrievsky #:

com base nos novos dados, é melhor

se definirmos limites de probabilidade no modelo inicialmente único, como

> 0,7 compra

< 0,3 venda

então ele também se tornará melhor tanto no teste quanto no treinamento, e haverá menos negociações naturalmente...

O segundo modelo realmente oferece algo? Estou curioso...

Houve algum teste ou comparação?

 
Maxim Dmitrievsky direção da negociação e um metamodelo que prevê a probabilidade de ganho (negociar ou não negociar):

Vamos chamar o primeiro modelo de modelo principal, que divide o espaço de recursos em compra/venda com uma linha preta. E o segundo é um metamodelo que divide o espaço total de recursos em negociar/não negociar (linha vermelha).

Agora, vamos imaginar outra variante, quando há dois metamodelos e cada um deles divide diferentes espaços de características das classes COMPRAR e VENDER em negociar/não negociar separadamente (duas linhas vermelhas).

Uma questão puramente teórica "para se pensar" é se a segunda opção é melhor. E, se for melhor, por quê. Por favor, comente.

Uma pergunta, provavelmente, até mesmo para Alexei Nikolaev, como é possível determinar o efeito dessa "intervenção". Afinal, obteremos duas distribuições de probabilidade de dois metamodelos, que podem ser comparados/avaliados/distribuídos por cantos.

Esse é um enunciado ambíguo do problema.

Acontece que acreditamos mais no segundo modelo probabilístico do que no primeiro, e usamos o segundo modelo como um filtro para o primeiro.

Ou tratamos a situação como uma operação "E", ou seja, a interseção de resultados.


É um beco sem saída, já estive lá, já fiz isso.


Não encontrei nenhum modelo que desse uma direção, porque se eles dão uma direção, mesmo externamente, é o resultado da regularização da probabilidade de direção. É por isso que a abordagem padrão do R chamada "conjunto de modelos" é sugerida, quando os resultados de dois ou mais modelos, por assim dizer, do primeiro nível, são usados como preditores em algum algoritmo de classificação do segundo nível. A propósito, se você gosta tanto de variáveis categóricas, também pode alimentá-las na entrada de um classificador. Se for possível classificar os resultados dos modelos por nível de confiança, isso pode ser ajustado por pesos. Ou seja, o segundo nível é um classificador que usa os resultados da classificação do modelo de primeiro nível como preditores. Essa abordagem é muito interessante para classes desbalanceadas obtidas por alguma regularização diferente de 0,5, por exemplo, dividimos o resultado do classificador como uma probabilidade por quantis com valores de 0,4 e 0,6. O meio está fora do mercado.

 
mytarmailS #:

Se no modelo inicialmente único colocarmos limites de probabilidade como

> 0,7 comprar

< 0,3 venda

então ele também se tornará melhor tanto no teste quanto no treinamento, e haverá menos negociações naturalmente....

Será que o segundo modelo realmente oferece alguma coisa?

Houve algum teste ou comparação?

Imagine que você tenha treinado o primeiro modelo por meio de validação cruzada e colocado todas as previsões erradas no segundo modelo para não negociar. Você já tem uma significância estatística de que o primeiro modelo está errado com mais frequência em determinados lugares e sempre negocia bem em alguns lugares. Isso pode ser filtrado pelo segundo modelo. Já é mais difícil fazer isso por meio de um modelo. Há outras variantes desse tipo de ajuste.
 
Maxim Dmitrievsky #:
Imagine que você tenha treinado o primeiro modelo por meio de validação cruzada e colocado todas as previsões incorretas no segundo modelo como uma não negociação. Você já tem a significância estatística de que o primeiro modelo tem maior probabilidade de estar errado em determinados lugares, o que pode ser filtrado pelo segundo modelo. Já é mais difícil fazer isso por meio de um modelo. Há outras variantes desse tipo de ajuste.

Bem, isso parece razoável.

 
mytarmailS #:

Bem, isso parece razoável.

Mesmo que o segundo modelo também esteja errado, ele ainda corrige de alguma forma os erros do primeiro, nesse caso, sim, mais ou menos assim. Na inferência de Kozul, há uma justificativa mais rigorosa de suas abordagens. Eu diria que é perfeitamente comprovada com rigor.

https://en.wikipedia.org/wiki/Frisch%E2%80%93Waugh%E2%80%93Lovell_theorem

 
Forester #:
Eu não tentei. Intuitivamente) Mas, como disse Marx: a prática é o critério da verdade. Se funcionar para você na prática - ótimo).

Estou tentando mudar para a segunda opção, no processo.

 
СанСаныч Фоменко #:

Uma declaração ambígua do problema.

Acontece que acreditamos mais no segundo modelo probabilístico do que no primeiro, e o segundo modelo é usado como um filtro para o primeiro.

Ou interpretamos a situação como uma operação "AND", ou seja, a interseção de resultados.


Um caminho sem saída, já passamos por isso.


Não encontrei nenhum modelo que desse uma direção, porque se eles dão uma direção, mesmo externamente, é o resultado da regularização da probabilidade de direção. É por isso que a abordagem padrão do R chamada "conjunto de modelos" é sugerida, quando os resultados de dois ou mais modelos, por assim dizer, do primeiro nível, são usados como preditores em algum algoritmo de classificação do segundo nível. A propósito, se alguém gosta tanto de variáveis categóricas, elas também podem ser inseridas na entrada de um classificador. Se for possível classificar os resultados dos modelos por nível de confiança, isso pode ser ajustado por pesos. Ou seja, o segundo nível é um classificador que usa os resultados da classificação do modelo de primeiro nível como preditores. Essa abordagem é muito interessante para classes desbalanceadas obtidas por alguma regularização diferente de 0,5, por exemplo, dividimos o resultado do classificador como uma probabilidade por quantis com valores de 0,4 e 0,6. O meio está fora do mercado.

Ensemble está próximo em termos de significado, mas distante em termos de implementação. Como a abordagem proposta pode ser usada de diferentes maneiras para obter diferentes resultados, ela é muito flexível.

Eu também fiz conjuntos, mas não funcionou.

 
Maxim Dmitrievsky #:
Imagine que você tenha treinado o primeiro modelo por meio de validação cruzada e colocado todas as previsões incorretas no segundo modelo como uma não negociação. Você já tem a significância estatística de que o primeiro modelo tem maior probabilidade de estar errado em determinados lugares, o que pode ser filtrado pelo segundo modelo. Já é mais difícil fazer isso por meio de um modelo. Há ainda outras variantes desse ajuste.

A ideia de filtragem de erros não está clara para mim.

Acontece que, se o modelo prevê 50/50, então, descartando os 50 ruins, o restante prevê 100%? Isso é apenas superaprendizagem e nada mais.


O erro de classificação decorre do fato de que os mesmos valores de preditores em alguns casos preveem corretamente e, em outros casos, não corretamente, e esse é o problema que só pode ser eliminado na etapa de filtragem da "força da relação" entre o preditor e a variável-alvo, e é completamente impossível, se Deus quiser, filtrar preditores e, com isso, reduzir o erro de classificação em 10%.