Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 3353

 
Maxim Dmitrievsky #:
O pensamento em lote está na moda. Essas não são as probabilidades, elas são assim chamadas por causa do loess fi usado para estimar a probabilidade.

Como obter probabilidades de classe reais?

Não há outra maneira de pensar sobre isso! Usamos algoritmos MO prontos para uso que são acompanhados por um conjunto de funções adicionais. Tudo junto é chamado de "pacote".

O que são"probabilidades de classe real"? Por exemplo, a função

predict(object, newdata, type = c("vector", "probs", "both","F"))
retorna "estimativas de classe de probabilidade". Nenhuma outra probabilidade além de "estimativas" pode estar contida no algoritmo.



 

Não briguem, pessoal, estamos lendo vocês.

abram as fechaduras ;)


 
СанСаныч Фоменко #:

Não há outra maneira de pensar! Usamos algoritmos de MO prontos que são acompanhados por um conjunto de funções adicionais. Tudo junto é chamado de "pacote".

O que são"probabilidades de classe real"? Por exemplo, a função

retorna"estimativas de classe de probabilidade". O algoritmo não pode conter nenhuma outra probabilidade além de "estimativas".
A questão não é sobre o que ele pode conter. É sobre como obter probabilidades de classe confiáveis. Para que você possa ter certeza de que, com uma probabilidade de classe de 0,8, 80% dos casos foram previstos corretamente. E você poderia usar um limite, por exemplo. A saída do classificador não faz isso na maioria dos casos, repito novamente. Eles superestimam ou subestimam "por design". É por isso que o limite não funciona. As probabilidades reais ocorrem quando eles não superestimam nem subestimam.

Você já demonstrou que não sabe. Portanto, há mais a aprender. Portanto, "precisamos dominar todos os MOEs" e nos livrar do pensamento em lote.
 

Parece que não se trata de uma estimativa pontual de probabilidade, mas de sua estimativa de intervalo. Para a matstat, essa é uma abordagem comum - não apenas para obter uma estimativa numérica específica de probabilidade, mas também para obter um intervalo no qual o valor verdadeiro dessa probabilidade estimada se enquadra com uma determinada precisão (probabilidade). Aqui há alguma dificuldade de compreensão, porque o conceito de probabilidade participa de duas hipóstases diferentes - tanto o valor estimado em si quanto a precisão de sua estimativa. E essas probabilidades são bem diferentes)

Embora eu não tenha estudado a previsão conforme em detalhes, posso estar errado.

 
Maxim Dmitrievsky #:
A questão não é sobre o que ele pode fazer. É sobre como obter probabilidades de classe confiáveis. Assim, você pode ter certeza de que, com uma probabilidade de classe de 0,8, 80% dos casos são previstos corretamente. E você poderia usar um limite, por exemplo. O resultado do classificador não é verdadeiro na maioria dos casos, repito novamente. Eles superestimam ou subestimam "por design". É por isso que o limite não funciona. As probabilidades reais ocorrem quando eles não superestimam nem subestimam.

Não é isso que você tem. O valor de 0,8 citado é uma das probabilidades de classe. Aqui está um histograma das probabilidades de classe.


E eu o tenho exatamente assim e de nenhuma outra maneira, porque se for de outra forma, significa treinamento excessivo. Para mim, em um limite fixo, a incompatibilidade do erro de previsão no OOV e no OOS e no arquivo VNE é o principal sinal de treinamento excessivo. O limite está funcionando bem. E "probabilidades reais" é algo fictício que não tem nada a ver com o código real e a terminologia usada nesse caso.

 
СанСаныч Фоменко #:

O valor de 0,8 fornecido é um dos valores de probabilidade de classe. Aqui está um histograma das probabilidades de classe.


Eu faço exatamente assim e de nenhuma outra forma, porque se for diferente, significa treinamento excessivo. Para mim, em um limite fixo, a incompatibilidade do erro de previsão no OOV e no OOS e no arquivo VNE é o principal sinal de treinamento excessivo. O limite está funcionando bem. E "probabilidades reais" é algo fictício que não tem nada a ver com o código do mundo real e a terminologia usada para ele.

Como você percebeu que seu limite funciona perfeitamente?
Para você, isso é fantasia e, para outra pessoa, é algo comum.
 
Aleksey Nikolayev #:

Parece que não se trata de uma estimativa pontual de probabilidade, mas de sua estimativa de intervalo. Para a matstat, essa é uma abordagem comum - não apenas para obter uma estimativa numérica específica de probabilidade, mas também para obter um intervalo no qual o valor verdadeiro dessa probabilidade estimada se enquadra com uma determinada precisão (probabilidade). Aqui há alguma dificuldade de compreensão, porque o conceito de probabilidade participa de duas hipóstases diferentes - tanto o valor estimado em si quanto a precisão de sua estimativa. E essas são probabilidades bem diferentes)

Embora eu não tenha me aprofundado na previsão conforme em detalhes, posso estar errado.

Estamos falando de uma abordagem ligeiramente diferente, antes de alguém pesquisar no Google :)
 
Maxim Dmitrievsky #:
Como você percebeu que seu limiar estava funcionando perfeitamente?
Para você, isso é fantástico e, para alguns, é comum.
Erro de previsão de correspondência no OOV e OOS e no arquivo INE
 
СанСаныч Фоменко #:
Erro de previsão de correspondência no ALE e OOS e no arquivo SNE
Como você percebeu que o classificador fornece as probabilidades corretas? Não apenas os valores no intervalo. Você está lendo o que está sendo escrito para você?

Se você definir um limite de 0,8, 80% das negociações serão lucrativas? E se for 0,51?

É quase certo que você não terá isso. Dê uma olhada.
 
Maxim Dmitrievsky #:
Como você percebeu que o classificador fornece as probabilidades corretas? Não apenas os valores no intervalo. Você está lendo o que está sendo escrito para você?

As probabilidades dos modelos são dadas por estatísticas sobre a amostra de treinamento.

Assim, sem uma amostra representativa, elas não são precisas, portanto, supere isso :)

Ou descubra em que consiste o modelo e reponha o peso das folhas de acordo com o algoritmo que você criou...