Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 3357

Novo comentário
 
Para explicar a imagem em uma linguagem simples: para o classificador, o primeiro e o segundo caso no histograma são idênticos, pois são usados rótulos de classe. Tanto ali quanto ali há uma unidade para a classe mais provável. Após o treinamento, ele não fornecerá a probabilidade da classe, mas um menos o erro de previsão passado por sigmoide ou softmax.

Isso é totalmente inconsistente com o que você esperaria ao definir um limite de previsão.
 

Uma abordagem probabilística é boa e correta. Sempre teremos um ruído forte, e o objetivo é procurar diferenças em relação ao que teria sido no SB. A variação do ruído por si só não será suficiente para isso.

Na minha opinião, a tarefa de classificação não é adequada porque descarta significativamente as informações. Precisamos de algo como observar a distribuição do valor do movimento do preço na direção desejada e modelar como essa distribuição depende dos sinais e, em seguida, já construir um TS de acordo com o tipo dessa distribuição (se ela tiver diferenças em relação ao que seria no SB).

 
Maxim Dmitrievsky #:
Algumas novas definições novamente.
Uma última vez: o classificador é calibrado porque gera probabilidades incorretas. Elas não têm sentido em sua forma original. Supere isso.

Não conseguiria aguentar.

Não existe uma probabilidade abstrata, leia-se referência, perfeita, que não esteja vinculada a um processo aleatório.

Isso não existe.

A probabilidade de uma moeda ser lançada, etc.

Portanto, qualquer classificador fornece uma probabilidade que caracteriza esse classificador específico, o que fornece a característica de que precisamos - erro de previsão. Outro classificador fornecerá outras probabilidades com o erro de previsão de classe correspondente.

Dependendo dos preditores e de seus rótulos associados, bem como do equilíbrio das classes, surge o problema de definir um limite para dividir as probabilidades em classes. As ferramentas para essa operação, chamada de "calibração", são fornecidas acima. Também é possível fazer isso de uma forma kolkhoz.

De qualquer forma, você pode reduzir significativamente o erro de previsão das probabilidades fornecidas por um classificador específico, pois não há outras probabilidades na natureza quando se trabalha com um classificador específico. Se você não gostar das probabilidades, trabalhe com um classificador ou faça a calibração. Não há espaço para probabilidades "perfeitas" nesse processo específico, que não existem teoricamente.

Uma coisa que está clara é que a divisão em classes por um limite de 0,5 é altamente questionável e raramente funciona.

 
СанСаныч Фоменко #:

Não pude aceitar.

As probabilidades fornecidas pelo classificador não têm sentido. Elas não são probabilidades. Se você precisa delas, não pode usá-las. Não corra na frente da locomotiva e encha esse fato com novos significados. Pelo menos, lide com ele.
 
СанСаныч Фоменко #:

Não aguentei.

Não existe uma probabilidade abstrata, leia-se referencial, ideal, que não esteja ligada a um processo aleatório.

Não existe tal coisa.

A probabilidade de uma moeda ser lançada, etc.

Portanto, qualquer classificador fornece uma probabilidade que caracteriza esse classificador específico, o que fornece a característica de que precisamos - erro de previsão. Outro classificador fornecerá outras probabilidades com o erro de previsão de classe correspondente.

Dependendo dos preditores e de seus rótulos associados, bem como do equilíbrio das classes, surge o problema de definir um limite para dividir as probabilidades em classes. As ferramentas para essa operação, chamada de "calibração", são fornecidas acima. Ela também pode ser feita de forma kolkhoz.

De qualquer forma, você pode reduzir significativamente o erro de previsão para as probabilidades fornecidas por um classificador específico, porque não há outras probabilidades na natureza quando se trabalha com um classificador específico. Se você não gostar das probabilidades, trabalhe com um classificador ou faça a calibração. Nesse processo específico, não há lugar para probabilidades "perfeitas", que não existem teoricamente.

Uma coisa que está clara é que a divisão em classes por um limite de 0,5 é altamente questionável e raramente funciona.

Aqui estamos falando de erros comuns de matstat quando se usa o modelo de probabilidade errado. Por exemplo, se o ruído na regressão for de fato distribuído por Laplace e calcularmos como se fosse Gaussiano, obviamente haverá erros.

PS. Na verdade, o objetivo é retornar às origens probabilísticas do MO, que, a propósito, era chamado (pelo menos na URSS) de aprendizado estatístico em seus primórdios.)

 

Já descrevi o exemplo acima. Há um classificador que passa no OOS, mas os retornos são distribuídos em 60/40. Você não gosta disso, aumenta o limite de decisão, mas a situação não muda e, às vezes, fica ainda pior. Você se pergunta por que isso acontece.

É dada uma explicação sobre o motivo: porque no caso de uma estimativa de probabilidade real, a situação deve mudar.

É fornecida uma solução.


 
Maxim Dmitrievsky #:

Já descrevi o exemplo acima. Há um classificador que passa no OOS, mas os retornos são distribuídos em 60/40. Você não gosta disso, aumenta o limite de decisão, mas a situação não muda e, às vezes, fica ainda pior. Você se pergunta por que isso acontece.

A explicação é dada: porque no caso de uma estimativa de probabilidade real, a situação deve mudar.

Você recebe uma solução


Isso não era óbvio há muito tempo?
 
Pós-otimização - também ninguém sabe dizer, mas dizem que é colibração! Ah, sim.
 
Maxim Dmitrievsky #:

Já descrevi o exemplo acima. Há um classificador que passa no OOS, mas os retornos são distribuídos em 60/40. Você não gosta disso, aumenta o limite de decisão, mas a situação não muda e, às vezes, fica ainda pior. Você se pergunta por que isso acontece.

A explicação é dada: porque no caso de uma estimativa de probabilidade real, a situação deve mudar.

Uma solução é dada.


Entretanto, gostaria de salientar que a calibração não será uma panaceia e não é gratuita - você precisa de boas propriedades do classificador existente. Para não entrar em explicações, citarei sua segunda referência sobre o SHAD. "Em geral, é possível demonstrar que esse método funciona bem se, para cada uma das classes verdadeiras, as probabilidades previstas forem normalmente distribuídas com a mesma variância." Isso se refere à calibração Platt, mas algumas condições certamente devem ser atendidas para as outras também.

Na verdade, tudo é como no matstat - as propriedades probabilísticas do modelo usado devem corresponder aos dados em estudo.

 
Aleksey Nikolayev #:

No entanto, gostaria de salientar que a calibração não será uma panaceia e não é gratuita - você precisa de boas propriedades do classificador existente. Para não entrar em explicações, citarei sua segunda referência sobre o SHAD. "Em geral, é possível demonstrar que esse método funciona bem se, para cada uma das classes verdadeiras, as probabilidades previstas forem normalmente distribuídas com a mesma variância." Isso se refere à calibração Platt, mas algumas condições certamente devem ser atendidas para as outras também.

Na verdade, tudo é como no matstat - as propriedades probabilísticas do modelo usado devem corresponder aos dados em estudo.

Obviamente, essa é apenas uma maneira de tornar os resultados probabilísticos, pois o uso de probabilidades brutas do modelo é inútil.

1...335033513352335333543355335633573358335933603361336233633364...3399
Novo comentário