Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 3061

[Maxim Dmitrievsky]

Aleksey Vyazmikin #:

Talvez eu realmente não tenha entendido o propósito de tudo isso.... Mas me pareceu que o objetivo é detectar a influência de um novo fator ou pode ser considerado como um outlier do valor passado do preditor no indicador (preço ou outra coisa - a regressão está principalmente nos exemplos). Então, a tarefa deve ser detectar esses outliers quando a cronologia dos eventos permanecer inalterada (não é possível randomizar linhas de amostragem para séries temporais). E, ao que parece, esse é um evento raro ou uma mudança única. Então, basta observar as alterações na distribuição do índice preditor em uma janela de tempo fixa. Esses preditores que sofreram essa alteração são a causa (ou talvez não - aqui eu não entendi a ideia deles de como determinar a causa ou o efeito), e se essas alterações em diferentes partes do teste levarem com mais frequência ao efeito "o modelo não funciona", então precisamos fazer com que o modelo funcione com mais cuidado com esses preditores....

Preditores e tratamento são coisas diferentes. A causalidade trabalha com resultados para determinar o ATE (efeito médio do tratamento) se não houver características envolvidas, ou o CATE (condicional ... ...) se houver covariáveis (características), levando em conta alguma influência externa (por exemplo, uma campanha publicitária, que é o tratamento). Isso serve para determinar se houve um efeito no grupo de controle. Então, com esse efeito, você pode analisar e melhorar seu modelo ou alguma métrica.

... é você que está tentando descobrir como aplicar algo que não sabe como aplicar.

faça um breve curso introdutório gratuito

[Aleksey Vyazmikin]

Maxim Dmitrievsky #:

Os preditores e o tratamento são diferentes. A causal trabalha com resultados, para determinar o ATE (efeito médio do tratamento) se não houver características envolvidas, ou o CATE (condicional ... ...) se houver covariáveis (características), levando em conta alguma influência externa (por exemplo, uma campanha publicitária, que é o tratamento). Isso serve para determinar se houve um efeito no grupo de controle. Então, com esse efeito, você pode analisar e melhorar seu modelo ou alguma métrica.

... é você quem está tentando descobrir como aplicar algo que não sabe como aplicar.

faça um pequeno curso introdutório gratuito.

Eu li dois artigos desses autores - foram eles que me deram as ideias em conjunto com o vídeo.

https://habr.com/ru/companies/ru_mts/articles/485980/

https://habr.com/ru/companies/ru_mts/articles/485976/ 

Bem, estou trabalhando em uma tarefa semelhante, por isso tenho minha própria visão das nuances. Mas sim, a nova terminologia é confusa.

Subtrair probabilidades de previsões de modelos - bem, não acho que isso seja bom, especialmente se você souber como essas probabilidades são distribuídas no CB.

Se quiser fazer experiências com bibliotecas especializadas nessas questões, compartilhe seus resultados e sua visão da situação.

Contanto que a ideia principal da abordagem deles seja aceita, o principal é a experiência e o conhecimento do analista sobre o assunto da análise :)

[Maxim Dmitrievsky]

Aleksey Vyazmikin #:

Li dois artigos desses autores, que foram a base para as ideias em conjunto com o vídeo.

https://habr.com/ru/companies/ru_mts/articles/485980/

https://habr.com/ru/companies/ru_mts/articles/485976/ 

Bem, estou trabalhando em uma tarefa semelhante, portanto, tenho minha própria visão das nuances. Mas, sim, a nova terminologia é confusa.

Subtrair probabilidades de previsões de modelos - bem, não acho que seja uma boa ideia, especialmente se você souber como essas probabilidades são distribuídas no CB.

Se fizer experiências com bibliotecas especializadas nessas questões, compartilhe seus resultados e sua visão da situação.

Contanto que a ideia principal de sua abordagem seja incorporada, o principal é a experiência e o conhecimento do analista sobre o assunto da análise :)

o kit de ferramentas é oferecido, trabalhe com ele.

Se você pensar de forma muito abstrata, todos estão trabalhando em uma "tarefa semelhante" (só que não conseguem formular qual).

[Aleksey Vyazmikin]

Maxim Dmitrievsky #:

o kit de ferramentas está sendo oferecido, descubra.

Se você pensar de forma muito abstrata, todos estão trabalhando em uma "tarefa semelhante" (só que não conseguem formular qual).

Tenho um tópico separado no fórum para resolver o problema. O objetivo é apenas estabelecer se um novo fator que influencia a distribuição de probabilidade do preditor (segmento quântico) aparecerá ou não.

Embora eu não tenha trabalhado nisso por um longo tempo. Mais precisamente, preciso transferir ideias do papel para o código.

É difícil para mim lidar com isso sem conhecimento básico de python ou er. Não tenho tempo livre e me canso rapidamente. Embora os comprimidos tenham ajudado um pouco, eu os tomo quando tenho vontade....

[Maxim Dmitrievsky]

Aleksey Vyazmikin #:

Tenho um tópico separado no fórum sobre a solução do problema. O objetivo é estabelecer se um novo fator que influencia a distribuição de probabilidade do preditor (segmento quântico) aparecerá ou não.

Embora eu não tenha trabalhado nisso por um longo tempo. Mais precisamente, preciso transferir ideias do papel para o código.

É difícil para mim lidar com isso sem conhecimento básico de python ou er. Não tenho nenhum tempo livre e me canso rapidamente. Embora os comprimidos tenham ajudado um pouco, eu os tomo quando tenho vontade....

Tenho que definir tarefas que eu possa fazer. Não há como ler o que está escrito. A frequência tem uma linha do tempo... muito evidente. Então, meu dedo tocou a cruz por reflexo ❌

[Aleksey Vyazmikin]

Maxim Dmitrievsky #:
Você precisa definir suas próprias metas. Não há como ler o que está escrito. A frequência tem uma escala de tempo... muito evidente. Então, meu dedo reflexivamente cutucou a cruz ❌

Sim, foi a escala de tempo que usei, pois é a única maneira de padronizar as medidas independentes nessa amostra, e o valor da aplicação não é perdido.

Concordo que o problema é difícil e talvez eu não encontre a solução. No entanto, vejo que esse é o principal motivo pelo qual os modelos param de funcionar - a distribuição de deslocamento de probabilidade no intervalo do preditor muda muito com o tempo. E aqui podemos procurar o motivo pelo qual isso acontece, para detectar o momento do surgimento de um novo fator, ou procurar as condições prévias para a variabilidade da história da "vida", uma espécie de tarefa de sobrevivência.

Se observarmos sua abordagem por meio desse conhecimento, então você indiretamente procura áreas no período de treinamento em que as distribuições são estáveis para os preditores que são significativos naquele momento, filtrando outras áreas com uma distribuição diferente de acordo com alguns critérios. No entanto, o fato de essas áreas da amostra serem diferentes para diferentes preditores faz com que um período de amostragem muito grande seja cortado. Tente reduzir o número de preditores a cada iteração - isso reduzirá o conflito de viés de probabilidade entre os preditores e, portanto, poderá aumentar o Recall.

[Maxim Dmitrievsky]

A frequência não tem uma linha do tempo. Estou apenas trabalhando com erros de modelo :) essa abordagem foi expressa há muito tempo, não sabia sobre a técnica de elevação. Descobriu-se que ela fazia quase a mesma coisa. Qual é o objetivo de analisar essas distribuições? Visualização do que já está claro.

[Aleksey Vyazmikin]

Maxim Dmitrievsky #:
A frequência não tem uma linha do tempo. Estou apenas trabalhando com erros de modelo :) essa abordagem foi expressa há muito tempo, não sabia sobre a técnica de elevação. Descobriu-se que ela fazia quase a mesma coisa. Qual é o objetivo de olhar para essas distribuições? A visualização de algo que já está claro.

Talvez eu esteja errado quanto ao termo, de que outra forma você chama a frequência de um evento em um determinado momento no tempo?

Não estou falando de visualização... estou falando de como lidar com esse problema de forma mais eficaz.

[Maxim Dmitrievsky]

Aleksey Vyazmikin #:

Talvez eu esteja errado com o termo, como se chama a frequência de um evento em um determinado momento no tempo?

Não estou falando de visualização... estou falando de como trabalhar de forma mais eficaz com esse problema.

Está tudo lá no tópico, você pode pesquisar o resto no Google. Eu coloquei um livro sobre causalidade.

Exatamente, por causa de muitos termos que não estão no tópico, o significado do que está acontecendo desaparece. Embora a tarefa em si possa ser muito simples.

[Vladimir Perervenko]

Não sei o que o atraiu para esse tópico. Para os usuários do R, aqui estão vários pacotes sobre esse tópico. Podem ajudar a entender ou usar. R 4.2.3/4.3.0

other attached packages:
 [1] regmedint_1.0.0               PSweight_1.1.8                MatchIt_4.5.3                
 [4] InvariantCausalPrediction_0.8 mboost_2.9-7                  stabs_0.6-4                  
 [7] glmnet_4.1-7                  Matrix_1.5-4                  grangers_0.1.0               
[10] dagitty_0.3-1                 CompareCausalNetworks_0.2.6.2 CERFIT_0.1.0                 
[13] causalweight_1.0.4            ranger_0.15.1                 causalsens_0.1.2             
[16] CausalQueries_0.1.0           Rcpp_1.0.10                   dplyr_1.1.2                  
[19] causalPAF_1.2.5               causaloptim_0.9.7             igraph_1.4.2                 
[22] CausalMBSTS_0.1.1             KFAS_1.5.0                    CausalKinetiX_0.2.1          
[25] CausalImpact_1.3.0            bsts_0.9.9                    xts_0.13.1                   
[28] zoo_1.8-12                    BoomSpikeSlab_1.2.5           Boom_0.9.11                  
[31] CausalGAM_0.1-4               gam_1.22-2                    foreach_1.5.2                
[34] causaleffect_1.3.15           causaldrf_0.4.2               causaldata_0.1.3             
[37] causalCmprsk_1.1.0            causal.decomp_0.1.0       

Somente aplicando o "sr" até o momento.

Boa sorte