Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 3341

[mytarmailS]

Maxim Dmitrievsky #:

O AB realmente faz com que o C apareça, ou um conjunto de outras letras?

Bem, essa é a questão, existe uma associação...
Como entender se é apenas uma associação ou se AB realmente causa C

[СанСаныч Фоменко]

Maxim Dmitrievsky #:

Afinal de contas, você não foi banido do Google, foi? Você pode ler como a inferência estatística difere da inferência causal, certo?

Maxim Dmitrievsky #:

Vamos direto ao ponto: qual é a diferença entre a inferência associativa e a causal?

O autor se deu ao trabalho de declarar os limites de aplicabilidade da regressão linear. Ponto negativo.

Os metaalunos não são um conjunto de modelos, menos um ponto.

De que outra seção do livro você discorda, ou melhor, o que mais você não entendeu do livro?

Você, é claro, é o maior guru e pode se dar ao luxo de dar pontos às pessoas, mas eu não posso, mais uma vez escrevendo especificamente na expectativa de que você também responda especificamente.

De que outra seção do livro você discorda, ou melhor, o que mais você não entendeu do livro?

Nunca escrevi em nenhum lugar que discordo.

Sou contra novos rótulos para conceitos bem conhecidos

Estátudo lá e colocar neblina em coisas conhecidas é muito inútil.

O autor se deu ao trabalho de declarar os limites de aplicabilidade da regressão linear. Menos um ponto.

Não vi no texto:

1. a regressão linear é aplicável a processos aleatórios estacionários

2. o resíduo do ajuste da regressão linear deve ser normalmente distribuído.

Se esse não for o caso em seus exemplos, e o inverso não for declarado, então, uma ninharia de todo o seu raciocínio.

Todo o raciocínio no livro sobre causa e efeito é o raciocínio usual de "falsa correlação"

O Meta Learnersnão é um conjunto de modelos, menos a pontuação.

De acordo com o texto do livro,os "Meta-alunos" são o resultado/consequência do ajuste/previsão de modelos convencionais. Se o autor não tivesse rotulado mais uma vez os conceitos mais comuns com novos rótulos, eu teria tido a oportunidade de expressar meus pensamentos com mais precisão.

Portanto, vou esclarecer.

O conjunto de modelos é uma ideia antiga e bem estabelecida. A entrada é a saída de modelos de nível inferior, a saída é um sinal. Há muitos métodos para combinar os resultados de modelos de nível inferior - combinando "metaaprendizes". O autor considera três variantes de combinação dos resultados do ajuste, a segunda e a terceira variantes combinam os resultados do modelo gradient bousting. Na terceira variante, os resultados do primeiro nível são combinados de acordo com o modelo de gradiente de busting.

Esse texto ininteligível é o significado, a novidade em tudo isso:

def ps_predict(df, t): 
    return g.predict_proba(df[X])[:, t]
    
    
x_cate_train = (ps_predict(train,1)*mx0.predict(train[X]) +
                ps_predict(train,0)*mx1.predict(train[X]))

x_cate_test = test.assign(cate=(ps_predict(test,1)*mx0.predict(test[X]) +
                                ps_predict(test,0)*mx1.predict(test[X])))

[Maxim Dmitrievsky]

mytarmailS #:

Bem, essa é a questão, há uma associação aparente...
Como você sabe se é apenas uma associação ou se é realmente a AB que causa a C

Não está claro se essas linhas são conhecidas imediatamente ou se elas aparecem uma letra de cada vez. O que faz com que essas letras apareçam? Se for apenas uma sequência de padrões, a tarefa não parece muito formalizada. Por que o comprimento da cadeia foi escolhido e tudo o mais. Talvez os dados não estejam representados da forma correta.

Leia o livro, talvez você encontre a resposta.

[Maxim Dmitrievsky]

Sanych, kozul é um tópico complexo, e nem todo mundo consegue entendê-lo de imediato. Se você não entender algo, isso não significa que há algo errado escrito ali.

Não sofra se não quiser. Caso contrário, será como na parábola sobre as contas.

[СанСаныч Фоменко]

Maxim Dmitrievsky #:

Sanych, kozul é um tópico complexo, e nem todo mundo consegue entendê-lo de imediato. Se você não entender algo, isso não significa que há algo errado escrito ali.

Não sofra se não quiser.

Kozul - Essa é uma ação publicitária e o livro inteiro nada mais é do que uma propaganda da novidade incomum da novidade das disposições mais comuns da estatística matemática. Mas a estatística matemática é um assunto realmente difícil.

Aqui está o resultado de centenas de páginas de texto:

To the code at last! First, we have the first stage, which is exactly the same as the T-Learner.

from sklearn.linear_model import LogisticRegression

np.random.seed(123)

# first stage models
m0 = LGBMRegressor(max_depth=2, min_child_samples=30)
m1 = LGBMRegressor(max_depth=2, min_child_samples=30)

# propensity score model
g = LogisticRegression(solver="lbfgs", penalty='none') 

m0.fit(train.query(f"{T}==0")[X], train.query(f"{T}==0")[y])
m1.fit(train.query(f"{T}==1")[X], train.query(f"{T}==1")[y])
                       
g.fit(train[X], train[T]);
Now, we impute the treatment effect and fit the second stage models on them.

d_train = np.where(train[T]==0,
                   m1.predict(train[X]) - train[y],
                   train[y] - m0.predict(train[X]))

# second stage
mx0 = LGBMRegressor(max_depth=2, min_child_samples=30)
mx1 = LGBMRegressor(max_depth=2, min_child_samples=30)

mx0.fit(train.query(f"{T}==0")[X], d_train[train[T]==0])
mx1.fit(train.query(f"{T}==1")[X], d_train[train[T]==1]);
Finally, we make corrected predictions using the propensity score model.

def ps_predict(df, t): 
    return g.predict_proba(df[X])[:, t]
    
    
x_cate_train = (ps_predict(train,1)*mx0.predict(train[X]) +
                ps_predict(train,0)*mx1.predict(train[X]))

x_cate_test = test.assign(cate=(ps_predict(test,1)*mx0.predict(test[X]) +
                                ps_predict(test,0)*mx1.predict(test[X])))

Até onde eu entendo de programação, o código fornecido NÃO é um código funcional: funções que não sabem de onde vêm, os resultados não são atribuídos a nada, os argumentos das funções são do zero.

[Maxim Dmitrievsky]

"...para que não a pisoteiem com os pés e, voltando-se, a derrub em"

[СанСаныч Фоменко]

Maxim é irremediavelmente incapaz de ter uma discussão substantiva.

Há alguém no fórum que entenda a cópia do código do livro que forneci?

Eu mesmo aplico diferentes abordagens para combinar os resultados de vários modelos, conheço, mas não aplico outros, mas não vi algo semelhante, talvez por causa da incompreensibilidade do código.

[Maxim Dmitrievsky]

😀😀😀

A fase de negação, aquela que vem depois da surpresa, já começou a acabar? Ela está demorando muito. Quando começará a fase de aceitação?

[СанСаныч Фоменко]

Uma seção maravilhosa no apêndice dos livros, falando sobre a total inutilidade de toda essa cajuína:

"

Por que as métricas de previsão são perigosas para modelos causais".

e a conclusão da seção:

Em outras palavras, o desempenho preditivo em um conjunto de dados aleatórios não traduz nossa preferência de quão bom é um modelo para inferência causal .

Tradução do Yandex

Por que o desempenho preditivo é perigoso para modelos causais

Em outras palavras, o desempenho da previsão em um conjunto de dados aleatórios não traduz nossa preferência por quão bom é um modelo para inferência causal

Ou seja, para o autor, o mais importante é a inferência causal em si, e tentar usá-la estraga a beleza de toda a construção.

Trapaça!

[Maxim Dmitrievsky]

Isso significa apenas que, por meio de modelos excessivamente treinados, com um grande número de fatores de confusão, a inferência causal é complicada. Já escrevi sobre isso várias vezes. E é perfeitamente natural, e até mesmo os otimizadores discutem sobre coisas tão simples. Bem, isso se você ler o texto e não tirá-lo do contexto.

Mas não é cômico discutir qualquer coisa com pessoas que ficam babando. Você tem a mente muito estreita. Mesmo que você não saiba quem é um professor e confunda conjunto com estaca.

Você nem mesmo distingue matstat de kozul, para você tudo é a mesma coisa (devido à ignorância).

Há quanto tempo você se interessa por MO em geral, em termos de tempo? Apenas por interesse ocioso. Você mesmo pode escrever um classificador ou criar um NS de arquitetura arbitrária a partir de um construtor como o Pytorch. Ou pelo menos seu próprio testador? É um mistério coberto pela escuridão.

Ou seja, o que você pode opor ao autor do livro? Por que você deveria ser ouvido e não ele, por exemplo?)