Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3340

Новый комментарий
 
Maxim Dmitrievsky #:

я не знаю что это за алфавит и где здесь явная ассоциация

каждая строка это новое наблюдение

в каждой строке есть повторение  А В С

А В асоциируеться с С

 
mytarmailS #:

каждая строка это новое наблюдение

в каждой строке есть повторение  А В С

А В асоциируеться с С

Ну как минимум сравнить частоту их появления с чатстотой совместного появления других букав, наверное. И природу данных надо понимать.

На самом ли деле АБ вызывает появление С, или набор других букв

Тем более что они не подряд идут

 
Maxim Dmitrievsky #:

На самом ли деле АБ вызывает появление С, или набор других букв

Ну так в этом и вопрос, асоциация есть на лицо..
Как понять это просто асоциация или на самом деле АБ вызывает С

 
Maxim Dmitrievsky #:

В конце концов, вас же не забанили в гугле? вы же можете прочесть, чем статистический вывод отличается от вывода причинно-следственного?

Maxim Dmitrievsky #:
Давайте по существу: Чем отличается ассоциативная связь от причинно-следственной?

Автор удосужился изложить границы применимости линейной регрессии. Минус балл.

Мета учащиеся - это не ансамбль моделей, минус балл.

С каким еще разделом книги вы не согласны, вернее что еще вы не поняли из книги?

Вы, конечно, величайший гуру и можете себе позволить раздавать людям баллы, а я нет, в очередной раз пишу конкретно в ожидании, что и Вы будете отвечать конкретно.


С каким еще разделом книги вы не согласны, вернее что еще вы не поняли из книги?

Я нигде и никогда не писал, что не согласен.

Я против новых этикеток на хорошо известные понятия

Все это есть и наводить туман на известные вещи очень не хорошо.  

Автор удосужился изложить границы применимости линейной регрессии. Минус балл.

Не видел в тексте:

1. Линейная регрессия применима для стационарных случайных процессов

2. Остаток от подгонки линейной регрессии должен быть нормально распределен.

Если в его примерах это не так, а обратное не указано, то грош цена всем его рассуждениям.

Все рассуждения в книге про причины и следствие - это обычные рассуждения на тему "ложной корреляции"


Мета учащиеся - это не ансамбль моделей, минус балл.

По тексту  книги "Мета учащиеся" - это результат/выход  подгонки/предсказания обычных моделей. Если бы автор в очередной раз не навешивал новые ярлыки на самые обычные понятия, то для меня появилась бы возможность более точно выражать свои мысли.

Поэтому уточню.

Ансамбль моделей - старая и хорошо проработанная идея. На входе - выход моделей нижнего уровня, на выходе сигнал. Существует много методов объединения результатов моделей нижнего уровня - объединения "мета учащихся". Автор рассматривает три варианта объединения результатов подгонки, во втором и третьем варианте объединяются результаты модели градиентного бустинга. В третьем варианте выходы первого уровня объединяются в соответствии 

Вот этот не понятный текст является смыслом, новизной во всем этом:

def ps_predict(df, t): 
    return g.predict_proba(df[X])[:, t]
    
    
x_cate_train = (ps_predict(train,1)*mx0.predict(train[X]) +
                ps_predict(train,0)*mx1.predict(train[X]))

x_cate_test = test.assign(cate=(ps_predict(test,1)*mx0.predict(test[X]) +
                                ps_predict(test,0)*mx1.predict(test[X])))
 
mytarmailS #:

Ну так в этом и вопрос, асоциация есть на лицо..
Как понять это просто асоциация или на самом деле АБ вызывает С

Непонятно, эти строки сразу известны или по одной букве появляются. Что приводит к появлению этих букв. Если это просто последовательность паттернов, то задача выглядит не очень формализованной. Почему выбрана именно такая длина строки и всякое такое. Может быть данные вообще представлены в неправильном виде.

почитай книжку, может найдешь ответ

 

Саныч, козул - это сложная тема, понять с разбегу ее могут не только лишь все. Если вы что-то не поняли, это не значит, что там что-то неправильно написано.

Не мучьтесь, если не хотите. Иначе получается как в притче про бисер.

 
Maxim Dmitrievsky #:

Саныч, козул - это сложная тема, понять с разбегу ее могут не только лишь все. Если вы что-то не поняли, это не значит, что там что-то неправильно написано.

Не мучьтесь, если не хотите.

Козул - это рекламный ход и вся книга не более, чем реклама необыкновенности новизны самых обычных положений математической статистики. А вот  математическая статистика - это реально сложная тема.

вот результат сотен страниц текста:

To the code at last! First, we have the first stage, which is exactly the same as the T-Learner.

from sklearn.linear_model import LogisticRegression

np.random.seed(123)

# first stage models
m0 = LGBMRegressor(max_depth=2, min_child_samples=30)
m1 = LGBMRegressor(max_depth=2, min_child_samples=30)

# propensity score model
g = LogisticRegression(solver="lbfgs", penalty='none') 

m0.fit(train.query(f"{T}==0")[X], train.query(f"{T}==0")[y])
m1.fit(train.query(f"{T}==1")[X], train.query(f"{T}==1")[y])
                       
g.fit(train[X], train[T]);
Now, we impute the treatment effect and fit the second stage models on them.

d_train = np.where(train[T]==0,
                   m1.predict(train[X]) - train[y],
                   train[y] - m0.predict(train[X]))

# second stage
mx0 = LGBMRegressor(max_depth=2, min_child_samples=30)
mx1 = LGBMRegressor(max_depth=2, min_child_samples=30)

mx0.fit(train.query(f"{T}==0")[X], d_train[train[T]==0])
mx1.fit(train.query(f"{T}==1")[X], d_train[train[T]==1]);
Finally, we make corrected predictions using the propensity score model.

def ps_predict(df, t): 
    return g.predict_proba(df[X])[:, t]
    
    
x_cate_train = (ps_predict(train,1)*mx0.predict(train[X]) +
                ps_predict(train,0)*mx1.predict(train[X]))

x_cate_test = test.assign(cate=(ps_predict(test,1)*mx0.predict(test[X]) +
                                ps_predict(test,0)*mx1.predict(test[X])))

Насколько я понимаю в программировании, то приведен НЕ работающий код: неизвестно откуда взявшиеся функции, результаты ничему не присваиваются, аргументы функций от балды.

 
"...чтобы они не растоптали его ногами своими и, обернувшись, не растерзали вас"
 

Максим безнадежен- совершенно не способен вести дискуссию по существу.

Есть ли кто-нибудь на форуме, кто понимает приведенный мною копию кода из книги?

Сам применю разные подходы к объединению результатов нескольких моделей, знаю, но не применяю еще некоторое количество,  но чего-то подобного не видел, может из-за непонятности кода.

 
😀😀😀

Фаза отрицания, та, которая после удивления, начала уже заканчиваться? Что-то надолго затянулась. Когда фаза принятия начнётся?
1...333333343335333633373338333933403341334233433344334533463347...3510
Новый комментарий
Причина обращения: