Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1978

 
Valeriy Yastremskiy:

Любой не стационарный ряд можно представить как сумму стационарных произвольной длины. Вот произвольность длины большая закавыка в задаче прогноза.

Это большое заблуждение.

 
Valeriy Yastremskiy:

Для стационарных они годятся) Простая логика для простого только работает. Для реальных рядов сложный мосх нужен)

зависит от отношения сигнал\шум. С какого-то момента перестают работать, т.к. не учитывают немарковость.

Грубо говоря, на зашумленных рядах пропадает регулярность (явные циклы), но сохраняется немарковость (если процесс с памятью). Обычный млп его не ловит, только RNN.

отсюда млп, бустинги, лес и проч. только для марковских процессов без памяти.

Пример с языком: у каждого языка определенный уровень энтропии, т.е. чередование слов в языке. При высоком уровне речь становится несвязной, например, если много слов-паразитов ну или просто вы Пётр Конов. Тогда можно уловить только из контекста, а для этого нужна память о прошлых предложениях (паттернах).

Например, вы прочли мое предложение и не знаете кто такой Петр и в каком контексте я это написал. У вас нет памяти о прошлых событиях и вы не можете их связать с текущей формулировкой, поэтому сделаете неправильные выводы.

 
Maxim Dmitrievsky:

зависит от отношения сигнал\шум. С какого-то момента перестают работать, т.к. не учитывают немарковость.

Грубо говоря, на зашумленных рядах пропадает регулярность (явные циклы), но сохраняется немарковость (если процесс с памятью). Обычный млп его не ловит, только RNN.

отсюда млп, бустинги, лес и проч. только для марковских процессов без памяти.

Пример с языком: у каждого языка определенный уровень энтропии, т.е. чередование слов в языке. При высоком уровне речь становится несвязной, например, если много слов-паразитов ну или просто вы Пётр Конов. Тогда можно уловить только из контекста, а для этого нужна память о прошлых предложениях (паттернах).

Например, вы прочли мое предложение и не знаете кто такой Петр и в каком контексте я это написал. У вас нет памяти о прошлых событиях и вы не можете их связать с текущей формулировкой, поэтому сделаете неправильные выводы.

Сигнал/шум конечно определяющее. При сильном шуме слабые регулярности потеряются, просто их невозможно будет увидеть. Но в случае ценовых рядов шум создается не извне. Шум это затухающие закономерности или слабые, короткие, даже если сильные. Хотя сути это не меняет. Закономерности которые можно выявить и остальное шум. 

 
Олег avtomat:

Это большое заблуждение.

Конечно не для любых в полном понимании слова любых. Белый шум сюда не относится, но мы его и не рассматриваем. У нас изначально ряд складывается из разных закономерных участков, при этом они разной амплитуды и длины и у нас получается ряд в котором есть шум и закономерности.

 
Valeriy Yastremskiy:

Сигнал/шум конечно определяющее. При сильном шуме слабые регулярности потеряются, просто их невозможно будет увидеть. Но в случае ценовых рядов шум создается не извне. Шум это затухающие закономерности или слабые, короткие, даже если сильные. Хотя сути это не меняет. Закономерности которые можно выявить и остальное шум. 

ну а коли шум больше чем сигнал, то это всегда оверфит или недофит (при использовании валидационной выборки). Потому что нет стабильных паттернов.

а когда шума много а паттернов мало то поди попробуй выдели сигнал

очень сложно понять почему последовательность зашумленных паттернов содержит сигнал, а один паттерн - нет. Можно же просто увеличить кол-во фичей (подаваемой истории). Но нет, так это не работает. Шум на шум дает шум. Нужно более хитрое выделение контекста, там это почему-то работает. Магия, одним словом.

 
Maxim Dmitrievsky:

ну а коли шум больше чем сигнал, то это всегда оверфит или недофит (при использовании валидационной выборки). Потому что нет стабильных паттернов.

а когда шума много а паттернов мало то поди попробуй выдели сигнал

Ну так в этом и смысл всех поисков во всех вероятностных темах, выделить закономерность и засечь момент, когда ее не стало. И выделить обычно менее проблематично и затратно)

 
Maxim Dmitrievsky:


добрый ласковый вежливый))))

 
Valeriy Yastremskiy:

добрый ласковый вежливый))))

делаю полное логирование, будет сообщать что он делает

через это потом можно будет понять что улучшить

 
Maxim Dmitrievsky:

делаю полное логирование, будет сообщать что он делает

через это потом можно будет понять что улучшить

в полном логе как в лесу. Искать сложно. Хотя будет уверенность, что ничто не пропущено.

 
Maxim Dmitrievsky:

Ну что ты там? уже разобрался как та фигня работает? 

Я только домой приехал, отдыхал всю неделю ..

Причина обращения: