Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3127

 
Aleksey Vyazmikin #:

Речь о дрейфе целевой была по сути  - изменения её статистических свойств на временном интервале...

что зависит от дрейфа признаков

если кривую зависимости построить от гиптоетичеко-теоретического дрейфа признаков (CATE среди домохозяек), то получите эластичность изменения свойств целевой
 
Maxim Dmitrievsky #:

что зависит от дрейфа признаков

если кривую зависимости построить от гиптоетичеко-теоретического дрейфа признаков (CATE среди домохозяек), то получите эластичность изменения свойств целевой

К сожалению, не понял Ваш ответ. Что конкретно надо сделать? И что это значит " гиптоетичеко-теоретического дрейфа признаков" - это от всех или от каждого по отдельности? Вы это пробовали делать в питоне? Для A/B тестирования мы знаем точку перехода, а тут такой точки нет - постепенное изменение.

Дрейф предикторов может проявляться изменением дисперсии и изменением распределения вероятности.

Соответственно, в первом случае логика осталась в прошлой выборке, но метод жадности её просто не сможет вытащить.

Во втором случае, изменилась логика последствий событий, описываемых предикторами.

Отдельно тут можно отметить дрейф вызванный отсутствием нормализации данных. В нашем случае актуально, когда цена уходит сильно из диапазонов, а предикторы это не учитывают. К примеру измерение чего либо только в пунктах.

 

Значит колода плохо перетасована

bias - variance tradeoff

 
Maxim Dmitrievsky #:

Значит колода плохо перетасована

bias - variance tradeoff

Максим, учитывая твои такие высказывания и познания в рынках, позволю себе объяснить тебе, что значит выражение " Хвост виляет собакой".

Знаю, что у тебя это вызовет гнев и недовольство. Меня это не пугает.

Поясняю.

Хвост собаки это график который ты видишь слева за нулевым баром, а вот эта самая да СОБАКА будет справа.

Собаку надо понимать и уважать как и остальных форумян. Тогда у тебя появится шанс к успеху. Почитай книжки по психологии.))) 

 
Maxim Dmitrievsky #:

Значит колода плохо перетасована

bias - variance tradeoff

В том то и дело, что колоду нельзя тасовать, если есть дрейф данных. Нужно его прогнозировать, и возможно генерировать признаки с учетом его, ну если он имеет какой то выраженный вектор, а не просто колебание в диапазоне.

Тут открыл для себя интересный алгоритм "Isolation Forest", который теоретически может зафиксировать аномалии/выбросы в выборке для обучения и на новых данных.

В теории его можно использовать для фильтрации исходной выборки и игнорирования сигналов при поступлении новых данных, если они будут сильно отличаться от тех, на которых было обучение.

Есть желание совместно разобраться в этом?

Подробней можно почитать, к примеру, тут.

Примечания к машинному обучению Python алгоритм обнаружения аномальных точек - Isolation Forest - Русские Блоги
  • russianblogs.com
Примечания к машинному обучению Python алгоритм обнаружения аномальных точек - Isolation Forest, Русские Блоги, лучший сайт для обмена техническими статьями программиста.
 
Aleksey Vyazmikin #:

В том то и дело, что колоду нельзя тасовать, если есть дрейф данных. Нужно его прогнозировать, и возможно генерировать признаки с учетом его, ну если он имеет какой то выраженный вектор, а не просто колебание в диапазоне.

Тут открыл для себя интересный алгоритм "Isolation Forest", который теоретически может зафиксировать аномалии/выбросы в выборке для обучения и на новых данных.

В теории его можно использовать для фильтрации исходной выборки и игнорирования сигналов при поступлении новых данных, если они будут сильно отличаться от тех, на которых было обучение.

Есть желание совместно разобраться в этом?

Подробней можно почитать, к примеру, тут.

На этапе определения биаса с учетом его изменчивости, надо тасовать. Для этого делается кросс-фитинг (аналог стабильности по Санычу). Изменчивость этого биаса может быть вообще нелинейной, поэтому через простые умозаключения эта проблема не решается. Я научился частично решать, но всегда хочется лучше.

Тоже смотрел в сторону аномалий, но пока козул более интересен.
 
Maxim Dmitrievsky #:
Забаньте уже этих пациентов, наконец )
Форум в помойку превращают.

Если я в двух постах превратил в помойку то Ты создал масштабный мусорник в котором руководишь.

Тогда давай по теме.

В каком временном диапазоне МО по твоему мнению способно качественно прогнозировать?

 
Maxim Dmitrievsky #:
На этапе определения биаса с учетом его изменчивости, надо тасовать. Для этого делается кросс-фитинг (аналог стабильности по Санычу). Изменчивость этого биаса может быть вообще нелинейной, поэтому через простые умозаключения эта проблема не решается. Я научился частично решать, но всегда хочется лучше.

Без детектирования причины не продуктивно использовать разные популярные методы. Поэтому хочется мерить изменчивость данных не моделями, а всё же отдельно взятыми предикторами с пониманием причины проявления изменения.

 
Maxim Dmitrievsky #:
Рот закрой

Я понимаю, что  с прогнозируемой возможностью у тебя проблемы, но чему тогда ты учишь людей по МО?

Допустим в автомобилестроении есть дороги на которые могут опираться МО и аппаратные средства, а на рынках за 0 баром чистая дорога на все стороны горизонта.

Если ТЫ думаешь сузить или расширить участок собачьего хвоста, то это даст тебе преимущество. Отнюдь.  

 
Aleksey Vyazmikin #:

Без детектирования причины не продуктивно использовать разные популярные методы. Поэтому хочется мерить изменчивость данных не моделями, а всё же отдельно взятыми предикторами с пониманием причины проявления изменения.

Можно каждый отдельный так померить. Фантазии нет предела. Это просто матстат и МО, как бы как применишь то и получишь.

Пробуйте аномалии, это попроще. По козулу больше не буду объяснять не читавшим ничего.