Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2751

 
СанСаныч Фоменко #:

Не могу с этим согласиться.

Рынок меняется, причем временные интервалы изменения разные и независимые друг от друга.

Я когда-то умел писать советники, которые жили от 3 до 6 месяцев. Оптимизировал в выходные. Потом они умирали, причем в течение короткого времени вполне достаточного для слива депозита. Нго недостаточного для оптимизации. В конечном итоге положение было еще хуже: через некоторое время выяснялось, что была граница, отодвинувшись от которой невозможно было подобрать параметры. 

Есть более длительные периоды изменения рынка: 5-7 лет. Но результат такой же как и для месячных периодов. Бот умирает навсегда. В личку отправлю конкретный бот из маркета - тут нельзя.

Поэтому вся эта иде "вне выборки" - чушь собачья. Бот все равно имеет время жизни, мы не знаем сколько: 3 мес или 7 лет. Смерь бота путаем с очередной просадкой и сливаем депо.

В идеале переучивать по следующей свече. Если работаем на тиках, то на следующем тике, на Н1 то по приходу следующего часа.

Спасибо, вот так совсем понятно, почему на каждом баре))) И почему после минуток идешь в тики)))

 
JeeyCi #:


если KNN - это по сути K-means (забугорное название k-nearest-neighbors ?), то он (K-means) использует Евклидово расстояние...  "когда переменные не коррелированны  -- расстояние Махаланобиса совпадает с обычным евклидовым расстоянием"... в LDA ... ну а если коррелированы - то Mahalanobis лучше, как отметила вчера в общих чертах 

Ничто не мешает использовать любое другое расстояние вместо евклидового. Махаланобиса, конечно же, не получится использовать, поскольку это расстояние между точкой и выборкой, а не между двумя точками.

 
СанСаныч Фоменко #:

Заниматься тем, что в принципе не может дать нужного результата, не вижу смысла.

На всякий случай оговорюсь, что вовсе не собираюсь указывать что вам нужно делать. Скорее, просто вслух размышляю что делал бы сам в случае, когда есть алгоритм дающий хорошие результаты, но плохо реализуемый в виде советника (хотя всегда стараюсь избегать подобного варианта). Скорее всего, попытался бы получить схожий результат с помощью более простых в реализации алгоритмов. Помимо прочего, получился бы некоторый анализ того, чем именно хорош алгоритм.

Начал бы с KNN и если бы он дал похожий результат, то дело в хорошем подборе общего набора предикторов. Если результат сильно хуже, то возможно дело именно в выборе поднабора предикторов в каждый момент. Для проверки этой гипотезы попробовал бы использовать локальную регрессию (что-нибудь вроде LOESS), поскольку регрессия уже позволяет сравнивать значимость предикторов. Дальнейшие шаги уже по результатам анализа. Кстати, с появлением матриц в mql5 линейную регрессию стало несложно реализовать прямо в нём. 

 
Maxim Dmitrievsky #:
Верно. За отсутствием априорных предположений, используется второй тип. Интересно как Саныч это видит.

По моим представлениям, делается априорное предположение о том, что каждый класс задаётся гауссовым распределением, которое со временем постепенно меняется, вследствие нестационарности. Без подобного предположения использование подхода с расстоянием Махаланобиса является малоосмысленным.

Лично мне подобное предположение кажется слишком сильным, чтобы быть верным для любого инструмента на любом промежутке времени.

 
Aleksey Nikolayev #:

На всякий случай оговорюсь, что вовсе не собираюсь указывать что вам нужно делать. Скорее, просто вслух размышляю что делал бы сам в случае, когда есть алгоритм дающий хорошие результаты, но плохо реализуемый в виде советника (хотя всегда стараюсь избегать подобного варианта). Скорее всего, попытался бы получить схожий результат с помощью более простых в реализации алгоритмов. Помимо прочего, получился бы некоторый анализ того, чем именно хорош алгоритм.

Начал бы с KNN и если бы он дал похожий результат, то дело в хорошем подборе общего набора предикторов. Если результат сильно хуже, то возможно дело именно в выборе поднабора предикторов в каждый момент. Для проверки этой гипотезы попробовал бы использовать локальную регрессию (что-нибудь вроде LOESS), поскольку регрессия уже позволяет сравнивать значимость предикторов. Дальнейшие шаги уже по результатам анализа. Кстати, с появлением матриц в mql5 линейную регрессию стало несложно реализовать прямо в нём. 

Смешно сказать, но любые варианты машек-сглаживания НЕ обладают предсказательной способностью, включая  LOESS, пробовал.

 
СанСаныч Фоменко #:

Смешно сказать, но любые варианты машек-сглаживания НЕ обладают предсказательной способностью, включая  LOESS, пробовал.

В общем то не смешно и не информативно. тоже отказался от усреднений, но понимаю, что диапазон моих исследований мал, не формализован и не конкретен. Конкретности в старых исследованиях не получить, но хотя бы могли их описать формализованно для понимания. Какие усреднения исследованы, в каком диапазоне и на каких периодах.

ЗЫ мои данные 18-20 годы, машки 3, 14, 60, 120 на всех ТФ четверки, немного ББ. Лучший результат на ТФ 1 час, ровный слив спреда. Подбор параметров вручную.

 
СанСаныч Фоменко #:

Смешно сказать, но любые варианты машек-сглаживания НЕ обладают предсказательной способностью, включая  LOESS, пробовал.

МА-шки по природе не обладают предсказательной способностью. Они просто не про это, будь хоть матрицами (чего конкретно тут хотят - перемножить вектор цен на N-мерную матрицу, дабы получить профит; весь сыр-бор про подготовку и коррекцию матрицы).

Они про "какую цену считать действительной на T времени назад", что вообще говоря крайне важно. Что было T времени назад, с высоты уже прожитого. Они про более-менее интерпретацию(понимание) истории. 

 
СанСаныч Фоменко #:

использовал classDist

1) тренировал/переобучал модель  когда classDist около 1 , те с фильтрацие по хорошим состояниям с точки зрения алгоритма

2) подавал  classDist в качестве признака на всю выборку

3) фильтровал по разным состояниям

4) пробовал просто обучать и постонно переобучать


во всех случаях предсказательная способность не лучше стохастика те почти рандом...

Так что есть вопросы к реальности высказываний

 
Maxim Kuznetsov #:

МА-шки по природе не обладают предсказательной способностью. Они просто не про это, будь хоть матрицами (чего конкретно тут хотят - перемножить вектор цен на N-мерную матрицу, дабы получить профит; весь сыр-бор про подготовку и коррекцию матрицы).

Они про "какую цену считать действительной на T времени назад", что вообще говоря крайне важно. Что было T времени назад, с высоты уже прожитого. Они про более-менее интерпретацию(понимание) истории. 

По классике, наибольшую предсказательную способность представляют близкие к текущей цены/уровни/что-то еще. Пробуем такие ТС и видим откровенно слабый результат. Машки здесь не виноваты.

В реальности это не соблюдается, на текущую цену могут оказывать влияние отдаленные изменения, а ближайшие дезориентировать.

Поэтому я не верю в переобучение в скользящем окне, хотя иногда это выглядит неплохо, как в моей статье про энтропию.

Интересно определить реперные точки на истории, которые влияли на будущее с отложенным эффектом. Это можно делать в т.ч. в скользящем окне оригинальными подходами.

Если надо, могу расписать подробнее. В общем случае это может выглядеть как плавающее или смещающееся окно, не фиксированное. Современные алгоритмы для обработки последовательностей работают примерно по такому же принципу. Но для форы будет своя специфика, которую они не учитывают.

Чтобы определить специфику нужно немного потеоретизировать в сторону фракталов и их свойств. Например, рассмотреть временной ряд как фрактальный, тогда будет на что опираться.

Тогда уровни/паттерны/что-то еще приобретают реальный смысл и представляют частное описание системы с известными свойствами. Тогда все это можно уложить в одну теорию и общее понимание.

Есть разные попытки двигаться в ту сторону, в том числе дробное дифференцирование. Но нужно что-то более явное и сильное.

Эконофизика двинулась куда-то не туда, по моему мнению, может быть я не до конца ее понимаю. Много формул и мало смысла.

think about it

 
Maxim Dmitrievsky #:

По классике, наибольшую предсказательную способность представляют близкие к текущей цены/уровни/что-то еще. Пробуем такие ТС и видим откровенно слабый результат. Машки здесь не виноваты.

В реальности это не соблюдается, на текущую цену могут оказывать влияние отдаленные изменения, а ближайшие дезориентировать.

Поэтому я не верю в переобучение в скользящем окне, хотя иногда это выглядит неплохо, как в моей статье про энтропию.

Интересно определить реперные точки на истории, которые влияли на будущее с отложенным эффектом. Это можно делать в т.ч. в скользящем окне оригинальными подходами.

Если надо, могу расписать подробнее. В общем случае это может выглядеть как плавающее или смещающееся окно, не фиксированное. Современные алгоритмы для обработки последовательностей работают примерно по такому же принципу. Но для форы будет своя специфика, которую они не учитывают.

Чтобы определить специфику нужно немного потеоретизировать в сторону фракталов и их свойств. Например, рассмотреть временной ряд как фрактальный, тогда будет на что опираться.

think about it

Что даст фракталность?

Причина обращения: