Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3303

 
fxsaber #:

Историю торговли бэктеста смотрел. Проехали.

Разобрался, дело было в особенностях авторазметки на меньших тф.

 
fxsaber #:

Не в этом дело. Вопрос изначальный был про слив при добавке спреда. А здесь еще сложнее - спред есть и граалит, но сгенерирован.

Я удивляюсь что вы удивляетесь.

Около 10 лет тому назад, когда разработал первый робот на MQL5, на тестере получил миллионы. Но поскольку считал что это невероятно, начал искать в чем дело.

Я тогда не знал что "Every Tick" это не реальные тики а генерируются. На этом сайте есть алгоритм и схемы генерации этих тиков.

Тогда еще брокеры не собирали тиковые значения. И это сделал сам. Собирал реальные тики и по порциям хранил в файлах около 6 месяцев. Применил их на тестере и получил совсем другую картину.

Спред тут не причем, если это не HFT торговля или скальпер. 

Во время оптимизации параметров настройки, не трудно найти такое сочетание параметров, при котором робот начинает работать синхронно с генерируемыми тиками. 

Т.е. поймает закономерность генерации тиков, вот так как здесь:

Думаю что об этом все знают.


 

Вот списочек поддерживаемых от самого сайта

https://onnx.ai/sklearn-onnx/supported.html

Спасибо за готовые примеры в статье.

Supported scikit-learn Models#
  • onnx.ai
, # This version of the operator has been available since version 13. Absolute takes one input data (Tensor ) and produces one output data (Tensor ) where absolute value, y = abs(x), is applied to the tensor elementwise. T tensor(uint8), tensor(uint16), tensor(uint32), tensor(uint64), tensor(int8), tensor(int16), tensor(int32), tensor(int64...
 
Petros Shatakhtsyan #:


Тогда еще брокеры не собирали тиковые значения. И это сделал сам. Собирал реальные тики и по порциям хранил в файлах около 6 месяцев. Применил их на тестере и получил совсем другую картину.


вам повезло что решились когда-то заниматься толковым делом..это сейчас брокеры уже не собирают тиковые котировки, а берут/предоставляют откуда-то причёсанные; возможно связано с обновлениями серверной части MT.

Подчас невооружённым глазом видно - вот свежие тики, а вот пошло общее гонево. И даже с минутками

на самом деле архивы реальных  тиков какими они действительно были, поступали от конкретного DC - очень дорогой товар. (даже через подчёркивание)

 
Petros Shatakhtsyan #:

Я удивляюсь что вы удивляетесь.

Не могу объяснить, так вернее. Одно дело - написать тиковый скальпер для сгенерированных, сделав грааль. Другое - совсем не скальпер, с закрытием через SL, который был выставлен заранее. На сгенерированных тиках SL исполняется с отрицательным проскальзыванием. Но все равно граалит.
 
Maxim Kuznetsov #:

вам повезло что решились когда-то заниматься толковым делом..это сейчас брокеры уже не собирают тиковые котировки, а берут/предоставляют откуда-то причёсанные; возможно связано с обновлениями серверной части MT.

Подчас невооружённым глазом видно - вот свежие тики, а вот пошло общее гонево. И даже с минутками

на самом деле архивы реальных  тиков какими они действительно были, поступали от конкретного DC - очень дорогой товар. (даже через подчёркивание)

Вы ошибаетесь. Каждый брокер сам собирает реальные тики и на тестере на следующий день можно получить реальные тики предыдущего дня. 

И именно те тики, которые после фильтрации подает брокер на МТ5. Это можно проверить в режиме "Every tick based on real ticks", или скопировать.

 

Хорошая бумага, как правильно делать репрезентацию ВР для нейросетей. От ФФТ, конечно, можно избавиться. И дальше сравнение разных моделей.

Принципиальное отличие в том, что препроцессинг встроен в архитектуру сети. Но можно сделать и отдельно.

LSTM курит в сторонке, потому что не учитывает интерпериодные вариации.

Бустинг тоже где-то внизу рейтинга, на основании их тестов.
 
Maxim Dmitrievsky #:

Хорошая бумага, как правильно делать репрезентацию ВР для нейросетей. От ФФТ, конечно, можно избавиться. И дальше сравнение разных моделей.

Принципиальное отличие в том, что препроцессинг встроен в архитектуру сети. Но можно сделать и отдельно.

LSTM курит в сторонке, потому что не учитывает интерпериодные вариации.

Бустинг тоже где-то внизу рейтинга, на основании их тестов.
Уровень текста весьма высокий, но они применяют свою науку к рядам с мультипериодичностью, а это явно не цены. Хотя, конечно, местные радиолюбители поспорят)
 
Не так давно на форуме кто-то давал название эффекта (не нашёл пока), из-за которого ряды близкие к СБ кажутся имеющими период. С этим эффектом связано немало позорных моментов в науке, когда посредством Фурье "находили" периодичность в процессах, да и радиолюбители из-за него на форуме никогда не переведутся)
 
Кто-нибудь может мне обяснить проблему множественного тестирования.
Почему чем больше было итераций при оптимизации тем больше вероятность переобучения


Нет я понимаю что чем больше ищешь(итерации) тем больше вероятность найти что то случайное что будет выглядеть как НЕслучайное..  

Но если мы придумали какую то идею ,а  потом подобрали параметры к ней за 10 итераций , а не за 10000 то можно ли это считать непереобучной моделью?

Ведь сама фраза "мы придумали" подразумевает  тоже некий мыслительный перебор (итерации)


Откуда конечной модели знать какие это были итерации, мозговые или копютерные и есть ли разница между тем и другим?


Вопрос возник после почтения статьи Прадо

Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance
  • papers.ssrn.com
We prove that high simulated performance is easily achievable after backtesting a relatively small number of alternative strategy configurations, a practice we