Обсуждение статьи "Брутфорс-подход к поиску закономерностей (Часть VI): Циклическая оптимизация" - страница 3

 
fxsaber #:

 Но вот специально искать красоту по Шарпу, R^2 или критерием в данной статье видится сомнительным. Возможно, не прав.

Очень прав
 
mytarmailS #:
Очень прав

Очень прав что что-то видится сомнительным ))) пусть даже так, но все это трескотня, пока кто-то очень прав или не прав я уже это все в продукт превратил. Что за терминология, очень не очень... Эти кривые это просто способ поджать среднеквадратичное отклонение поближе к математическому ожиданию, народ ну кончайте уже... Работа с ограниченной выборкой вас заставит это делать, поскольку это единственный способ увеличить доверие к данной выборке.

 
Evgeniy Ilin #:

Очень прав что что-то видится сомнительным ))) пусть даже так, но все это трескотня, пока кто-то очень прав или не прав я уже это все в продукт превратил.

факт превращения чего то в продукт не говорит о том что он что то полезное далает

 

по остальному отвечу позже

 
mytarmailS #:

по остальному отвечу позже

Просто подганять ТС под красивую кривульку прибыли это переобучение, даже если у вас есть OOS

Вы знакомы с ошибкой множественного тестирования


Ознакомтесь с этими материалами


P-взлом и переобучение бэктестов « Математический инвестор (mathinvestor.org)

Как переобучение на истории в финансах приводит к ложным открытиям « Математический инвестор (mathinvestor.org)

Переобучение при тестировании на истории и ошибка вероятности post-hoc « Математический инвестор (mathinvestor.org)

backtest-prob.pdf (davidhbailey.com)

AI in Finance: how to finally start to believe your backtests [3/3] | by Alex Honchar | Towards Data Science

Demystifying the Probability of Backtest Overfitting: A Step-by-Step Guide with Python Code and Visual aids | by Francesco Landolfi | Python in Plain English


И тогда вы поймете что вы просто занимаетесь переобучением, и не важно какой критерий вы используете :

способ поджать среднеквадратичное отклонение поближе к математическому ожиданию или наклон линии регресии  или максимизация прибыли или шарп или....


Что делать:

Вы сейчас просто подганяете красивую кривульку через множество итераций, ошибка множестенного тестирования показывает что даже на рандоме можно собрать ТС которая покажет красивую кривульку и на тесте и на трейне.


А нужно 

1) Разработать систему симуляций, доверительных интервалов и брать кривульку как результат не одно расчета торговли ТС как у вас, а например 50 симуляций ТС в разных средах, среднее этих 50 симуляций брать как результат фитнес функции который надо максимизировать/минимизировать.


2) В ходе поиска лучшей кривульки ( из п.1  ) алгоритмом оптимизации , каждую итерацию нужно коррекировать на прдмет множественного тестирования 

Проблема множественного тестирования на практике / Хабр (habr.com)


Как то так..

 
mytarmailS #:

Просто подганять ТС под красивую кривульку прибыли это переобучение, даже если у вас есть OOS

Вы знакомы с ошибкой множественного тестирования


Ознакомтесь с этими материалами


P-взлом и переобучение бэктестов « Математический инвестор (mathinvestor.org)

Как переобучение на истории в финансах приводит к ложным открытиям « Математический инвестор (mathinvestor.org)

Переобучение при тестировании на истории и ошибка вероятности post-hoc « Математический инвестор (mathinvestor.org)

backtest-prob.pdf (davidhbailey.com)

AI in Finance: how to finally start to believe your backtests [3/3] | by Alex Honchar | Towards Data Science

Demystifying the Probability of Backtest Overfitting: A Step-by-Step Guide with Python Code and Visual aids | by Francesco Landolfi | Python in Plain English


И тогда вы поймете что вы просто занимаетесь переобучением, и не важно какой критерий вы используете :

способ поджать среднеквадратичное отклонение поближе к математическому ожиданию или наклон линии регресии  или максимизация прибыли или шарп или....


Что делать:

Вы сейчас просто подганяете красивую кривульку через множество итераций, ошибка множестенного тестирования показывает что даже на рандоме можно собрать ТС которая покажет красивую кривульку и на тесте и на трейне.


А нужно 

1) Разработать систему симуляций, доверительных интервалов и брать кривульку как результат не одно расчета торговли ТС как у вас, а например 50 симуляций ТС в разных средах, среднее этих 50 симуляций брать как результат фитнес функции который надо максимизировать/минимизировать.


2) В ходе поиска лучшей кривульки ( из п.1  ) алгоритмом оптимизации , каждую итерацию нужно коррекировать на прдмет множественного тестирования 

Проблема множественного тестирования на практике / Хабр (habr.com)


Как то так..

Я это уже слышал. Все что красиво все это переобучение.. ну да конечно фитнес функции и ищем не пойми что, критерии поиска тоже не пойми какие..  Фитнес функция... У меня вообще не нейросеть если что. Проблемы понятны. Это просто проблемы ограниченной выборки, я вам кратко скажу, вы просто не вникали в мои слова. Накидали мне сто пятьсот статей, как будто есть у нас время сидеть и читать чтобы вам что-то доказать. То что вы предлагаете это понятно, но чтобы это все собрать в продукт и дать людям вы до пенсии будете это все считать и не факт что получите свой вожделенный грааль... Ресурсы ограничены и время ограничено, лично у меня, если у вас его больше ради бога углубляйтесь. Я много о чем слышал, статьи не читал но эти проблемы они очевидны и без статей, для человека который думает.

 
Evgeniy Ilin #:

Я это уже слышал. Все что красиво все это переобучение.. ну да конечно фитнес функции и ищем не пойми что, критерии поиска тоже не пойми какие..  Фитнес функция... У меня вообще не нейросеть если что. Проблемы понятны. Это просто проблемы ограниченной выборки, я вам кратко скажу, вы просто не вникали в мои слова. Накидали мне сто пятьсот статей, как будто есть у нас время сидеть и читать чтобы вам что-то доказать. То что вы предлагаете это понятно, но чтобы это все собрать в продукт и дать людям вы до пенсии будете это все считать и не факт что получите свой вожделенный грааль... Ресурсы ограничены и время ограничено, лично у меня, если у вас его больше ради бога углубляйтесь. Я много о чем слышал, статьи не читал но эти проблемы они очевидны и без статей, для человека который думает.

Судя по вашему ответу ничерта вам непонятно...
Зря тратил время.. Больше так не буду
 
mytarmailS #:
Судя по вашему ответу ничерта вам непонятно...
Зря тратил время.. Больше так не буду

Ну а я вижу что вам ничерта не понятно, и кто прав? Ваше суждение это лишь ваше суждение и не более. Я например вижу что вы начитались умных статей и сыпите тут ссылками выдавая себя за мега трейдера, а по факту никто это читать не будет. Видал я таких как вы, много умных слов знаете, но толку ноль. Самостоятельно нужно разбираться и выводить формулы, исследовать, иметь свой опыт и свою позицию. Я и криптой занимался и ставками на спорт и все от и до знаю, делать мне нечего читать ваши статейки. Все что мне надо я вывожу сам, беру тетрадь и пишу формулы. 

 
mytarmailS #:

А нужно 

1) Разработать систему симуляций, доверительных интервалов и брать кривульку как результат не одно расчета торговли ТС как у вас, а например 50 симуляций ТС в разных средах, среднее этих 50 симуляций брать как результат фитнес функции который надо максимизировать/минимизировать.


2) В ходе поиска лучшей кривульки ( из п.1  ) алгоритмом оптимизации , каждую итерацию нужно коррекировать на прдмет множественного тестирования 

А есть примеры, когда кто-либо применял такой подход и доводил его до практического результата? Вопрос без издевки, правда интересно.

 
Kristian Kafarov #:

А есть примеры, когда кто-либо применял такой подход и доводил его до практического результата? Вопрос без издевки, правда интересно.

Я применял и применяю. 
Да и не только я, все эти подходы широко извесны и применяються в науке, медицине итд..  (ето общеизвесная мировая практика) 

Если хотите цифр относительно рынка то скажем так,  то что предлагает автор статьи это обычная самая примитивная подгонка под историю (переобучение)  каторая  работает на новых данных практически никогда... 
На нормальном ЯП это все пишеться в 15 строк кода,  но автор тратит на это месяцы потому что как он говорит "ему дорого время" и гордо называет эту бесполезную ерунду "продуктом" 

А то что я попытался осветить работает минимум десятикратно лучше примитивной подгонки. 
 
mytarmailS #:
Я применял и применяю. 

Интересно было бы увидеть конкретные примеры. Понятно, что многие просто применяют (пусть и успешно) и молчат. Но должны же у кого-то быть и развернутые описания, что человек делал, что получил, и как это дальше торговало.