Достаточность выборки - страница 3

 
Mihail Marchukajtes:

К сожалению регулярная пере оптимизация это единственная защита от скоротечно меняющегося рынка когда в основе системы лежит статичный полином 40 сделок условно это примерно 1-2 месяца на М15. При такой обучающей выборки хватит 10 сделок на ООС что бы понять насколько модель адекватна рынку ну и от 5 и до 10 сделок рабочих поверьте вполне достаточно заработать, если учесть что это примерно неделя по времени. Раз в неделю делать оптимизацию самое оно. Просто Вы не понимаете суть игры. Устойчивость должна быть не в системе а в результате получаемых оптимизаций. Если вы стабильно получаете пусть и не долговечные но хорошие модели то это успех. К сожалению в мире не существует устойчивых систем по отношению к рынку по принципу поставил и забыл. Единственно что могут быть адаптивные системы которые и будут работать незначительно дольше систем опирающихся на статичные параметры, но преимущество это спорно. НО тут ведь вот какой нюанс. Когда у вас есть стратегия, которая имперически способна проработать 100 сделок и Вы это знаете, Вы видили это уже не раз. Так вот начиная работать по ней вы будете всё равно стоять перед выбором. Просадка это или уже начался слив и поверьте угадать это будет не просто. То есть продолжать по ней работать дальше, ведь всего лишь 25 сделка идёт или уже пора переоптимизировать. И веря в эту цифру 100 можете стать заложником, потому что именно на этой оптимизации на которой вы решили доверить ей свои кровные она проработала всего лишь 25 сделок и дальше ни в какую. То ли дело у меня. Я чётко знаю что больше 5-6 сделок ей лучше не доверять и по сути вся работа сводится не к статистике каждой сделки, а к статистики серии. Прибыльная была эта серия или нет. Естественно минус такого подхода в том что нужно в 95% случаях получать хорошую модель выбрав её из тысячи, но тут важна метода ибо помните что не важен сам полином, а важен метод его получения, где 5-6 рабочих сделок это статистика а всё что выше просто удача и для систем с потенциально большим количеством доверительных сделок даже для адаптивных систем. Просто когда такая система начнёт просаживатся Вы никогда не узнаете просадка это всего лишь или настройкам  уже каюк.

При увеличении обучающей выборки качество обучения резко падает и есть определённый порог  качества к которому лучше не приближаться, но и маленькая выборка то же не есть гуд поэтому приходится балансировать, как то так.....

Не спорю, но есть нюанс) Вот мы и подошли к такому важному вопросу, как понимание сути системы. Статистика и показатели системы вторичны, первично понимание сути, т.е. что влияет на результат системы и по каким законам.

Если вы понимаете что происходит при изменении рынка, как изменения влияют на вашу систему, и следовательно какие параметры нужно проверять-корректировать регулярно, то это хорошо. Можно просто сквозную оптимизацию делать не понимая что происходит,

вот это я называю - не имеет смысла. У вас например как? Можете объяснить суть изменений? Например - на прошлой неделе были какие-то параметры 5,10,50.  После ре-обучения вы отобрали 7,8,40. Вы можете сказать - было 5 стало 7 потому то и тому то и т.д.?

Это имеет право на жизнь и даёт прибыль. Но тогда ближе к главному вопросу - Вы понимаете что ваша система основывается на том допущении, что те характеристики рынка, которые влияют на параметры вашей ТС, изменяются плавно, без турбулентностей?

именно поэтому обучив на 40 и проверив на 10, вы знаете что за следующие 5 сделок рынок вероятнее всего не успеет сильно изменится, т.к. меняется "плавно". Согласны?

И теперь главный вопрос - Вы понимаете что это допущение о "плавности" изменений - это и есть главная закономерность на которой базируется ваша ТС, и многие подобные, и эта закономерность тоже не может не меняться?

Т.е. через какое-то время рынок уже не будет настолько "плавным", чтобы вам хватало на 5 сделок, и вы тоже так же не сразу поймёте - сломалась закономерность или просто период неудачный? И вы не будете знать насколько это долго продлиться, менять систему или продолжать делать всё так же и получать убыточные сделки.

Надеюсь я вам объяснил что и тот и другой подход (обучение на бОльших выборках) имеет риски схожей природы - изменение закономерностей на которых они базируются.

Если у вас есть большая история таких ре-обучений, вы пробовали найти повторяющиеся настройки? Разброс оптимальных параметров не высокий? Что было бы если бы вы поставили несколько наборов пар-ров из оптимального поля, разделив риски. Ради интереса я бы даже проверил.

 
Aleksey Mavrin:


Формулировка задачи: сколько сделок надо совершить по этой стратегии на OOS чтобы с 95% вероятностью расхождение показателя % положит.сделок этой OOS с бесконечной OOS не превысило заданную погрешность в 10%.

Ответ и Решение  полагаю будет интересен всем.

Переформулирую задачу: Как добиться вероятности 95% утверждения, что погрешность не превысила 10%? 

Алексей, это называется достоверность. Вероятность того, что вероятностное утверждение верно. 

 
Вы всё говорите через какое то время, через какое то время. Какое время если я перетренировываю её каждую неделю и тем самым подстраиваю модель под текущие реалии, делая её адекватной сдесь и сейчас, а не через пресловутые 100 сделок. Я просто не даю время рынку опомнится, как я уже тут как тут с новой моделью. И мне не важно что там поменялось в рынке, сильно аль мало ли, важно чтоб это учитывала модель и всё тут. Но отвечая на Ваш вопрос о выборку скаже что ООС должна быть 25% от Тест, а работа модели от 50% до 100% размера ООС. Вопросы?
 
Mihail Marchukajtes:
Вы всё говорите через какое то время, через какое то время. Какое время если я перетренировываю её каждую неделю и тем самым подстраиваю модель под текущие реалии, делая её адекватной сдесь и сейчас, а не через пресловутые 100 сделок. Я просто не даю время рынку опомнится, как я уже тут как тут с новой моделью. И мне не важно что там поменялось в рынке, сильно аль мало ли, важно чтоб это учитывала модель и всё тут. Но отвечая на Ваш вопрос о выборку скаже что ООС должна быть 25% от Тест, а работа модели от 50% до 100% размера ООС. Вопросы?

Интересно знать, как вы делаете пере-тренировку её каждую неделю. Делаете новою переоптимизацию  с подбором новых параметров ?

Если да, то это надо делать на всех валютных парах, поскольку каждая из них требует свои параметры. Это надо делать и еще на разных типах счетов, а также для разных брокеров.

Вот я вижу вы не пользуетесь с генетическим тестированием в клоуде.

 
Aleksey Mavrin:

Внимание - Очень грубая модель. Куча допущений. Высокообразованным но при этом слабонервным не читать ) шутка)

Как проверить стратегию на переобученность, или по другому как проверить устойчивая ли стратегия на OOS или подогнана.

Допустим вы оптимизировали свою стратегию и получили устраивающий результат. Замечу что оптимизация здесь подразумевается не столько перебор параметров , сколько всеобщая оптимизация путем анализа и нахождения обобщающих правил.

Допустим стратегия простейшая. Жесткие SL, TP 1/4, позиции держатся до упора. Результат  вас устроил 50% положит. сделок на истории 10 лет. всего сделок 100.

Допустим что рынок на IS и OOS  не поменял свои закономерности, на основе которых вы строили стратегию - это вот ключевое допущение, в реальности всё сложнее, но надо же от чего то отталкиваться.

Из этих допущений полагаем, что на бесконечно большой OOS ваша стратегия (если она не подогнана) показывает такой же результат c  погрешностью не более 10%. Т.е. вас устроит 40% положительных сделок при тех же SL, TP на бесконечной OOS (реальной торговле)

Формулировка задачи: сколько сделок надо совершить по этой стратегии на OOS чтобы с 95% вероятностью расхождение показателя % положит.сделок этой OOS с бесконечной OOS не превысило заданную погрешность в 10%.

Ответ и Решение  полагаю будет интересен всем.

Не существует решения. Достоверность не зависит от количества реализаций. При этом достоверность является вероятностью непревышения погрешностью заданного значения. Пример от Норберта Винера (текст по памяти) :

" В таком - то районе (Англия, начало 40-х) замечено десантирование сил противника в количестве от 0 до 40 человек. " Сообщение признано абсолютно достоверным,- в этом районе немцы сбросили несколько грузовых парашютов. 

 
Petros Shatakhtsyan:

Интересно знать, как вы делаете пере-тренировку её каждую неделю. Делаете новою переоптимизацию  с подбором новых параметров ?

Если да, то это надо делать на всех валютных парах, поскольку каждая из них требует свои параметры. Это надо делать и еще на разных типах счетов, а также для разных брокеров.

Вот я вижу вы не пользуетесь с генетическим тестированием в клоуде.

Нет конечно, я пользуюсь сторонним оптимизатором для поиска коэфицентов полинома и каждый раз набор входных данных разный. Это же нейросеть, а не набор входных параметров. Тут инструмент тоньше, чувствительней что ли...