Где грань между подгонкой и реальными закономерностями? - страница 32

 
joo:

Говорим про осы-шмосы, семплы-мемплы, а никто ни слова не сказал, а возможно ни у кого и мысли не возникало, а применимы ли такие подходы (разделение на Sample, OOS и др.) ко всем ТС без исключения? Если применимы не ко всем, то к каким не применимы? Я задал вопрос Решетову, подводящей к этой теме, но он не посчитал нужным ответить.

Попробуем разобраться.

По времени нахождении в рынке каждого отдельного трейда (именно каждого отдельного, так ТС может вести несколько параллельных трейдов одновременно) ТС-ки можно разделить на два типа:

1. ТС с заранее неизвестным временем каждого трейда. К этому типу относятся все ТС, в которых заранее не известно, когда будет следующий сигнал на вход в трейд (и будет ли он вообще) и в некоторых системах заранее не известно, когда будет сигнал на выход.

2. ТС с заранее известным наперед максимальным временем трейда. К этому типу относятся системы, в которых сигнал на вход имеется строго периодично, на каждом баре например, или в определенный день недели в определенное время. На выход сигнал так же всегда есть, он не может не есть, так как заранее определен максимальный срок жизни каждого трейда. Условием выхода из трейда может быть окончание срока, или достижение стопов.


Какие мысли возникают, если делить ТС на такие типы? Что из этого следует, в рамках топика? Послушаю мнения, а потом выскажусь сам.

помоему подогнать их можно одинаково. Да, у первых время нахождения в трейде размыто, но оно тоже ограничено. Главное, как отметил Figar0 анализ результатов. Конечно, если основная прибыль такой системы приходится на несколько сделок, которые находились в рынке максимальное время (по факту тестирования), то вероятность что это подгонка высока. Если же основная прибыль была достигнута в сделках со среднем временем удержания (т.е. таких сделок было много - стат.достоверность), то это более достоверно. Да, для систем с огнаничением макс.времени удержания позы такой анализ не нужен, но и в них м.б. заложена подгонка за счет tp>>sl или sl>>tp. Тут поможет только значительное увеличение статистики (кол-ва сделок на истории). Потому что, чтобы статистика по системе была достоверной, должно быть достаточно много реализаций каждого исхода системы - как положительных, так и отрицательных. В системах с явно неограниченным временем удержания позы исходов больше и поэтому нужен доп. анализ, чтобы редкие исходы не искажали результат.

Короче, главное стат. достоверность и у некоторых типов систем она может быть ниже, чем у других при равном кол-ве сделок. Подтверждение стат. достоверности может потребовать дополнительного анализа результатов. И вообще, большинство способов подтверждения что система "не подогнана", как работа на нескольких инструментах, широкая оптимальная зона и т.д. - это способ увеличения стат. достоверности, что и является основным подтверждением работоспособности системы. Кроме этого только здравый смысл и инсайд :)

 
Avals:
помоему подогнать их можно одинаково. Да, у первых время нахождения в трейде размыто, но оно тоже ограничено. Главное, как отметил Figar0 анализ результатов. Конечно, если основная прибыль такой системы приходится на несколько сделок, которые находились в рынке максимальное время, то вероятность что это подгонка высока. Если же основная прибыль была достигнута в сделках со среднем временем удержания (т.е. таких сделок было много - стат.достоверность), то это более достоверно. Да, для систем с огнаничением макс.времени удержания позы такой анализ не нужен, но и в них м.б. заложена подгонка за счет tp>>sl или sl>>tp. Тут поможет только значительное увеличение статистики (кол-ва сделок на истории). Потому что, чтобы статистика по системе была достоверной, должно быть достаточно много реализаций каждого сценария системы - как положительных, так и отрицательных. В системах с явно неограниченным временем удержания позы сценариев больше и поэтому нужен доп. анализ, чтобы редкие сценарии не искажали результат

Согласен. Подогнать можно оба типа. А вот искать закономерности способны только второго типа.

Для начала, нужно четко определится, что такое закономерность. Что же все таки все ищут. Четко зная, как искать (а не что именно), искать легче. Так, красно девица, когда идет за подорожником, строго направляется к обочинам дорог, так как знает, что именно там растет подорожник - это закономерность, и ей необязательно знать, а она и не знает, почему именно стоит искать подорожник у дороги. То есть, она обучилась, оптимизировалась, таким образом, что будет самой успешной красной девицей во всем селе в поисках подорожника. Но подорожник растет не у всех дорог - эта закономерность проявляется не всегда, но от этого она не перестает быть закономерностью и связь дорога-подорожник можно использовать для сбора лечебной травы (читаем зарабатывать). Так же, эта закономерность работает не на всей территории планеты (FX), а только в определённых странах и в определенных широтах (инструменты FX). Причем, я намеренно не говорю о времени года (это бросок камнем в огород грибников), так как подорожник есть и зимой под снегом (в любое время года), просто красно девице не пристало копать снег у обочины дороги лопатой (повышение спреда, высокие комиссии, региональные запреты).


Из вики: Закономе́рность — необходимая, существенная, постоянно повторяющаяся взаимосвязь явлений реального мира, определяющая этапы и формы процесса становления, развития явлений природы, общества и духовной культуры.Различают общие, специфические и универсальные закономерности.


От себя: Согласен с вики. Причем, что бы говорить о наличии/отсутствии закономерностей, нужен четкий факт наличия одного явления и последующего за ним другого. Явления, которые можно замерить, пощупать, иногда понюхать, и измерить время действия следственного явления. Ведь явление, которое было, есть и будет не означает, что ему была какая то причина, а раз нет, то и не получится это следственное явление эксплуатировать и выявить момент появления этого явления и прогнозировать его окончание.

Вернемся к типам ТС. Начнем с препарирования первого типа. Будем исследовать простейшую ТС с пересечением двух МА. Все ТС, производные от этой имеют те же свойства. Соберусь с мыслями и продолжу. Пока можно разложить по косточкам этот пост.

 

Нет, все таки лучше начать со второго типа. Уже хихикаете, прочитав предыдущий пост? Я сам хихикаю.

В целом, второй тип ТС - это всё грани одной и той же котлеты, вместе с теорией Перетекающих Паттернов и Инструментальной Рекой (это с подачи легкой руки Алексея).

Есть причинное явление - за ним идет следственное явление. Причинно следственные паттерны. Обнаружив какую то закономерность, можно уже использовать различные вариации этой закономерности. Оптимизация таких ТС заключается в поиске причинно следственных связей в паттернах. Так как паттерны имеют начало и конец по времени, легко подсчитывается нужный размер периода Sample, так, что бы количество трейдов было 300-400 не меньше. OOS (20-30%) раскидываем по Sample и используем для контроля оптимизации. Таким образом, реал может следовать сразу за оптимизацией. Количество трейдов - константа, отсюда упрощаются все стат показатели, отсюда легче выбрать подходящую и уменьшается вероятность подгонки.

Если найдены закономерности при таком подходе, то они будут работать и при увеличении размера фигур, и при уменьшении - закономерности от этого не зависят (в противовес гляньте ТС-ки по МА). Если закономерности не удалось найти - то сосем лапу и сушим сухари. Четко - либо есть, либо нет.

 

то, что вы пишете присуще невсем закономерностям. Для паттернов да - у них четкое время жизни, дольше которого находиться в трейде не имеет смысла. Для трендследящих - нет. Кроме того, у рынка свое внутренне время и ход его может различаться и не совпадать с астрономическим. Т.е. стадии "жизни" законмерности и реального рыночного процесса стоящего за ней могут иметь различную продолжительность во времени, которая заранее неизвестна, а выявляется по ходу трейда. Мы можем синхронизироваться с ними (фазами) по событиям на графике - т.е. сигналам. Типа один сигнал - процесс пошел, второй - процесс окончен в упрощенном варианте. Хотя возможно выделить и другие его фазы.

 

Теперь по МА, первый тип. Да, они запаздывают, но не об этом сейчас речь. МА не показывают никаких закономерностей. Это следует из того, что нет у нас знания того, когда будет следующее пересечение (рынок не синусоида, не стационарен он окаянный). Так же мы знаем, что на любом временном участке можно найти такое сочетание МА, которое даст прибыль.

Вот оптимизировали мы МА, и нашли такое сочетание 200-100. Ок. Запустили в реал. Дождались пересечения и вошли в рынок. Но рынок взял, да и уменьшил размер фигур, и обратного пересечения - сигнала на выход нет и нет. Состарились и умерли, так и не дождавшись. Но это не значит, что при входе мы были не правы, но такая "правость" ни кому не нужна. Мы не узнаем, правильно мы оптимизировали или нет. И ничего не изменится с различными вариантами оптимизации, с добавлением стопов и трейлинг стопов, проблема останется та же. Невозможно отследить причинно следственные связи одного явления и другого.

 
joo:

Если найдены закономерности при таком подходе, то они будут работать и при увеличении размера фигур, и при уменьшении - закономерности от этого не зависят (в противовес гляньте ТС-ки по МА). Если закономерности не удалось найти - то сосем лапу и сушим сухари. Четко - либо есть, либо нет.

Возьмём 2 множества чисел. Объединим их в одно, например, посредством чередования - число из 1-го, число из 2-го и т.д.

Теперь будем искать закономерности - обязательно найдём, например, после 1->2, после 7->5 и т.п.

Возьмём опять те же множества, но сначала 1-е множество сдвинем на одно число влево, а затем объединим опять чередованием.

Какие теперь будут закономерности? Видимо несколько иные. Даже причины со следствием кое-где могут поменяться местами :)

 
Gerasimm:

Хочу скромно поделиться некой информацией.Должен сразу сказать, что я далёк от профессии программер, но ест меня, как и любого из здесь присутствующих любознательность с корыстными целями.Я на самом деле знаю много разнообразных закономерностей, но то, что у меня получилось объяснить машине я и сваял. В данном случая просто эксель и задача выяснить частоту разворота при возникновении свечной модели.Её называют все по разному, я же скажу, что это бар, помещающийся своим диапазоном (НL) в предыдущую свечу (HL).То есть затухание или коррекция текущего тренда.На картинках видна в принципе мысль.Это дейли фунт.Даты не важны.Вопрос - как часто следующая свеча за "поместившейся" будет противоположного цвета от первой.Получил ответ - на дейли прибл 50/50 с отклонением прибл 0,3%..Взял другой тайм - прибл то же соотношение.Короче я перерыл в буквальном смысле все доступные инструменты включая cfd, и акции - один и тот же вариант на любых таймах за относительно любой период.По евре минутке вот результат например: 45 034 строчки (минуты), положительных исходов - 2224 при возможных 4471.Часовка за год 408 / 812. Дейли с 2001 года - 164 / 337.

И снова вопрос - что происходит?Вся система настроена и она реально искусственно формируется?Или я совершенно ни чего не понимаю в эксель :о).. Могу скинуть "книгу" кому то, может проверите.Я лично в шоке.А просто хотел не лезть в рынок и чем то себя занять..

А как при каждом варианте ведут себя другие валютные пары? Может там стоит поискать? И какие свечные комбинации предшествовали проверяемым?
 
Avals:

то, что вы пишете присуще невсем закономерностям. Для паттернов да - у них четкое время жизни, дольше которого находиться в трейде не имеет смысла. Для трендследящих - нет. Кроме того, у рынка свое внутренне время и ход его может различаться и не совпадать с астрономическим. Т.е. стадии "жизни" законмерности и реального рыночного процесса стоящего за ней могут иметь различную продолжительность во времени, которая заранее неизвестна, а выявляется по ходу трейда. Мы можем синхронизироваться с ними (фазами) по событиям на графике - т.е. сигналам. Типа один сигнал - процесс пошел, второй - процесс окончен в упрощенном варианте. Хотя возможно выделить и другие его фазы.

Рассогласования могут возникать по времени, но они носят периодический характер, а значит их можно учитывать (знать частоту, а знание частоты - знание продолжительности, паттернов например или размер другого показателя ТС)

VictorArt:

Возьмём 2 множества чисел. Объединим их в одно, например, посредством чередования - число из 1-го, число из 2-го и т.д.

Теперь будем искать закономерности - обязательно найдём, например, после 1->2, после 7->5 и т.п.

Возьмём опять те же множества, но сначала 1-е множество сдвинем на одно число влево, а затем объединим опять чередованием.

Какие теперь будут закономерности? Видимо несколько иные. Даже причины со следствием кое-где могут поменяться местами :)

Безусловно. Но никто нам не запретит переоптимизировать(в хорошем смысле слова) ТС по окончании каждого паттерна, то бишь проверять, не изменились ли закономерности. Таким образом буфер накопленных полезных закономерностей можно всегда держать болше, чем объём изменяющихся закономерностей. Преимущество второго типа над первым очевидно - возможность наблюдать и отслеживать изменение выявленных закономерностей. В случае с первым типом - их и выявить даже не удастся.
 
Gerasimm:

Хочу скромно поделиться некой информацией.Должен сразу сказать, что я далёк от профессии программер, но ест меня, как и любого из здесь присутствующих любознательность с корыстными целями.Я на самом деле знаю много разнообразных закономерностей, но то, что у меня получилось объяснить машине я и сваял. В данном случая просто эксель и задача выяснить частоту разворота при возникновении свечной модели.Её называют все по разному, я же скажу, что это бар, помещающийся своим диапазоном (НL) в предыдущую свечу (HL).То есть затухание или коррекция текущего тренда.На картинках видна в принципе мысль.Это дейли фунт.Даты не важны.Вопрос - как часто следующая свеча за "поместившейся" будет противоположного цвета от первой.Получил ответ - на дейли прибл 50/50 с отклонением прибл 0,3%..Взял другой тайм - прибл то же соотношение.Короче я перерыл в буквальном смысле все доступные инструменты включая cfd, и акции - один и тот же вариант на любых таймах за относительно любой период.По евре минутке вот результат например: 45 034 строчки (минуты), положительных исходов - 2224 при возможных 4471.Часовка за год 408 / 812. Дейли с 2001 года - 164 / 337.

И снова вопрос - что происходит?Вся система настроена и она реально искусственно формируется?Или я совершенно ни чего не понимаю в эксель :о).. Могу скинуть "книгу" кому то, может проверите.Я лично в шоке.А просто хотел не лезть в рынок и чем то себя занять..


пожтверждаю. где-то даже в коде базе бегал скрипт расчитывающий вероятности свечных патернов.

получалось на достаточно большом диапазоне 50 на 50 с мелким смещениями явно не достаточными для построения ТС.

анологично с входными патернами основаными на сигналов индикаторов. тоже приблизительно 50 на 50.

самое грустное в этом высокая серийность . тоесть оно может отыграть 10 раз лузу и потом 5-ть раз профиту.

былобы бы статистически достоверно и нормально. эх мячты. :)

 
Есть такой замечательный человек - Директор Форекса. Вот он эти паттерны в народ уже лет несколько продвигает, утверждая, что у него не 50 на 50. Но он, кажись, еще никому не смог объяснить, как у него так получается :)
Причина обращения: