Великолепная книга о тестировании и оптимизации - страница 3

 
Mathemat:

Vita, ты все правильно говоришь. У меня и у самого большие сомнения в достаточности форвардного теста для заключения об устойчивости стратегии. Это лишь необходимый тест, который по сути говорит: "Если стратегия устойчива, то форвард-тест будет хорошим". Эквивалентное утверждение: "Если форвард плох, то и стратегия плоха".

Закон подлости: это всего лишь негативное утверждение, позволяющее отсеивать неустойчивые стратегии, - но не позволяющее гарантировать качество устойчивых. Это все равно тоже неплохо, так как отсеиваются 90-95% откровенно плохих стратегий...

У меня уже давно в голове крутятся мысли по этому поводу, которые я все никак не оформлю в виде статьи. Честно говоря, я уже замучился ее писать, так как все время вылезают новые и новые проблемы. Но могу сказать, что мой собственный подход существенно отличается от подхода Пардо.

А вообще, Vita, достаточные условия ("Если некая группа тестов хороша, то стратегия хороша") - это недостижимая цель, сам понимаешь. Какие могут быть позитивные гарантии? Нету их и не будет... Зато можно сколь угодно долго совершенствоваться, добавляя все новые и новые негативные критерии (необходимые), позволяющие гарантированно отсечь плохие стратегии...

Тем не менее считаю эту книжку очень качественным введением в исключительную сложность проблемы. Автор ее фактически не решает, он только показывает состояние существующих подходов к ней, но и это гораздо лучше, чем одиночная оптимизация, результаты которой творцы граалей выкладывают здесь.


Хе, я думал, научные методы должны бы давать гарантии. Похоже, автор всё же ненаучен. См. тот же п.3. "Возникли исключительно неблагоприятные и непротестированные рыночные условия" - это одна и лазеек, дающая возможность оправдать провал при предоставлении фактов по форвардному тестированию, противоречащих книге. Так устроена астрология, алхимия и прочая хиромантия - нагромождение условий, порой не выполнимых и никаких гарантий. Понимаешь ли, "звезды не так сошлись на небе..."

Со статьей - бог в помощь.

Как ты относишься к следующему, как мне кажется, очень простому правилу по отсеиванию "неустойчивых" стратегий - никогда не тестировать с тейком и стопом различной величины?

 

Vita, насчет астрологии ты прав: весь трейдинг - это астрология. Но вот находятся все же авторы, пытающиеся превратить астрологию в астрономию...

Если очень долго не удается найти достаточные условия, можно попытаться найти такой набор необходимых, который будет как можно ближе к достаточному. В принципе это одна из эвристик, приводящих к научному подходу. Рынкет - это интроспективное чудовище, которое всегда будет сопротивляться попыткам его научного познания: любая стратегия, работающая в определенный момент, перестает работать позднее, как только становится распространенной, так как это все же игра с примерно нулевой суммой.

Насчет тейка и стопа не думал, но мысль интересная. Это еще одно измерение оптимизации.

 

Ссылка не работает, однако :(
Время московское 13.08.2007 20:45. Пытался и через downloader, и через Firefox, линк битый.

 
Загляни к Пауку, chv, http://forex.kbpauk.ru/showflat.php?Cat=0&Board=tech&Number=43577&Searchpage=1&Main=16019&Words=Conway&topic=&Search=true#Post43577 . Если так не сможешь - ищи в "Библиотеке | Технический анализ, тактика и стратегия трейдинга". Обрати внимание на то, что там Рантье написал...
 
Отбор по форвардным тестам - это та же оптимизация,
только выраженная в более изощренной (запутанной и непонятной) форме :))

Любая оптимизация - это серия тестов, и потом отбор лучшего на наш взгляд варианта.
WFO полностью укладывается в это определение.
Разница только в используемом критерии.
Для WFO он получается другим.
 
В принципе да, так оно и есть. Форвард-анализ - не панацея, но большую часть мусора он все-таки отбраковывает, если продолжительность участка out-of-sample брать соизмеримой с оптимизационным. Зато для того, что прошло тест, никакой гарантии не дает.

Да и оптимизация на фиксированном участке истории, вместе с мультирыночным анализом на нем же, собственно говоря, тоже полная лажа... Откровенно говоря, фактически в книге перечислен набор тестов, между которыми нет никакой внутренней логической связи, т.е. единой концепции, пронизывающей весь комплекс процедур.

Тем не менее еще раз подчеркну, что книга чрезвычайно полезна для тех, кто привык печь граали пачками, - просто потому, что дает представление о целом комплексе труднейших проблем оценки стратегии.

P.S. Представил себе такую ветку форума: "Куплю методику тестирования/оптимизации, дающую 100% гарантию работоспособности стратегии"...
 
Mathemat:

P.S. Представил себе такую ветку форума: "Куплю методику тестирования/оптимизации, дающую 100% гарантию работоспособности стратегии"...

Хе. Захотел. Методику не продам, а вот услугу "Тестирование/оптимизация, дающие 100% гарантию (не)работоспособности стратегии" предоставлю.
 

Беру свои слова обратно - по поводу фигнёвости форвард-анализа, описанного в книге Пардо. При условии, что все тесты, предшествующие ему, пройдены успешно (может быть, не считая мультирыночного, который вряд ли сильно нужен, если играешь на одном инструменте), форвард-анализ вполне разумен, так как повторяет действия реального трейдера в реальной торговле. Собственно оптимизационную часть WFA реализовал xeon, но это, конечно, только один небольшой этап полной работы, т. е. оптимизация на оптимизационных данных - без тестирования советника с оптимизированными параметрами на данных out-of-sample. Разумеется, Vita, и здесь остаются шансы провала, т.к. удачный форвард-анализ - всего лишь необходимое условие качественности советника.

 
Mathemat:

Беру свои слова обратно - по поводу фигнёвости форвард-анализа, описанного в книге Пардо. При условии, что все тесты, предшествующие ему, пройдены успешно (может быть, не считая мультирыночного, который вряд ли сильно нужен, если играешь на одном инструменте), форвард-анализ вполне разумен, так как повторяет действия реального трейдера в реальной торговле. Собственно оптимизационную часть WFA реализовал xeon, но это, конечно, только один небольшой этап полной работы, т. е. оптимизация на оптимизационных данных - без тестирования советника с оптимизированными параметрами на данных out-of-sample. Разумеется, Vita, и здесь остаются шансы провала, т.к. удачный форвард-анализ - всего лишь необходимое условие качественности советника.


Если ничего не помешает, скоро закончу библиотеку которая позволит реализовать "форвард-анализ" в полной мере.
 
Mathemat:

Разумеется, Vita, и здесь остаются шансы провала, т.к. удачный форвард-анализ - всего лишь необходимое условие качественности советника.


:))) Шансы провала остаются всегда, мы же имеем дело с нестационарным случайным процессом!!!!!! И кажется Пардо не утверждал что хороший ФТ это залог успеха в реальной торговле, ну по крайней мере мне так показалось.
По моему мнению единственный очевидный выход из этой ситуации - это диверсификация (по моделям, по параметрам, по инструментам)  и результат будет неслучайным. Закон больших  чисел :))))))))))

А в процессе торговли можно будет находить тактики которые явно сливают и проводить реоптимизацию или вообще убирать их из системы.

Xeon, Matemat, Vita Раскажите как вы оптимизируете(настраиваите) свои системы!!!! Чем ваши методики отличаются от методики Пардо?? 
По моему мнению это очень важный вопрос, для меня пожалуй вопроса важнее сейчас нет:))))))

xeon писал (а):
Если ничего не помешает, скоро закончу библиотеку которая позволит реализовать "форвард-анализ" в полной мере.

Как библиотека будет работать скажите пожалуйста??

У меня есть идея поиска устоичивости через ФТ, вот такая:

Т.е. берем три тестовых  окна (ТО) на каждом из них прогоняем оптимизацию,  сохраняем результаты оптимизации на каждом ТО, потом выбираем на одном из ТО прогоны в порядке уменьшения доходности. Берем номер прогона,  находим прогоны с этим же номером в двух соседних ТО и если прибыльность этих двух прогонов  нас удовлетворяет
то считаем что прогон с данным номером ФТ прошел.

Если проводить ФТ таким образом то можно получить очень интересные на мой взгляд результаты: Во всех случаях самые доходные прогоны на одном ТО,  на других будут показывать или весьма скромные или вообще отрицательные результаты.  А вот  некоторые не особо доходные прогоны могут оказаться очень устоичивыми и с каждого ТО будут выходить с примерно одинаковой прибылью.

По всей видимости присутствует закономерность что то вроде: "Выигрываешь в доходности, проигрываешь в устоичивости", ну и наоборот. А вы как считаете?