Оптимизация и Тестирование вне выборки. - страница 5

Новый комментарий
 

Candid, с равномерностью прибыли все не так просто. Если взять те же множества А, В, С в НС, то с прибыльностью стратегии после нормального обучения дело будет обстоять примерно так: на участке А она максимальна, на участке В существенно меньше, а на участке С еще значительно хуже. Но ведь именно так обстоят дела и у нас: на истории результаты великолепны, а вне ее - слив... Проблема как раз в том, чтобы подобрать такую стратегию, при которой участок С по прибыльности будет почти наверняка хуже, но все же сравним с участком А.

Только, давайте, покончим с нейросетями

Я и не собираюсь их тут пропагандировать. Но принципы тестирования, которые я узнал, когда ими занимался, весьма разумны. И здесь, в отличие от метаквотовской подгонки, мы можем хотя бы рассчитывать на способности к генерализации (главное свойство, благодаря которому советник может остаться прибыльным и в будущем; этого свойства наш оптимизатор лишен начисто).

 
lna01:
Vita:

Я хотел сказать, что реальный тестер MetaTrader'a позволяет при оптимизации совокупности выборка+вне выборки получить те же результаты, что и оптимизация выборки с последующим тестированием вне выборки. В Тестере кнопка "Свойства Эксперта", далее закладки "Тестирование" и "Оптимизация" позволяют избавится от убытков сколь угодной длины и глубины.

Всё зависит от постановки задачи. Если пренебрегать степенью равномерности распределения прибыли по времени тестирования, то штатных возможностей тестера МТ действительно достаточно, и затраты времени будут сравнимыми. Стоит ли этим пренебрегать? У каждого свой опыт и свои взгляды. Процесс действительно можно назвать подгонкой, но термин аппроксимация думаю будет точнее. Далеко не всякую аппроксимацию можно экстраполировать в будущее и критерий равномерности прибыли как раз позволяет отбросить заведомо непригодные для экстраполяции варианты. ИМХО, разумеется.


Имеется ввиду применимость тестера к задаче оптимизации на выборке с последющим тестирование вне выборки. Теже результаты, только подойти надо с другой стороны - уменьшение количества последовательных проигрышей и величин проигрышей. Всего-то.
 
Mathemat:

Candid, с равномерностью прибыли все не так просто. Если взять те же множества А, В, С в НС, то с прибыльностью стратегии после нормального обучения дело будет обстоять примерно так: на участке А она максимальна, на участке В существенно меньше, а на участке С еще значительно хуже. Но ведь именно так обстоят дела и у нас: на истории результаты великолепны, а вне ее - слив... Проблема как раз в том, чтобы подобрать такую стратегию, при которой участок С по прибыльности будет почти наверняка хуже, но все же сравним с участком А.


Мне кажется аналогия с аппроксимацией и тут даёт ответ: известно, что чем лучше аппроксимация, тем менее она пригодна для экстраполяции (случай графика аналитической функции с её угадыванием разумеется отбрасываем). Так что хорошее решение скореее всего не то, что даёт большую прибыль на А, а то, что даёт более равномерную прибыль на А+В. Теперь начинаем экстраполяцию и, опять же естественно, получаем нарастание ошибки с ростом горизонта прогноза.
 
Mathemat:

Категорически не согласен, Vita. Иначе в нейросетках не было бы деления всех данных на три части, принципиально различные: реальная оптимизация - только на первом участке; второй служит только для определения момента окончания обучения, а третий - просто для одиночного тестирования. То есть реальная подгонка идет только на первом, а на третьем - уж что получится... А выбор - "бритва Оккама" или потеря уверенности в системе - остается за создателем системы.

Грубо говоря, оптимизация на А+В+С - это совершенно не то же самое, что обработка, описанная выше.


Для яности, на всякий случай.

А - множество параметров, полученное при оптимизации на выборке

Б - множество параметров, полученное после тестирования А вне выборки.

Процесс получения Б - это процесс оптимизации на выборке с последующим тестом вне выборки. Именно в этом процессе вами предполагается избавления от подгонки под кривую?

С - множество параметров, полученное при оптимизации совокупности выборка+вне выборки.

Я же утверждаю, что С не хуже Б в плане подгонки под кривую.

С-Б=множество параметров убыточных либо на выборке, либо вне выборки, но прибыльных на совокупности вцелом.

Процесс получения Б может быть исполнен стандартным тестером.

 

Candid, я и не говорю, что хорошее решение дает максимальную прибыль на А. Это лучше делает оптимизатор: он дает абсолютный максимум на А, но ничего - на out-of-sample. Согласно модели обучения НС, вероятный кандидат на хорошее решение - это максимум прибыли на В при уже приемлемо высокой, но не максимальной прибыли на А.

Насчет твоего замечания: почти согласен, но только не "А+В", а "А+В+С".

2 Vita: Мне казалось, что я все ясно написал на предыдущей страничке. .. Множества А, В, С не пересекаются. Например:

А - с 1 января 2004 по 31 декабря 2005,

В - с 1 января 2006 по 31 октября 2006, и

С - с 1 ноября 2006 по настоящее время.

Обычное соотношение длин данных в НС - это А:В:С = 60:20:20.

 
Mathemat:

Насчет твоего замечания: почти согласен, но только не "А+В", а "А+В+С".

Насчёт "А+В+С" я, признаться, настроен крайне пессимистично :). Именно из-за естественного нарастания ошибки получить на С сравнимую с А и В прибыль можно только случайно.
 
Candid, я тоже, хе-хе... Но если так получится, то это уже не самый худший кандидат на рассмотрение в качестве рубщика зеленой капусты. Именно участок С - участок реальной оценки советника, потому я и включил его в кавычки. И именно на нем обычно сосредоточена почти вся ошибка, а на участках А и В она, как правило, существенно меньше.
 
Mathemat:

Я и не собираюсь их тут пропагандировать. Но принципы тестирования, которые я узнал, когда ими занимался, весьма разумны. И здесь, в отличие от метаквотовской подгонки, мы можем хотя бы рассчитывать на способности к генерализации (главное свойство, благодаря которому советник может остаться прибыльным и в будущем; этого свойства наш оптимизатор лишен начисто).


О, точно! Способность к генерализации должна быть свойством советника, а не оптимизатора. Закон должен быть заложен в советнике, идея советника должна быть всеобъемлюща и системна настолько, насколько только можно. А вот предъявлять такие претензии к оптимизатору я бы не стал. По-моему, это нелепо. Также как нелепо, как пытаться оптимизатором способным к генерализации вытягивать абсолютно любой советник до уровня прибыльности во все времена и на будущее. Оптимизатор метаквотов не виноват, что в советниках не заложен закон, нет прибыльной идеи и т. н. способности к генерализации, которую он бы смог оптимизировать. Остается только подгонка под кривую.
 
Vita, дельное замечание. Но я бы сказал, что способность к генерализации - это свойство не только советника, но и алгоритма обучения, который эту способность должен правильно выявлять. Алгоритм метаквотов такую способность не выявляет, а губит на корню переоптимизацией. Но он и не создавался для серьезной оптимизации...
 
Mathemat:

Candid, я и не говорю, что хорошее решение дает максимальную прибыль на А. Это лучше делает оптимизатор: он дает абсолютный максимум на А, но ничего - на out-of-sample. Согласно модели обучения НС, вероятный кандидат на хорошее решение - это максимум прибыли на В при уже приемлемо высокой, но не максимальной прибыли на А.

Насчет твоего замечания: почти согласен, но только не "А+В", а "А+В+С".

2 Vita: Мне казалось, что я все ясно написал на предыдущей страничке. .. Множества А, В, С не пересекаются. Например:

А - с 1 января 2004 по 31 декабря 2005,

В - с 1 января 2006 по 31 октября 2006, и

С - с 1 ноября 2006 по настоящее время.

Обычное соотношение длин данных в НС - это А:В:С = 60:20:20.


Бог с ними, с А,Б и С. В моих постах они имеют другой смысл. Это не временные отрезки. Это наборы параметров, которые выдает оптимизация. Ну, да ладно.
123456789101112
Новый комментарий