Переобучение - страница 3

 
Nikkk:

А разве вы забываете, просто память об участке на котором было обучение трансформируется в память о результатах обучения с этого участка. 

Результат обучения - это конкретные значения переменных. Чем больше переменных, тем точнее они опишут со своей, индикаторной колокольни особенности графика истории Т.е. тем более специфической станет память нашего  советника. Проблема в том, что рынок не специфичен, а разнообразен. Переменные же чаще  описывают не рынок вообще, а только удачные взаимодействия индикаторов с конкретными участками, но не более. Для того, чтобы совокупность индикаторов приобрела предиктивные свойства одного обучения недостаточно, надо эффективное взаимодействие индикаторов. Если в идеальном случае индикаторы сбалансированы и контролируют друг друга и разные аспекты рынка на разных горизонтах истории, то переобучаемость им не грозит.
 
Aliaksandr Hryshyn:

А что если этот метод тыка автоматизирован?! Интересны мысли в этом направлении. Индикаторы меняются, их взаимодействие между собой тоже, взаимодействия представлены в виде отдельных функций, выходит, количество параметров может меняться, происходит только простейшая оптимизация по ним. Поэтому интересен вопрос который задаётся в этой ветке, более универсальный подход, который бы не зависел от параметров стратегии. В той ветке, которую вы предлагаете, совершенно другие задачи. Но если вы покажете применимость тех методов к данной задаче, то пожалуйста.

У тестера можно выделить две взаимосвязанные, но принципиально качественные функции:

1. Проверка (отладка) самой идеи ТС. Мы  смотрим, совпадают ли входы-выходы с нашими идеями на этот счет.

2. Подбор параметров ТС, в которой зафиксированы наши идеи ТС

После этого уже ничего не может меняться, так как в случае успешности этих этапов мы ставим ТС на реал и начинаем торговать.

И здесь самый главный вопрос: будет результативность реальной торговли такой же как при обучении?

И здесь и в параллельной ветке ставится именно этот вопрос.

Если на реальной торговле мы получаем другие результаты, то это и называется переобучение, т.е. при создании ТС уловила некоторые частности на обучающего котира, которые не встречаются на реальных.  В параллельной ветке я утверждаю, что проблема переобучения решается исключительно за счет правильного подбора перечня исходных данных, в ТА - это набора индикаторов. Так же я утверждаю, что можно ДО создания самой ТС определить, будут ли полезны для данной ТС  выбранный нами набор индикаторов. А вот когда мы решим эту задачу, тогда пп. 1 и 2.

 
Youri Tarshecki:
Если в идеальном случае индикаторы сбалансированы и контролируют друг друга и разные аспекты рынка на разных горизонтах истории, то переобучаемость им не грозит.
Это иллюзия
 

Если на реальной торговле мы получаем другие результаты, то это и называется переобучение, т.е. при создании ТС уловила некоторые частности на обучающего котира, которые не встречаются на реальных.  

Это как раз больше похоже на недообученность. -)

На мой взгляд надо различать саму способность системы улавливать закономерность и ЛОВУШКИ ОПТИМИЗАЦИИ в которые эта ее способность может попасть. Ловушки оптимизации - это более широкое понятие, включающее и ПЕРЕоптимизацию и НЕДОоптимимзацию и инерционность самого процесса написания кода и человеческий фактор и много чего еще. Но, боюсь, автор ветки все-таки имел в виду просто тот факт, что советники сливают, не более..

другимим словами его вопрос должен звучать так "Как избежать ловушек оптимизации" 

 Вот два человека ему и советуют - проверяй на форварде, т.е. на неоптимизированном участке и жизнь наладится.-0

А ежели вы можете ДО написания кода решить  -будет индикатор полезен или нет - так прекрасно! Вам тогда и тестирование ни к чему. -)

 
СанСаныч Фоменко:
Это иллюзия

Ну тогда все живые организмы - это иллюзия. Они-то как раз по такому принципу и построены. У них есть память генетическая, долговременная и оперативная и они все время обучаются. Но мы же не говорим - бедное человечество - переобучилось вплоть до Форекса.-)

 
Youri Tarshecki:

Ну тогда все живые организмы - это иллюзия. Они-то как раз по такому принципу и построены. У них есть память генетическая, долговременная и оперативная и они все время обучаются. Но мы же не говорим - бедное человечество - переобучилось вплоть до Форекса.-)

Философские проблемы я здесь не обсуждаю.  Если у Вас есть, что-либо совершенно конкретно, то готов обсудить
 
Youri Tarshecki:
Сам термин "переобучение" дурацкий, призван оправдать нерабочесть самого советника и полностью теряет смысл при волкинг-форварде. Переобучилась переменная или недообучилась, собственно, по деградации не видно. Видно это только из сравнения результата форварда при разных условиях и оптимизации и теста. И глубина истории и шаг форварда подбирается в каждом случае персонально и тогда уже видно что пере, а что недо.
Термин этот не дурацкий, а давно устоявшийся и "одобренный лучшими собаководами" всего научного мира, включая и рыночных алгоритмистов. Ваши идеи по поводу подбора глубины, шага и прочих "побочных" параметров возвращают нас к прежней проблеме качества их подбора (и вероятного переобучения). Так что в любом случае, без анализа форвардов - не обойтись. А то, что нужно анализировать для разных участков - это и ежу понятно с самого начала.
 
Youri Tarshecki:
Сам термин "переобучение" дурацкий, призван оправдать нерабочесть самого советника и полностью теряет смысл при волкинг-форварде. Переобучилась переменная или недообучилась, собственно, по деградации не видно. Видно это только из сравнения результата форварда при разных условиях и оптимизации и теста. И глубина истории и шаг форварда подбирается в каждом случае персонально и тогда уже видно что пере, а что недо.

Ага. Когда начинается понимание всего этого дела, возникает вопрос об адекватности термина "переобучение" и понимание его неадекватности. Было обсуждение этого вопроса на 4-ом форуме, там еще было с кем пообсуждать. Пришли к выводу, что лучше подходит термин "заучивание" или "зазубривание". Советник как прилежный ученик зазубрил урок, но ничего не понял, и в других условиях не может применить свои знания.

Здесь же даже сам термин некоторые вообще не в том смысле понимают. Вот оказывается кто-то его понимает как "повторное обучение" - забавно.

А то что термин устоялся в каком-то там научном мире, это ничего не значит, там много всяких мутных, но устоявшихся терминов, наука сплошняком состоит из терминов не отражающих действительности, истинный смысл которых понятен только узкому кругу "посвященных". 

 
СанСаныч Фоменко:

 В параллельной ветке я утверждаю, что проблема переобучения решается исключительно за счет правильного подбора перечня исходных данных, в ТА - это набора индикаторов. Так же я утверждаю, что можно ДО создания самой ТС определить, будут ли полезны для данной ТС  выбранный нами набор индикаторов. А вот когда мы решим эту задачу, тогда пп. 1 и 2.

Вы, наверное, упустили смысл задачи. Ей является автоматический поиск стратегии. В конечной стратегии могут использоваться только пару индикаторов, выбранных с некоторого набора. Могут оказаться не все функции, которые имеются. В конечном итоге получается структура, которая представлена ориентированным графом, в котором вычисляется условие входа в рынок или выход из него, тейк и стоп.  Элементами графа являются функции, индикаторы и константы(параметры). Каждый элемент, с которого может состоять граф, имеет несколько групп правил взаимодействия с другими элементами графа, необходимо для контроля некоторой "осмысленности" вычислений в графе.

 

А есть идеи по поводу поиска стратегий?

 
Stanislav Korotky:
Термин этот не дурацкий, а давно устоявшийся и "одобренный лучшими собаководами" всего научного мира, включая и рыночных алгоритмистов. Ваши идеи по поводу подбора глубины, шага и прочих "побочных" параметров возвращают нас к прежней проблеме качества их подбора (и вероятного переобучения). Так что в любом случае, без анализа форвардов - не обойтись. А то, что нужно анализировать для разных участков - это и ежу понятно с самого начала.

Ну так вот объясните мне  -как вы решаете по деградации форварда - ПЕРЕобучение это или НЕДОобучение. Переобучение как-то по-особому деградирует, нежели недообучение?

Единственный способ определения качества  условий тренировки  -это увидеть соответствующее качество теста на аут-оф-сэмле. И только сравнивая результаты можно сказать избыточная оптимизация или недостаточная. Только вот я что-то нигде не вижу топиков о борьбе с недооптимизацией. Корень зла все почему-то  видят в мифической переоптимизации, а не в качестве кода.