Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 99

 
DAFomenko:

Классификация не панацея и не инструмент по созданию граалей.

Первое, что делает применение классификации, - это использование инструментов к тем проблемам, к которым эти инструменты применимы. Например, идея применения спектрального анализа к финансовым рынкам обсуждалась много кратно, уж вроде бы все - прекрасный инструмент, но для других объектов, ан, нет, опять предлагают. 

 

Второе. Классификация вполне применима к финансовым рынкам, но здесь масса своих заморочек, о чем много написано выше. Но при классификации можно поставить во главу угла главную проблему - проблему переобучения (сверх подгонки) ТС. Что может быть важнее? Не приятно, конечно, лишаться иллюзий о наличии у себя любимого грааля, но здесь выбор: счастье хорошо, а правда лучше?

 

Третье. Классификация совершенно конкретно ставит вопрос: что мы прогнозируем. Сравним с ТА. Берем индикаторы. Всегда это бар [1]. Текущий бар не используется. Что означает для Н1? Мы используем для прогноза входа в рынок сведения часовой свежести! Это в лучшем случае. 

В классификации совершенно не так. Вы берете текущее значение целевой переменной и сопоставляете его вчерашним исходным данным - сдвигаете целевую на один или несколько баров. При использовании подогнанной на таких данных модели, вы по приходу очередного бара всегда реально предсказываете будущее.

 

ПС.

Если Вы собираетесь использовать для прогнозирования резких движений рынка (новостей), то у Вас все получится, если Вы сумеете сформировать целевую переменную, а с этим большие проблемы в гораздо более простых случаях. 

Подо всем сказанным подписываюсь.

 Про спектр. не знаю, не пользовался никогда.

 

Второе. Классификация вполне применима к финансовым рынкам, но здесь масса своих заморочек, о чем много написано выше. Но при классификации можно поставить во главу угла главную проблему - проблему переобучения (сверх подгонки) ТС. Что может быть важнее? Не приятно, конечно, лишаться иллюзий о наличии у себя любимого грааля, но здесь выбор: счастье хорошо, а правда лучше?

 Вот, ВОТ! У нас только одна проблема - переобучение. И она давлеет надо всем. Обратная сторона - недообучение (и плохие результаты всюду).

Я тут выкладывал вам красивые графики, Монте-Карло в том числе. По сути, я пришел к выводу, что я подогнал данные под отрезок вне-выборки, не обучая на нем модель (модели). Вроде бы у меня модели проходят вне-выборки хорошо. Но проблема в том, что пока я не вижу вне-выборки, я НЕ могу выбрать работающую модель. Очень плохо. 

 
Alexey Burnakov:


 Вот, ВОТ! У нас только одна проблема - переобучение. 

А как по мне то проблема как раз совсем в другом, ну то такое.......
 
mytarmailS:
А как по мне то проблема как раз совсем в другом, ну то такое.......
Как раз, это много, что включает. А когда готовы уже данные, предикторы, модели, дизайн эксперимента выстроен. Остается проверять, переобучается модель или нет, и она таки склонна переобучаться. (Сугубо мой опыт.)
 
Yuri Evseenkov:

L Да я что доктор? Вот Саныч писал:

"Здесь обсуждаются прогнозы на основе классификации, которая не учитывает предыдущее состояние при прогнозе следующего бара.  Предсказания (прогнозы) на основе классификации - это прогнозы по паттернам. И если в прошлом были новости, которые привели к изменениям, которые НЕ вытекают из предыдущих значений (не экстраполируются), то классификация выловит такое изменение как таковое и если в будущем будет похожее изменение (не точно такое же, а похожее) то оно будет распознано и сделан правильный  прогноз. "

Вот и думаю стоит копать в этом направлении : "классификация выловит такое изменение как таковое" .

В самом начале вы абсалютно правы. Наконецто появились здравомыслящие люди в ветке. Да классификация оценивает патерн, на предмет истиности или ложи, ну или говорит незенаю, как предложил Решетов, А уже сам патерн несёт в себе предсказательную составляющую, и важен не сам патерн, а именно реакция рынка на него. И если эта реакция идентичка как в обучении то сеть сделает правильный вывод. Так что как то так....
 
Mihail Marchukajtes:
 Наконецто появились здравомыслящие люди в ветке.
ты хорошо подумал?
 
mytarmailS:
ты хорошо подумал?
Я всегда так делаю. Плохо думать не получается :-)
 
Mihail Marchukajtes:
Я всегда так делаю. Плохо думать не получается :-)

ну ну

 
Alexey Burnakov:

Я тут выкладывал вам красивые графики, Монте-Карло в том числе. По сути, я пришел к выводу, что я подогнал данные под отрезок вне-выборки, не обучая на нем модель (модели). Вроде бы у меня модели проходят вне-выборки хорошо. Но проблема в том, что пока я не вижу вне-выборки, я НЕ могу выбрать работающую модель. Очень плохо. 

А комитет вы попробовали? Если gbm обучить несколько раз с одними и теми же параметрами на одних и тех же данных, то результат на новых данных будет каждый раз немного другим. Если выбрать наугад одну модель, то может повезёт и торговля пойдёт хорошо, а может и нет, так гадать нельзя. В таком случае натренируйте десятки (сотни?) моделей, и итоговый результат берите тот который прогнозируют большинство моделей.

Вот например такой график: слева симуляция результатов торговли 100 моделей. Видно что взяв для торговли всего одну модель, можно с почти 50% шансом уйти в минус.
Справа - торговля по решению комитета этих-же моделей, тут уже без рандома, всё чётко, и почти стабильно вверх.

 

 
mytarmailS:

эксперимент критерий истины - не думай, а делай

лично мне кажется что спектральный анализ более перспективный, но это лично мне...

А может сначало подумать? Даже волк сначало прикидывает , бежать за тощим зайцем или нет. Энергии больше иной раз потратишь, чем восполнишь добычей.
 
DAFomenko:

Первое, что делает применение классификации, - это использование инструментов к тем проблемам, к которым эти инструменты применимы. Например, идея применения спектрального анализа к финансовым рынкам обсуждалась много кратно, уж вроде бы все - прекрасный инструмент, но для других объектов, ан, нет, опять предлагают. 

Второе. Классификация вполне применима к финансовым рынкам, но здесь масса своих заморочек, о чем много написано выше. Но при классификации можно поставить во главу угла главную проблему - проблему переобучения (сверх подгонки) ТС. Что может быть важнее? Не приятно, конечно, лишаться иллюзий о наличии у себя любимого грааля, но здесь выбор: счастье хорошо, а правда лучше?

Третье. Классификация совершенно конкретно ставит вопрос: что мы прогнозируем. Сравним с ТА. Берем индикаторы. Всегда это бар [1]. Текущий бар не используется. Что означает для Н1? Мы используем для прогноза входа в рынок сведения часовой свежести! Это в лучшем случае. 

В классификации совершенно не так. Вы берете текущее значение целевой переменной и сопоставляете его вчерашним исходным данным - сдвигаете целевую на один или несколько баров. При использовании подогнанной на таких данных модели, вы по приходу очередного бара всегда реально предсказываете будущее.

Если Вы собираетесь использовать для прогнозирования резких движений рынка (новостей), то у Вас все получится, если Вы сумеете сформировать целевую переменную, а с этим большие проблемы в гораздо более простых случаях. 

Вы что, родственник Санычу?

Да вот и думаю . Наивный Баесовский классификатор, так как он фильтрует спам, проканает здесь или нет?

А на счет новостей- дудки! Какая нибудь новость так переобучит во все щели, что мало не покажется. Примеры я приводил.

Причина обращения: