Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 123

 
Andrey Dik:

1. Так я и не получил ответ, каким образом строится/определяется/детектируется паттерн? - понимаю, что вопрос, возможно, слишком интимный, можете не отвечать.

Паттерны - это примеры из обучающей выборки. Т.е. это строка в выборке: несколько значений предикторов и, как минимум, одно значение зависимой переменной.

Почему mytarmailS называет паттернами модели, т.е. то что получается по результатам машинного обучения, не совсем понятно?

Andrey Dik:


2. Развороты - это даже не слишком "жесткий" ответ, а вообще из разряда "не знаю откуда и не знаю что". Вот на следующей свече разворот, нет? - ещё через одну? - нет, неправильно! - а может на четвертой свече будет разворот? - ага, разворот, прошло 150 пунктов, развернулось назад, а нет, это был не разворот а коррекция, хотя не, всё таки разворот... Нет возможности дать определение "разворота"! - а значит и нет возможности научить их определять не то что заранее, но и даже в текущий момент. 

Что касаемо потенциальных разворотов, то есть индикаторы, которые могут отмечать точки на графике для них (чаще всего стрелочками). Простейший пример - это фракталы Б. Вильямса, которые, как известно перерисовывающие. В таком случае можно попытаться спрогнозировать, скажем, с помощью классификатора, ложность либо истинность фрактала на предмет перерисуется ли он (ложный)  или останется на чарте (истинный). Вполне очевидно, что если правильно спрогнозировать истинность фрактала и войти в рынок по сигналу, а выйти на следующем фрактале, то на этом можно заработать. Либо потерять деньги, если прогноз окажется ложным, но зато выйти из рынка не дожидаясь следующего фрактала, тем самым минимизируя потенциальные убытки. В данный момент прорабатываю эту тему.

Из обитателей этого топика по классификации разворотных точек по индикатору tdsequenta на практике специализируется Mihail Marchukajtes

Развороты по ZigZag пытается прогнозировать ещё один здешний обитатель: СанСаныч Фоменко.


Остальные обитатели чаще всего пытаются спрогнозировать цвет следующей за классифицируемым паттерном свечи.



 
Yury Reshetov:


Развороты по ZigZag пытается прогнозировать ещё один здешний обитатель: СанСаныч Фоменко.


Остальные обитатели чаще всего пытаются спрогнозировать цвет следующей за классифицируемым паттерном свечи.

Я не пытался прогнозировать развороты ЗЗ. Тому есть много причин. Я прогнозирую принадлежность к плечу ЗЗ. Мне не нравится эта целевая переменная,  но ошибка менее 30% меня устраивает, так как этот прогноз лишь часть ТС.

 

Будет время, то обязательно попытаюсь прогнозировать разворот ЗЗ с некоторыми поправками, которые прозвучали на этой ветке.  

 
Yury Reshetov:

1. Паттерны - это примеры из обучающей выборки. Т.е. это строка в выборке: несколько значений предикторов и, как минимум, одно значение зависимой переменной.

2. Почему mytarmailS называет паттернами модели, т.е. то что получается по результатам машинного обучения, не совсем понятно?

3. Что касаемо потенциальных разворотов, то есть индикаторы, которые могут отмечать точки на графике для них (чаще всего стрелочками). Простейший пример - это фракталы Б. Вильямса, которые, как известно перерисовывающие. В таком случае можно попытаться спрогнозировать, скажем, с помощью классификатора, ложность либо истинность фрактала на предмет перерисуется ли он (ложный)  или останется на чарте (истинный). Вполне очевидно, что если правильно спрогнозировать истинность фрактала и войти в рынок по сигналу, а выйти на следующем фрактале, то на этом можно заработать. Либо потерять деньги, если прогноз окажется ложным, но зато выйти из рынка не дожидаясь следующего фрактала, тем самым минимизируя потенциальные убытки. В данный момент прорабатываю эту тему.

4. Из обитателей этого топика по классификации разворотных точек по индикатору tdsequenta на практике специализируется Mihail Marchukajtes

5. Развороты по ZigZag пытается прогнозировать ещё один здешний обитатель: СанСаныч Фоменко

6. Остальные обитатели чаще всего пытаются спрогнозировать цвет следующей за классифицируемым паттерном свечи.

1. Что такое паттерн - я понимаю, но не знаю, чем он измеряется у mytarmailS (какими именно индикаторами или чем то ещё), поэтому и спросил (за тем, что бы попытаться помочь в определении причин проблем с моделью).

2. Да, непонятно.

3, 4, 5 Все средства, позволяющие определять разворот, либо перерисовывают, либо делают это с лагом, причем с переменным лагом. Не хочется сейчас акцентироваться на разворотах, но могу сказать со 100% достоверностью, что развороты определять не целесообразно (мягко говоря). Гораздо более правильно в плане достоверности как детектирования, так и простоте описания, является подход, который опишу ниже (как раз можете опробовать в прорабатываемой теме), а фрактал детектируется с опозданием в 2-3 свечи, это значит опять же неопределённость, которой нужно избегать любыми доступными средствами в торговле.

6. Цвет - 50/50. Независимо от выбранного горизонта, абсолютно бесперспективно.

 

ЗЫ. 

Итак, давайте попробуем разобраться, что является неопределённым в рыночных котировках, а что можно представить в виде четкого и при этом "мягкого" ответа для сети, дерева, классические ТС на индикаторах, или чего мы там хотим использовать для торговли. Дело в том, что ответив на эти вопросы становится возможным, с ходу, создание прибыльных систем не только на сетках и прочих методах МО, но и на классических индикаторах. Понимаю, что сейчас кто то сходу скажет "давай стейты, мониторинг!" - не дам, пробуйте сами, думайте сами.   

 
Andrey Dik:


Итак, давайте попробуем разобраться, что является неопределённым в рыночных котировках, а что можно представить в виде четкого и при этом "мягкого" ответа для сети, дерева, классические ТС на индикаторах, или чего мы там хотим использовать для торговли. Дело в том, что ответив на эти вопросы становится возможным, с ходу, создание прибыльных систем не только на сетках и прочих методах МО, но и на классических индикаторах. Понимаю, что сейчас кто то сходу скажет "давай стейты, мониторинг!" - не дам, пробуйте сами, думайте сами.   

Эта ветка про машинное обучение и описанных Вами проблем в перерисовыванием нет в принципе, так как на истории ничего не перериовывается.

Весь смысл машинного обучения найти на истории такие комбинации предикторов, которые бы определяли один из классов целевой переменной. Если говорить о случайных лесах, то это не более 300 дереьвев (обычно от 50 до 100), которые можно получить на выборке не более 5000 бар. Дальнейшее увеличение выборки не приводит к увеличению числа деревьев, т.е. типы деревьев - "паттерны" закончились для данного набора предикторов и целевой переменной

 

Основная проблема находится в переобучении, когда в будущих выборках имеющиеся деревья неправильно предсказывают класс, точнее все хуже и хуже предсказывают класс. Именно этот вопрос и рассматривается на этой ветке, а именно: пытаемся доказать, что полученные деревья будут встречаться в будущем и ошибка классификации на будущих выборках будет примерно такой же как и на обучающей выборке. 

 
СанСаныч Фоменко:

Эта ветка про машинное обучение и описанных Вами проблем в перерисовыванием нет в принципе, так как на истории ничего не перериовывается.

Весь смысл машинного обучения найти на истории такие комбинации предикторов, которые бы определяли один из классов целевой переменной. Если говорить о случайных лесах, то это не более 300 дереьвев (обычно от 50 до 100), которые можно получить на выборке не более 5000 бар. Дальнейшее увеличение выборки не приводит к увеличению числа деревьев, т.е. типы деревьев - "паттерны" закончились для данного набора предикторов и целевой переменной

 

Основная проблема находится в переобучении, когда в будущих выборках имеющиеся деревья неправильно предсказывают класс, точнее все хуже и хуже предсказывают класс. Именно этот вопрос и рассматривается на этой ветке, а именно: пытаемся доказать, что полученные деревья будут встречаться в будущем и ошибка классификации на будущих выборках будет примерно такой же как и на обучающей выборке. 

Ну, я так примерно и думал. Ожидал подобную реакцию.

Yury Reshetov, если есть интерес, напишите мне в личку, расскажу.   

 
Andrey Dik:

1. Так я и не получил ответ, каким образом строится/определяется/детектируется паттерн? - понимаю, что вопрос, возможно, слишком интимный, можете не отвечать.

да не интимный, я очень много всего пробую, свечные комбинации + комбинации уровней , кластеризацию цены, ssa + кластеризацию, индикаторы  с адаптивными периодами, Фурье,  есть идея как вполне формализовано  можно  описать волны элиота, и еще несколько задумок по прогнозированию толпы, но не знаю как реализовать пока, слишком кучеряво там все

 

Yury Reshetov:

Паттерны - это примеры из обучающей выборки. Т.е. это строка в выборке: несколько значений предикторов и, как минимум, одно значение зависимой переменной.

Почему mytarmailS называет паттернами модели, т.е. то что получается по результатам машинного обучения, не совсем понятно?

 Я не знал что это паттерном называется, буду знать, спасибо.

Yury Reshetov:

Развороты по ZigZag пытается прогнозировать ещё один здешний обитатель: СанСаныч Фоменко

 Вообще то это я занимаюсь разворотами ЗЗ

 

Andrey Dik:

 Не хочется сейчас акцентироваться на разворотах, но могу сказать со 100% достоверностью, что развороты определять не целесообразно (мягко говоря). Гораздо более правильно в плане достоверности как детектирования, так и простоте описания, является подход, который опишу ниже (как раз можете опробовать в прорабатываемой теме)

 Давайте, ведайте, жду с нетерпением, и еще бы интересно послушать обоснование почему развороты зигзага не айс?

 
Andrey Dik:

Ну, я так примерно и думал. Ожидал подобную реакцию.

Yury Reshetov, если есть интерес, напишите мне в личку, расскажу.   

Есть интерес!!! пишите...
 
Andrey Dik:

Ну, я так примерно и думал. Ожидал подобную реакцию.

Не обращайте внимания. У Сан Саныча бывают закидоны в попытках навязать здесь какие-то личные и "истинные в последней инстанции" правила игры. Суть в том, что в машинном обучении отсутствует однозначность, а имеется множество не до конца проработанных проблем по теме применения "чёрных ящиков". Потому они и "чёрные", что заведомо неочевидные.

Суть данной ветки - обсуждать всё, что имеет отношение к машинному обучению, независимо от того, соответствует ли это чьему-то мировоззрению или противоречит. Сколько людей, столько и мнений и на вкус и цвет товарищей нет.

Если есть какие нибудь непонятки по ML, то обсуждайте их здесь - Вас  за это никто не покусает.

Матросам, у которых нет вопросов и им уже однозначно ясно  куда копать и есть только желание померяться пипсами, могут перейти в ветку: Машинное обучение: теория и практика (только торговля; вход только тем, у кого есть стейт)

Andrey Dik:


Yury Reshetov, если есть интерес, напишите мне в личку, расскажу.   

Личку использую только в крайних случаях, когда необходимо обмениваться конфидециальной информацией. Предполагаю, что у Вас нет информации под грифом "совершенно секретно"? Если так, то лучше обсуждать здесь. Может быть кто-то ещё подключиться к обсуждению, если оно окажется конструктивным?
 

Метода следующая (всё нижесказанное одинаково относится как к ML так и классическим ТС).

Смысл - избавится от неопределённости, а это означает избавится от подгонки в обучении и оптимизации с одной стороны, а с другой - однозначно сформулировать "мягкие" требования к системе. ТП и СЛ при входе - это тоже неопределённость, поэтому используем только для экстренного выхода (зависит от волатильности инструмента и выбираем эмпирически и так, что бы от 100% трейдов стопы срабатывали как можно реже, в идеале - никогда. Прогнозируем трейд целиком, от входа до выхода. Удачным трейдом считаем итог с прибылью без учета спреда и комиссий (рабочесть системы определяется после по мо, покроет ли спред и комиссии). Получили сигнал на вход - вошли, далее ждем определенное количество баров (определяется эмперически и зависит от предикторов и торгового инструмента), после этого смотрим - эквити в прибыли? - закрываем сделку, в  убытке - ждем ещё один бар. Иногда я использую два параметра: минимальное количество баров и максимальное (если сделка не закрыта по истечении максимального количества баров - то закрывается всё равно), а иногда тлько один - минимальное количество баров.

Многие удивятся, но начинают работать многие, даже казалось бы безнадёжные системы, включая ТС на машках, не говоря уже о разного рода системах с ML. Фишка в том, что бы не требовать железобетонных правил ТС от себя и от машины, не пытаться полностью описать рыночные движения и дать те самые "мягкие" правила для ML. Кроме того, избавляемся от плохого наследия рынка в виде тяжёлых хвостов (а точнее - хвосты перестают иметь значение), перестает иметь значение отсутствие стационарности у ВР - так как мы знаем, что рыночные фигуры могут масштабироваться по вертикали и горизонтали без изменения своих внутренних свойств (а это неимоверно усложняет жизнь эмлёнингистам).

Я писал об этом на 4-м форуме, вроде в ветке Свинозавра, про два типа всех ТС (с определёнными границами и неопределёнными), но там мысль как то была не закончена. Сейчас уже как то всё более четко видится, что ли...

Вообще, использую своё правило при разработке торговых систем: если изменения в логике приводят к увеличению доли успешных вариантов параметров из числа всех возможных, то это хорошие изменения (снижается вероятность выбрать хреновый вариант для торговли, как бы мы не меняли параметры - будем в плюсе). Такой подход позволил очень сильно увеличить эту долю в моих ТС. 

 
Andrey Dik:

Метода следующая (всё нижесказанное одинаково относится как к ML так и классическим ТС).

Смысл - избавится от неопределённости, а это означает избавится от подгонки в обучении и оптимизации с одной стороны, а с другой - однозначно сформулировать "мягкие" требования к системе. ТП и СЛ при входе - это тоже неопределённость, поэтому используем только для экстренного выхода (зависит от волатильности инструмента и выбираем эмпирически и так, что бы от 100% трейдов стопы срабатывали как можно реже, в идеале - никогда. Прогнозируем трейд целиком, от входа до выхода. Удачным трейдом считаем итог с прибылью без учета спреда и комиссий (рабочесть системы определяется после по мо, покроет ли спред и комиссии). Получили сигнал на вход - вошли, далее ждем определенное количество баров (определяется эмперически и зависит от предикторов и торгового инструмента), после этого смотрим - эквити в прибыли? - закрываем сделку, в  убытке - ждем ещё один бар. Иногда я использую два параметра: минимальное количество баров и максимальное (если сделка не закрыта по истечении максимального количества баров - то закрывается всё равно), а иногда тлько один - минимальное количество баров.

Многие удивятся, но начинают работать многие, даже казалось бы безнадёжные системы, включая ТС на машках, не говоря уже о разного рода системах с ML. Фишка в том, что бы не требовать железобетонных правил ТС от себя и от машины, не пытаться полностью описать рыночные движения и дать те самые "мягкие" правила для ML. Кроме того, избавляемся от плохого наследия рынка в виде тяжёлых хвостов (а точнее - хвосты перестают иметь значение), перестает иметь значение отсутствие стационарности у ВР - так как мы знаем, что рыночные фигуры могут масштабироваться по вертикали и горизонтали без изменения своих внутренних свойств (а это неимоверно усложняет жизнь эмлёнингистам).

Я писал об этом на 4-м форуме, вроде в ветке Свинозавра, про два типа всех ТС (с определёнными границами и неопределёнными), но там мысль как то была не закончена. Сейчас уже как то всё более четко видится, что ли...

Вообще, использую своё правило при разработке торговых систем: если изменения в логике приводят к увеличению доли успешных вариантов параметров из числа всех возможных, то это хорошие изменения (снижается вероятность выбрать хреновый вариант для торговли, как бы мы не меняли параметры - будем в плюсе). Такой подход позволил очень сильно увеличить эту долю в моих ТС. 

Это описание многовариантного выхода из сделки. Я сам так реализовал. Увеличивает шанс на подгонку.
Причина обращения: