Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 269

 

Выложенная здесь история с нулевой ошибкой подгонки модели носит исключительно алхимический характер.

1. Ошибка подгонки модели = 0.  Ну, не бывает так, быть не может. А как может? 1% может или тоже не может? А 5%  может или тоже не может? А сколько надо %% чтобы "может"? 

2. Два понятия: перерисовывает и заглядывание вперед. Что это такое? Использовалось удивительное доказательство: каким-то образом нашли подозрительные индикаторы, выбросили и получили ошибку подгонки = 50%. Все. Доказали. Заглядывает вперед. Что объект доказательства, что само доказательство .... без комментария.  

 

А может дело гораздо глубже и алхимия не позволила вникнуть в проблему?

Проблему я называл выше: методы анализа и методы предсказания разные, имеют свою специфику и переносить методы анализ на предсказания просто так нельзя - надо доказывать допустимость применения методов анализа для предсказания.

В нашем примере.

Берутся некоторые индикаторы (в принципе не важно какие) и вычисляется их значение на всей выборке, на которой будем учить и тестировать модель. Для анализа прошлого нет проблем. А для предсказания допустимость такого подхода надо доказывать,так как нас интересует следующий бар за тем, который в нашем распоряжении.  Значит надо взять окно и на нем посчитать все индикаторы, а затем подогнать модель. По приходу нового бара надо снова повторить эту процедуру. Поменялась история или нет - это не интересно. Модель должна строится на значениях последнего бара индикатора. Когда мы посчитали за один раз индикатор для всей выборки, то вполне вероятно, что значения этого индикатора НЕ БУДУТ СОДЕРЖАТЬ ЗНАЧЕНИЯ ПОСЛЕДНЕГО БАРА ПРИ ДВИЖЕНИИ ОКНА.

Поэтому.

Если мы желаем учить модели НА ВРЕМЕННЫХ РЯДАХ, то следует использовать значения индикатора, которые получены из значений последнего бара при движении окна вдоль учебной выборки.  

 

ПС.

Если использовать этот метод для зигзага, то в зависимости от алгоритма зигзага получим либо одни нули, либо вкрапления, либо линии, не имеющие никакого отношения к красавцу зигзагу. И никаких разговоров про перерисовывание и заглядывание вперед - нельзя пользоваться, и все. 

 
Vladimir Perervenko:

Появился новый и очень перспективный пакет RKEEL шлюз к KEEL

Удачи 

 А можете хотя бы в двух словах сказать в чем перспективность пакета? ну или в трех ) 

 

СанСаныч Фоменко:

Выложенная здесь история с нулевой ошибкой подгонки модели носит исключительно алхимический характер..................

 Че наговорил? нифига не понял :)

 
mytarmailS:

 А можете хотя бы в двух словах сказать в чем перспективность пакета? ну или в трех ) 

===========================================================

Объясняю:

1. Программный продукт "KEEL" позволяет создавать, тестировать и исследовать различные классы моделей для решения задач регрессии, кластеризации и классификации без глубокого знания языка R. Это программа типа rattl , но более продвинутая. 

Программа строится с помощью графических готовых "кубиков"/модулей , быстро и наглядно, аналогично KNIME, но более просто. После прототипирования готовую программу просто переносите в R с помощью пакета  "RKEEL"

Графическое представление программы, состоящей из модулей, значительно ускоряет и облегчает ее создание, особенно для начинающих программистов коими в большинстве своем являются трейдеры. . Есть аналогичные программы для R - "RedR" и "RAnaliticFlow" , но они слабо поддерживаются.

2. Предложено большое количество модулей для препроцессинга и трансформации переменных, что есть хорошо.

3. Предложено много оригинальных алгоритмов, которых нет в R.

Разнообразие методов извлечения знаний из данных позволяет более гибко решать задачи трейдинга.

Удачи 

 

 

 

 
Vladimir Perervenko:
Спасибо
 
mytarmailS: 

 Че наговорил? нифига не понял :)

Надо набрать последних значений

for(i in ...)
{

    X29_1 <- TrendDetectionSMA(D[i:i+windows,])

    X29[i+windows] <- X29_1[windows]
}

В результате Х29 будет состоять из  ПОСЛЕДНИХ значений, предпоследние не будут корректироваться для перерисовыющихся индикаторов 
 

 
СанСаныч Фоменко:

Если мы желаем учить модели НА ВРЕМЕННЫХ РЯДАХ, то следует использовать значения индикатора, которые получены из значений последнего бара при движении окна вдоль учебной выборки

Я так само и делал, посмотрите тот код что я прикладывал пару страниц назад, и описание к нему.

Проблемка в том, что тех 6 индикаторов дают результат NA на последний бар. А потом, при анализе последующих баров - изменяют это NA значения на что-то ещё, происходит изменение результата прошлых барах согласно новым данным (в простонародии "перерисовка").
Получится что мы обучаем модель используя эти самые перерисованные результаты, а когда захотим получить прогноз на новых данных - эти индикаторы скажут нам NA вместо нужных значений, что есть неприемлимо. 

Если хотите поанализировать эти индикаторы - вот rdata файл, со значениями индикаторов полученными в скользящем окне. Значения тех шестерых перерисовывающихся индикаторов взяты не за последний бар, а за предпоследний, чтоб было хоть что-то вместо NA.

Файлы:
 
Dr.Trader:

Я так само и делал, посмотрите тот код что я прикладывал пару страниц назад, и описание к нему.

Проблемка в том, что тех 6 индикаторов дают результат NA на последний бар. А потом, при анализе последующих баров - изменяют это NA значения на что-то ещё, происходит изменение результата прошлых барах согласно новым данным (в простонародии "перерисовка").
Получится что мы обучаем модель используя эти самые перерисованные результаты, а когда захотим получить прогноз на новых данных - эти индикаторы скажут нам NA вместо нужных значений, что есть неприемлимо. 

Если хотите поанализировать эти индикаторы - вот rdata файл, со значениями индикаторов полученными в скользящем окне. Значения тех шестерых перерисовывающихся индикаторов взяты не за последний бар, а за предпоследний, чтоб было хоть что-то вместо NA.

Так и не поняли: не надо вникать. Запомнили последний бар. Если он NA, значит и нет значения никогда. Кстати именно такое значение и у ЗЗ на последней баре.
 
Попался обзор по Deep Learning in R
 
СанСаныч Фоменко:
Попался обзор по Deep Learning in R

Поверхностная и с многими неточностями статья. Очевидно писали студенты как курсовик. 

Хотел написать комментарий, не нашел где это сделать.

Как популярный обзор годится, но не руководство к действию.

Удачи 

 

Почему все так зациклены на моделях? почему никто не развивает тему о признаках? почему никто не говорит о нестационарности?  почему никто не пробует решать эти проблемы? почему никто не задумываеться о том что вообще  движет цены ? почемуууу?

Если вы подаете на вход стохастик то не важно какую модель вы используете будь то обычный KNN или самую навороченную глубокую сеть, accuracy  будет 51-53% будь она хоть трижды глубокая. Какая польза от этих моделей если на входе мусор? , никакой , но зато 95% внимания именно в сторону моделей, лично для меня уже модели это последний этап в системе, и это всего лишь 2% всей работы

 

А пока поделюсь своими результатами...

Мой крайний алгоритм....

Пока что вообще без МО в классическом понимании, но распознавание присутствует.

Система принятия решений полуавтоматическая те -

на первом этапе алгоритм сам распознает некие формации и выдает их мне

на втором этапе я оцениваю глазами то что он мне посчитал и делаю торговое решение, не смотря на то что оценивается все очень легко и однозначно я пока не могу перевести второй этап а автоматический режим распознавания, так что по сути система пока полу-ручная

Система внутри дневная, торговля идет на фрейме 5М , в день в среднем около 20ти сделок, за 15 торговых дней было всего два  дня с небольшим убытком

В красном графике доходности это тот же черный но с учетом комиссии

 й

 также перевел сделки в программу тех анализа для более гибкого и глубокого понимания 

 р

 

А и еще добавлю по поводу нестацыонарности, взгляните на этот дикий всплеск  волатильности  который я отметил стрелочкой это было несколько дней назад,  я скажу вам с уверенность что все системы которые торговали на фиксированых параметрах их всех размазало, по сути эта вся волатильность это и есть их стоп лоссы , ну это я отвлекся....

Так вот что я хочу сказать, чтобы более менее адекватно реагировать на рыночные движения  система принятия решений либо должна постоянно коректировать в свои параметры адекватно рынку(то что я когдато говорил о фурье) или система должна быть вообще не параметрическая, иначе я не знаю как ((

И никакая тут сетка не поможет будь она хоть трижды глубокая если на входе стохастик

л 

удачи 

Причина обращения: