Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 240

 

тренировал кохонена на ценах

O  ,H, L, C,

O[-1], H[-1], L[-1], C[-1]

весь расчет велся относительно текущего открытия как на названиях колонок

> head(dat)
       H/O       L/O       C/O      O1/O     H1/O      L1/O      C1/O
1 1.004326 0.9986890 1.0011799 0.0000000 0.000000 0.0000000 0.0000000
2 1.000000 0.9962027 0.9968574 0.9988215 1.003143 0.9975121 1.0000000
3 1.005518 0.9989490 1.0045980 1.0032843 1.003284 0.9994745 1.0001314
4 1.000392 0.9966000 0.9975154 0.9954230 1.000915 0.9943769 1.0000000
5 1.006949 1.0000000 1.0038023 1.0026223 1.003016 0.9992133 1.0001311
6 1.005877 0.9993470 1.0045710 0.9960820 1.003004 0.9960820 0.9998694

 так делали в тех ссылках что я давал

 

кохонен разбивал данные на 100 кластеров, это довольно много, на тех сайтах разбивали на 5-6 кластеров, те точность свечных паттернов у меня должно было быть на порядки выше..

Но по факту качество распознавания просто ужасное, даже распознаванием это не назвать

м 

 

=====================================

Лучше получилось кластеризировать  методом ближайшего соседа(kmeans) , но результаты все равно неудовлетворительные

потом решил визуализировать кластера 

 в идеале должно быть как то так

ь 

а у меня с 50-тю кластерами получилось вот так

о 

===========================================

Вывод 

 Так что перед тем как балакать про какие то шумы надо с начало как то преобразовать данные таким образом чтобы МО мог эти данные понять, может именно по этому МО лучше обучался на рандоме потому что рандом не совсем рандом, когда он генерируеться то он подвержен некими жесткими ограничениями по отклонению, дисперсии и.т.п. те он более стационарный, я прав vizard??? 

 
Vizard_:

Ну пацаны просто прикинули, на простых примерах, что в меньшее количество кластеров легче попасть)))
=============================================
Да, поэтому и предлагал подсмотреть как лесной строит деревья...

какой смысл в меньшем количестве кластеров если эта шняга с сотней кластеров цвет свечи иногда путает, не говоря уже о каких то свечных комбинацыях

 

про деревя не помню что то.. 

 
mytarmailS:

а я вот что то ничего не понял(

как делалась целевая? 

откуда взялась формула?

Да я и сам это не знаю. На то он и волшебник :)

Суть в том, что он подсказал какие характеристики свечи использовать для распознавания паттернов, всё остальное это уже нюансы реализации.
Я формулы создавать не умею, но например хочу сделать так - кластеризовать эти предикторы (характеристики свечей), оценить прибыльность торговли каждым отдельным кластером, разделить их на три группы купля/продажа/выход согласно среднему движению цены после каждого кластера. А дальше чем-то типа леса можно получить логические правила вместо кластеризации, но это и не особо нужно даже, можно любые новые данные кластеризовать по ранее полученным правилам согласно модели, и по номеру кластера принимать решение.

 
Dr.Trader:

 хочу сделать так - кластеризовать эти предикторы (характеристики свечей), оценить прибыльность торговли каждым отдельным кластером, разделить их на три группы купля/продажа/выход согласно среднему движению цены после каждого кластера. А дальше чем-то типа леса можно получить логические правила вместо кластеризации, но это и не особо нужно даже, можно любые новые данные кластеризовать по ранее полученным правилам согласно модели, и по номеру кластера принимать решение.

 

Ну я делал что очень похожее, не знаю какую целевку вы будете сопоставлять с  кластерами

Я брал развороты... разбивал на 100-200 кластеров

 На котировках находилось 2-10 +- интересных кластеров которые что то зарабатывали , на oos  все сливали

На рандоме находил 2-7  +- интересных  кластеров, на oos (на реал. котир.) где то 30-60% кластеров зарабатывали, некоторые очень даже стабильно

 

Но тут на первом месте проблема правильной пред обработки данных, когда я визуально оценил что там в тех кластерах то офигел,  например если у нас кластер из двух свечей, то вполне в одном кластере могут быть две белые и две черные свечи, то есть две диаметрально противоположные ситуации в одном кластере, понимаете на сколько все печально,  так что нужно как то нормально пред обработать данные чтобы МО не  тупил так жестко, потому что толку с таких кластеров нет, то же самое что монетку подбрасывать

 

Посмотрите эту статью, мне кажется будет полезной.

Удачи 

Порождение и выбор моделей машинного обучения. Лекция в Яндексе
Порождение и выбор моделей машинного обучения. Лекция в Яндексе
  • habrahabr.ru
Применение машинного обучения может включать работу с данными, тонкую настройку уже обученного алгоритма и т. д. Но масштабная математическая подготовка нужна и на более раннем этапе: когда вы только выбираете модель для дальнейшего использования. Можно выбирать...
 

От всех этих упражнений со свечами идет стойкий запах шаманства. Вообще отсутствует какая-либо регулярная мысль! Просто поразительный компот из высоколобых алгоритмов машинного обучения и типичной лабуды а-ля-технический анализ.

 

Почему-то вообще отсутствуют усилия по использованию в качестве предикторов других валютных пар. Ведь полно связанных между собой валютных пар. Самое простое: для валютной пары, которая является целевой, подбираются предикторы, полученные из этой валютной пары. Затем берем такие же предикторы из других валютных пар. 

Получаем кучу предикторов, а затем всю кучу полученных предикторов проверяем на их влияние на целевую переменную.  Этот шаг является обязательным. Зачем гонять мусор веником по комнате?

 

А затем все остальное.

Замечу, что в моем предложении имеется некая идея "связь валютных пар между собой". 

 

Если мы пытаемся породить некоторое множество предикторов, то в этом должна быть идея.  НЕ МОЖЕТ БЫТЬ ТАКОЙ ИДЕЕЙ: БЕРЕМ ДВЕ СВЕЧИ, ПОТОМ ИХ ЦВЕТ, ПОТОМ ДВА ПРИХЛОПА И В ЗАВЕРШЕНИИ ТРИ ПРИТОПА.

 
СанСаныч Фоменко:

От всех этих упражнений со свечами идет стойкий запах шаманства. Вообще отсутствует какая-либо регулярная мысль! Просто поразительный компот из высоколобых алгоритмов машинного обучения и типичной лабуды а-ля-технический анализ.

 

Почему-то вообще отсутствуют усилия по использованию в качестве предикторов других валютных пар. Ведь полно связанных между собой валютных пар. Самое простое: для валютной пары, которая является целевой, подбираются предикторы, полученные из этой валютной пары. Затем берем такие же предикторы из других валютных пар. 

Получаем кучу предикторов, а затем всю кучу полученных предикторов проверяем на их влияние на целевую переменную.  Этот шаг является обязательным. Зачем гонять мусор веником по комнате?

 

А затем все остальное.

Замечу, что в моем предложении имеется некая идея "связь валютных пар между собой". 

 

Если мы пытаемся породить некоторое множество предикторов, то в этом должна быть идея.  НЕ МОЖЕТ БЫТЬ ТАКОЙ ИДЕЕЙ: БЕРЕМ ДВЕ СВЕЧИ, ПОТОМ ИХ ЦВЕТ, ПОТОМ ДВА ПРИХЛОПА И В ЗАВЕРШЕНИИ ТРИ ПРИТОПА.

=======================================

Это Вы о материале в статье или вообще? 

 
Vizard_:
Когда кажется, креститься надо. Теперь и ssa)))

"например, функции активации, которые в сетях часто используются. Их можно использовать не только на выходе сетей, но и на входе" = пресказ
книжки(книжка неплохая, листал давно) двадцатилетней давности. А.Ежов,С.Шумский.Нейрокомпьютинг и его применения в экономике и бизнесе.
стр 130. Индивидуальная нормировка данных.
http://www.neuroproject.ru/Papers/EzSh/Lecture_7.pdf

"Важный и хорошо работающий прием — использовать параметры метода «Singular structural analysis» или «Гусеница»." 1996г.)))
 http://www.gistatgroup.com/gus/ex1.html

Мал еще что бы давать мне советы.

А SSА чудесный инструмент в умелых руках. 

Удачи 

 
СанСаныч Фоменко:

От всех этих упражнений со свечами идет стойкий запах шаманства. Вообще отсутствует какая-либо регулярная мысль! Просто поразительный компот из высоколобых алгоритмов машинного обучения и типичной лабуды а-ля-технический анализ.

 Саныч ну так возьми и сделай!!!

1) расскажи суть идеи 

2) напиши и выложи  код

3) покажи картинки торговли на oos

 

 а то одно бла-бла...  

Сделай хоть один нормальный пост, в котором сможешь  не на словах а на конкретных исследованиях  подтвердить свою точку зрения которую так яростно ты пропагандируешь , и чтобы это можно было пощупать, но ты же этого не сделаешь, верно?? а почему ?? , я знаю почему... 

 
Dr.Trader:

Я формулы создавать не умею, но например хочу сделать так - кластеризовать эти предикторы (характеристики свечей), оценить прибыльность торговли каждым отдельным кластером, разделить их на три группы купля/продажа/выход согласно среднему движению цены после каждого кластера. А дальше чем-то типа леса можно получить логические правила вместо кластеризации, но это и не особо нужно даже, можно любые новые данные кластеризовать по ранее полученным правилам согласно модели, и по номеру кластера принимать решение.

Попробовал, не прокатило. Можно подобрать кластеры для вполне красивой торговли на sample, но на oos почти всегда слив, плохая стратегия. 
Причина обращения: