Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 264

 

Пардон, отвлекся…

Вот данные https://drop.me/aGE2kB

Правки не вносил так как не было времени, пока стакан только дельта, некоторые дни с пропусками, но как для тестов сойдёт

 

Не знаю будут ли полезны эти лекции кому то , но для общего развития наверное неплохо, да и просто интересно

 прогнозирование временных рядов:

https://www.youtube.com/watch?v=u433nrxdf5k 

преобразование признаков: 

 https://www.youtube.com/watch?v=U1QYrGj6Ztg

Лекция 10 Прогнозирование временных рядов
Лекция 10 Прогнозирование временных рядов
  • 2016.12.24
  • www.youtube.com
Группа ВК: https://vk.com/data_mining_in_action Репозиторий курса на гитхабе: https://github.com/vkantor/MIPT_Data_Mining_In_Action_2016
 

В конце видео про преобразование признаков лектор упоминает об интересном методе понижения размерности с помощью которого можно например оценить разделимость классов, этот метод(t-SNE)  считается более прогрессивным чем РСА и заслуживает внимания

Я сравнил как разделяют методы по понижению размерности

я 

И действительно метод выгодно отличается от других..

Данные и код можно взять из этой статьи  http://biostat-r.blogspot.com/2016/05/pca-mds-t-sne.html

пакеты по методу : tsne, Rtsne

последний быстрый и написан на с++

На рыночных данных не гонял пока...

Понижение размерности: PCA, MDS, t-SNE
  • 2016.05.28
  • Andrey Ogurtsov
  • biostat-r.blogspot.nl
Методы понижения размерности (обзор) играют важную роль в машинном обучении. Они позволяют строить модели в пространствах меньшей размерности, чем исходное признаковое пространство, с минимальными потерями информации. Особенно полезно понижать размерность до 2, то есть проецировать данные на плоскость. Таким образом можно изучить структуру...
 

Dr.Trader помните вы говорили что не знаете как scale() работает? Я узнал ))

scale(x,center = TRUE, scale = TRUE)
# аналог
(x - mean(x)) / sd(x)
 
mytarmailS:

Не знаю будут ли полезны эти лекции кому то , но для общего развития наверное неплохо, да и просто интересно

 прогнозирование временных рядов:

https://www.youtube.com/watch?v=u433nrxdf5k 

преобразование признаков: 

 https://www.youtube.com/watch?v=U1QYrGj6Ztg

Спасибо, хороший курс, хорошо освежает знания, добавляет новые.
Data Mining in Action
Data Mining in Action
  • www.youtube.com
Канал группы https://vk.com/data_mining_in_action Здесь выкладываются видеозаписи лекций курса Data Mining in Action в МФТИ и другие интересные материалы по ...
 
mytarmailS:
/ sd(x)

Понятно, это всё объясняет почему я хотел результат в 0..1, а получал в каких-то своих границах для каждой колонки.

 
toxic:

Пардон, отвлекся…

Вот данные https://drop.me/aGE2kB

Правки не вносил так как не было времени, пока стакан только дельта, некоторые дни с пропусками, но как для тестов сойдёт

О!... совсем другое дело!)) Хреново прада что без всего стакана
 
mytarmailS:

Не знаю будут ли полезны эти лекции кому то , но для общего развития наверное неплохо, да и просто интересно

 прогнозирование временных рядов:

https://www.youtube.com/watch?v=u433nrxdf5k 


Да, есть интересные моменты, например, проверка по остаткам и программный подбор фитчей.

Зато странно, что человек сначала говорит "валидация непременно необходима", и тут же "если часть истории мешает подборке модели - просто отрежьте ее " .

 

Привет всем!

1) По поводу t-SNE : с рын. данными у меня не заработал..

2) Нашел пакет с уже реализованными   свечными паттернами, установить его можно так:

install.packages("candlesticks", repos="http://R-Forge.R-project.org")

 Я хотел бы с ним поиграться но так сложилось что я не сталкивался серьезно с xts данными, как мне мои котировки перевести нужный формат?

 

мои данные

head(MY_dat)
        X.DATE. X.TIME. X.OPEN. X.HIGH. X.LOW. X.CLOSE. X.VOL.
385327 20170117  204000  115420  115440 115400   115400    314
385328 20170117  204500  115400  115440 115370   115410    559
385329 20170117  205000  115410  115440 115380   115420    475
385330 20170117  205500  115410  115510 115360   115470   1745
385331 20170117  210000  115470  115490 115430   115440    607
385332 20170117  210500  115440  115490 115420   115470    453
class(MY_dat)
[1] "data.frame"


Нужный xts формат

head(ri)
                    RIH7.Open RIH7.High RIH7.Low RIH7.Close RIH7.Volume
2017-01-30 10:00:00    119060    119060   118480     118620       12191
2017-01-30 10:05:00    118610    118620   118260     118320       13219
2017-01-30 10:10:00    118320    118470   118230     118250        8519
2017-01-30 10:15:00    118240    118260   118080     118120       11010
2017-01-30 10:20:00    118110    118160   117930     117980        8108
2017-01-30 10:25:00    117980    118100   117910     118020        5544
class(ri)
[1] "xts" "zoo"
 
mytarmailS:

Привет всем!

1) По поводу t-SNE : с рын. данными у меня не заработал..

2) Нашел пакет с уже реализованными   свечными паттернами, установить его можно так:

install.packages("candlesticks", repos="http://R-Forge.R-project.org")

 Я хотел бы с ним поиграться но так сложилось что я не сталкивался серьезно с xts данными, как мне мои котировки перевести нужный формат?

 

мои данные

head(MY_dat)
        X.DATE. X.TIME. X.OPEN. X.HIGH. X.LOW. X.CLOSE. X.VOL.
385327 20170117  204000  115420  115440 115400   115400    314
385328 20170117  204500  115400  115440 115370   115410    559
385329 20170117  205000  115410  115440 115380   115420    475
385330 20170117  205500  115410  115510 115360   115470   1745
385331 20170117  210000  115470  115490 115430   115440    607
385332 20170117  210500  115440  115490 115420   115470    453
class(MY_dat)
[1] "data.frame"


Нужный xts формат

head(ri)
                    RIH7.Open RIH7.High RIH7.Low RIH7.Close RIH7.Volume
2017-01-30 10:00:00    119060    119060   118480     118620       12191
2017-01-30 10:05:00    118610    118620   118260     118320       13219
2017-01-30 10:10:00    118320    118470   118230     118250        8519
2017-01-30 10:15:00    118240    118260   118080     118120       11010
2017-01-30 10:20:00    118110    118160   117930     117980        8108
2017-01-30 10:25:00    117980    118100   117910     118020        5544
class(ri)
[1] "xts" "zoo"
Пробовал, но быстро сломался: не понятно что делать с дырками в выходные.
Причина обращения: