Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1539

 
mytarmailS:

и действительно, зачем? :))

можно сжимать котировки в zip архивы, смотреть на их размеры и это будут новые фичи

 
mytarmailS:

)) какое нафиг сжатие? что вы там изучали не понятно но точно не то

будем считать, что Вы блеснули, почитайте хотя бы Вики, прежде чем писать

алгоритм  dtw анализирует временную составляющую сигнала, и приводит ее к некой постоянной величине, зная эту величину, Вы можете паузы между информационной составляющей сигнала, просто убрать - в итоге у Вас будут пакеты данных без временной составляющей + постоянный алгоритм трансформации временной оси


Maxim Dmitrievsky:

можно сжимать котировки в zip архивы, смотреть на их размеры и это будут новые фичи

не прокатит, алгоритм zip - алгоритм строго преобразования, и не получится данные отличающиеся на 1 байт идентифицировать как одни и те же данные, 

нужен не строгий алгоритм работы с данными, они все с потерей исходных данных, если особо не выдумывать - это jpg - он сжимает с потерей и данные которые близки по содержанию будут восстановлены примерно одинаковыми в итоге, но это визуально! а для машины как идентифицировать это? - контрольные суммы будут в итоге разные, сами байты будут иметь разные значения....

но как обучающий пример для НС, возможно это то, что нужно , т.е нужен некий jpg для произвольных данных (не картинки)

 
Igor Makanu:

не прокатит, алгоритм zip - алгоритм строго преобразования, и не получится данный отличающиеся на 1 байт идентифицировать как одни и те же данные, 

нужен не строгий алгоритм работы с данными, они все с потерей исходных данных, если особо не выдумывать - это jpg - он сжимает с потерей и данные которые близки по содержанию будут восстановлены примерно одинаковыми в итоге, но это визуально! а для машины как идентифицировать это? - контрольные суммы будут в итоге разные, сами байты будут иметь разные значения....

но как обучающий пример для НС, возможно это то, что нужно , т.е нужен некий jpg для произвольных данных (не картинки)

да это шутка была )) Ну автоэнкодер или свертка хорошо справляются с этой задачей. У Владимира в статьях про энкодеры есть, про свертки нет

seq2seq это тоже, по сути, декодер-энкодер. Например, в машинном переводе разное кол-во букв между русским и англ. словами. Там это все сжимается, анализируется, потом разжимается

https://medium.com/@gautam.karmakar/summary-seq2seq-model-using-convolutional-neural-network-b1eb100fb4c4
Seq2Seq model using Convolutional Neural Network
Seq2Seq model using Convolutional Neural Network
  • Gautam Karmakar
  • medium.com
Seq2seq model maps variable input sequence to variable length output sequence using encoder -decoder that is typically implemented as RNN/LSTM model. But this paper https://arxiv.org/pdf/1705.03122.pdf shows application of convolutional neural network for seq2seq learning which is state of the art for computer vision using deep learning. There...
 
Maxim Dmitrievsky:

что-то начинал читать про dtw, но не понял как применить к фин рядам и зачем оно мне ) но тема интересная, наверное

Был один концепт, где DTW был расширением процесса поиска подобий фрагментов графика, но в итоге наверное вейвлеты проще (а может и нет)

 
Maxim Dmitrievsky:

да это шутка была )) Ну автоэнкодер или свертка хорошо справляются с этой задачей. У Владимира в статьях про энкодеры есть, про свертки нет

seq2seq это тоже, по сути, декодер-энкодер. Например, в машинном переводе разное кол-во букв между русским и англ. словами. Там это все сжимается, анализируется, потом разжимается

https://medium.com/@gautam.karmakar/summary-seq2seq-model-using-convolutional-neural-network-b1eb100fb4c4

про энкодеры читал в прошлом году, думаю, что как обычно все упрется в большие шпильки на ценовом графике - они рушат любые преобразования, не было бы шпилек, то и МАшки работали бы и фильтр Калмана и все работало бы норм )))

а вот про сжатие с потерями, тут можно попробовать поискать - сами семплы будут компактные по размеру, значит сеть будет не большая, обычно она лучше обучается


PS: да был DTW на форуме, даже поиском находится https://www.mql5.com/ru/code/10755

крутил его когда то , но... все нужно перед применением напильником обработать )))

 
transcendreamer:

Был один концепт, где DTW был расширением процесса поиска подобий фрагментов графика, но в итоге наверное вейвлеты проще (а может и нет)

Igor Makanu:

PS: да был DTW на форуме, даже поиском находится https://www.mql5.com/ru/code/10755

крутил его когда то , но... все нужно перед применением напильником обработать )))

ох не, ну его нафиг, пойду дальше нейросети вертеть. Не верю в такое.

 
Maxim Dmitrievsky:

ох не, ну его нафиг, пойду дальше нейросети вертеть. Не верю в такое.

я и  НС уже не хочу вертеть, занялся тестером МТ5 и его ГА, ГА довольно адекватно работает, можно быстро (4,5 х 10^142 вариантов тестировал!!! - около 2-3 часов) строить автоматом ТС, и потом тестировать на форварде, результаты довольно приемлемые, имхо

ЗЫ: но ГА тоже нужно напильником дорабатывать, тяжело подбирать входные параметры - даешь много будет тест лет 5, начинаешь рубить как не корректные вх.данные - тут как повезет или сразу нашел где оптить и ли вообще не найдет

 
Igor Makanu:

я и  НС уже не хочу вертеть, занялся тестером МТ5 и его ГА, ГА довольно адекватно работает, можно быстро (4,5 х 10^142 вариантов тестировал!!! - около 2-3 часов) строить автоматом ТС, и потом тестировать на форварде, результаты довольно приемлемые, имхо

я либо мониторинг скоро сделаю, либо статью напишу.. со статьей правда лень заморачиваться, много букав

все исключительно на питоне теперь. Очень сильно экономит время.

недостаток ГА в том, что он не обобщает
 
Maxim Dmitrievsky:

ох не, ну его нафиг, пойду дальше нейросети вертеть. Не верю в такое.

да там очень много мороки и математической и технической поэтому этот концепт забросили...

 
Maxim Dmitrievsky:

я либо мониторинг скоро сделаю, либо статью напишу.. со статьей правда лень заморачиваться, много букав

все исключительно на питоне теперь. Очень сильно экономит время.

недостаток ГА в том, что он не обобщает

почему не R например?

Причина обращения: