Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1538

 
Igor Makanu:

голосовые и музыкальные файлы сжимают с помощью  dtw, а они в свою очередь являются тоже ВР

;)

вот только зачем сжимать фин. вр :)

 
Maxim Dmitrievsky:

вот только зачем сжимать фин. вр :)

ну я уже изучал эту тему, если своими словами, то примерно так:

тут в общем в чем ценность dtw - это правильный алгоритм для сжатия ВР - именно ВР, а не абы каких и не пофиг как данных

ну и если мы умеем правильно сжимать данные - мы получаем пакеты? образы? - ну или пусть это будут паттерны данных - вот именно эти паттерны данных  и позволяют создавать алгоритмы распознавания речи

примерно так я вижу как используют dtw

в принципе к фин.ВР можно применять  dtw, имхо если нет потери данных после преобразования (т.е. возможно обратное преобразование), то имеет смысл к фин.ВР пробовать применить, как говорится а вдруг?

ЗЫ: вот читал пару лет назад статью https://habr.com/ru/post/135087/

 
Igor Makanu:

ну я уже изучал эту тему, если своими словами, то примерно так:

тут в общем в чем ценность dtw - это правильный алгоритм для сжатия ВР - именно ВР, а не абы каких и не пофиг как данных

ну и если мы умеем правильно сжимать данные - мы получаем пакеты? образы? - ну или пусть это будут паттерны данных - вот именно эти паттерны данных  и позволяют создавать алгоритмы распознавания речи

примерно так я вижу как используют dtw

в принципе к фин.ВР можно применять  dtw, имхо если нет потери данных после преобразования (т.е. возможно обратное преобразование), то имеет смысл к фин.ВР пробовать применить, как говорится а вдруг?

ЗЫ: вот читал пару лет назад статью https://habr.com/ru/post/135087/

ну можно будет поковырять потом как-нибудь, да. Для извлечения тех же паттернов из ретурнов мб

с другой стороны нафиг, ели есть нейросеть
 
Maxim Dmitrievsky:

с другой стороны нафиг, ели есть нейросеть

ох не знаю, забросил изучение всего этого, интересная штука, но имхо, должны и есть более простые способы понять? что к чему в рынке

про НС, ну ты же знаешь, что процессинг данных более важен чем конфиг или тип НС, имхо, dtw - это правильная обработка ВР ( при обработке именно ВР!!! ) важна последовательность данных!

про тот же dtw в обработке голоса - важна же последовательность / чередование букаф ? ;)


UPD:

если в НС кормить при обучении просто скользящее окно данных ВР (бары), то имхо, это иллюзия, что через входы НС - именно как мы нарисовали 1,2,3...N вход, НС будет воспринимать что данные подаются последовательно как мы хотим, внутри все входы будут перепутаны, имхо, не будет для НС это скользящим окном

 
Igor Makanu:

ох не знаю, забросил изучение всего этого, интересная штука, но имхо, должны и есть более простые способы понять? что к чему в рынке

про НС, ну ты же знаешь, что процессинг данных более важен чем конфиг или тип НС, имхо, dtw - это правильная обработка ВР ( при обработке именно ВР!!! ) важна последовательность данных!

про тот же dtw в обработке голоса - важна же последовательность / чередование букаф ? ;)

Не сведущ в этих вопросах, насколько знаю для этого давно используются рекуррентные и сверточные  нейросети. Например, алгоритм seq2seq (neural language processing) от гугла. Не будет ли выглядеть dtw блеклым на этом фоне, не хотелось бы лишний раз впустую сжимать булки на стуле :)
 
Maxim Dmitrievsky:
Не сведущ в этих вопросах, насколько знаю для этого давно используются рекуррентные и сверхточные нейросеть. Например, алгоритм seq2seq от гугла. Не будет ли выглядеть dtw блеклым на этом фоне, не хотелось бы лишний раз впустую сжимать булки на стуле :)

читал про рекуррентные и сверхточные, ну как бы да, но все примеры как всегда по распознаванию картинок, а там начинают фокусы со сжатием палитры вроде производить

фиг его знает, звуковые волны ближе к фин.ВР чем картинки - тоже не стационарные, а картинки  там вроде больше теряют сжимая инфу при обработке чем стараются восстановить - вроде как быстрее и лучше учится НС

 
Igor Makanu:

читал про рекуррентные и сверхточные, ну как бы да, но все примеры как всегда по распознаванию картинок, а там начинают фокусы со сжатием палитры вроде производить

фиг его знает, звуковые волны ближе к фин.ВР чем картинки - тоже не стационарные, а картинки  там вроде больше теряют сжимая инфу при обработке чем стараются восстановить - вроде как быстрее и лучше учится НС

NLP и seq2seq глянь, это именно для речи звуков и проч
 
Maxim Dmitrievsky:
NLP и seq2seq глянь, это именно для речи звуков и проч

вообще что то про них не слышал, хотя материала перечитал ой сколько! посмотрю завтра, спс

 
Igor Makanu:

голосовые и музыкальные файлы сжимают с помощью  dtw, а они в свою очередь являются тоже ВР

;)

Igor Makanu:

ну я уже изучал эту тему, если своими словами, то примерно так:

)) какое нафиг сжатие? что вы там изучали не понятно но точно не то

Maxim Dmitrievsky:

вот только зачем сжимать фин. вр :)

и действительно, зачем? :))

 
elibrarius:

Можно просто дискретизировать входные данные, например 5ти знак преобразовать к 4 знаку. И данные будут уже групками по 10.
Ну или как предлагал ранее - встроить в алглиб лес остановку ветвления при достижении нужной глубины или количества примеров в листе.

дискретизация работает лучше чем кат фичи+ванхот, не получилось значительно улучшить