Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1188

 

да там какое-то все слишком простое

по сути фишка РЛ даже не в пакетах, а в подходе, т.е. переборе. Используется вместо генетики, но через аппроксиматор типа НС

основная сложность - сэмплить из нужных распределений

 
Maxim Dmitrievsky:

да там какое-то все слишком простое

по сути фишка РЛ даже не в пакетах, а в подходе, т.е. переборе. Используется вместо генетики, но через аппроксиматор типа НС

основная сложность - сэмплить из нужных распределений

Ну то что простой пример это как бы норм, ведь пример не должен быть сложным, а то что есть уже готовые пакеты это гуд.... Я вот даже в том простом примере  не разобрался(( не понял зачем матрицы забивать вероятностями и зачем эти вероятности вообще нужны и как их считали

 
mytarmailS:

Ну то что простой пример это как бы норм, ведь пример не должен быть сложным, а то что есть уже готовые пакеты это гуд.... Я вот даже в том простом примере  не разобрался(( не понял зачем матрицы забивать вероятностями и зачем эти вероятности вообще нужны и как их считали

вероятности переходов в состояния, марковские цепи

типа вероятность покупки при каком-то условии, или продажи

матрица заполняется всеми возможными состояниями, потом из нее выбирается текущее состояние и смотрится сигнал.. это примитив табличный :)

 
Maxim Dmitrievsky:

вероятности переходов в состояния, марковские цепи

Ну это я понял....

Не понял их роли в коде

 
mytarmailS:

Ну это я понял....

Не понял их роли в коде

в смысле роли? это таблица переходов из состояния в состояния и вероятности

 
Maxim Dmitrievsky:

в смысле роли? это таблица переходов из состояния в состояния и вероятности

ну не понял от куда взялись вероятности переходов, есть у нас 4 направления - влево, право, вверх , вниз . Алгоритм должен найти путь "куда то" путем правильной комбинации направлений. Еще до того как алгоритм начал поиск правильной комбинации создается матрица с вероятностями переходов , откуда они взяли эти вероятности?

Я скорей всего жестко туплю, но все же , если не впадло то обясни

 
mytarmailS:

ну не понял от куда взялись вероятности переходов, есть у нас 4 направления - влево, право, вверх , вниз . Алгоритм должен найти путь "куда то" путем правильной комбинации направлений. Еще до того как алгоритм начал поиск правильной комбинации создается матрица с вероятностями переходов , откуда они взяли эти вероятности?

Я скорей всего жестко туплю, но все же , если не впадло то обясни

читай основы, не на Р а просто в интернете

изначально вероятности задаются рэндомно, потом на протяжении итераций обновляются разными методами, в основном TD-метод, в конце они схдятся к оптимуму, т.е. решению изначальной задачи, например выйти из квартиры в которой несколько комнат самым быстрым способом, не заходя в другие комнаты. Для этого задается матрица состояний (value матрица) и матрица переходов (policy матрица), т.е. для каждого состояния (нахождение в определенной комнате) может быть несколько переходов в другие комнаты и их вероятности. После каждого действия возвращается численное вознаграждение (плохо-хорошо), суть метода в максимизации вознаграждения, т.е. за неправильные переходы агент штрафуется, за правильные поощряется

 
Maxim Dmitrievsky:

Не видел в ветке ничего про информационные критерии (байесовский или Акаике). Возможно, они используются по умолчанию (в применяемых пакетах для МО)?

 
Aleksey Nikolayev:

Не видел в ветке ничего про информационные критерии (байесовский или Акаике). Возможно, они используются по умолчанию (в применяемых пакетах для МО)?

кросс энтропия используется или Лог лосс

для мультикласс и бинарной классификации соттветственно

для задач регрессии среднекв. (rms) и подобные

я так понял это и есть Акаике

 
проверил PCA и LDA для предобработки предикторов (избавление от коллинеарности). Как и ожидалось, на новых данных это не работает т.к. сами компоненты начинают скакать, хотя модель, может быть, чуть лучше обучается на них на трейне. Но из-за того что сами компоненты ведут себя непредсказуемо на новых данных, получается все то же самое и даже еще хуже. В общем, многие из классических техник МО к рынку просто неприменимы, вернее, это в лоб не работает.