Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2793

 
СанСаныч Фоменко #:

В препроцессинге , как этап, удаляю коррелированные фичи. Из 170 остается примерно 50 при коррелированности не выше  75%(!). При коррелированности не выше 50% остается несколько штук. Но я не ставил цель набрать НЕ коррелированные фичи. 

Вот эти 50 и можно проверять моделью.
 
elibrarius #:
Вот эти 50 и можно проверять моделью.

Так они коррелированы! Результат зависит от порядка отбрасывания фичей. 

 
СанСаныч Фоменко #:

Для оценки предсказательной способности вполне достаточно. Можно отобрать фичи, которые дают ошибку предсказания учителя до 20% по технологии скользящего окна.

под 500 баров можно подогнать, спору нет, если на 1 сделку предсказывать. Нужна статистика, слабо верю что будет предсказывать лучше рандома в среднем. Но вариант имеет право на жизнь.

по поводу выбора фичей и мультиколлинеарности (специально задавал вопрос разрабам бустинга) - имеет смысл отбирать только в случае конкурсов, для получения вылизанных моделей и в борьбе за доли %. Во всех остальных почти не имеет смысла делать такой препроцессинг. Отлично зануляют мусор сами.

 
СанСаныч Фоменко #:

Так они коррелированы! Результат зависит от порядка отбрасывания фичей. 

Вы же просеяли до 75%.... Опять возвращаемся к вашим пакетам... чем они лучше реальной модели?
 

при таком частом переобучении на каждом баре, будет сильно влиять рандомайз при обучении моделей (случайные сплиты). Он может похоронить остатки альфы и похоронит

потому что по закону Мерфи Anything that can go wrong will go wrong

Неэффективности приходится выдирать скальпелем буквально, а модели имеют тенденцию сглаживать и усреднять, не оставляя за что подцепить 
 
Maxim Dmitrievsky #:

под 500 баров можно подогнать, спору нет, если на 1 сделку предсказывать. Нужна статистика, слабо верю что будет предсказывать лучше рандома в среднем. Но вариант имеет право на жизнь.

по поводу выбора фичей и мультиколлинеарности (специально задавал вопрос разрабам бустинга) - имеет смысл отбирать только в случае конкурсов, для получения вылизанных моделей и в борьбе за доли %. Во всех остальных почти не имеет смысла делать такой препроцессинг. Отлично зануляют мусор сами.

1. Уточню. 500 бар - это статистика для отбора фичей по предсказательной способности. Это не статистика по модели. Статистика по модели я делал на 1000 барах, переобучая модель на каждом баре. Здесь ошибка предсказания всегда выше 80%.

2. Мультиколлинеарность. Как факт на моих фичах. Оснований обобщать не вижу. Но любопытный результат. Приведенная величина 75% - это некий оптимум, середина между 70% и 80%. Выше и ниже этих величин ошибка предсказания больше по отношению 75% примерно на 10% разница. При общей ошибке не более 20% это очень много.    

 
elibrarius #:
Вы же просеяли до 75%.... Опять возвращаемся к вашим пакетам... чем они лучше реальной модели?

Не будем путать фундамент со всем зданием. Но без фундамента здание может рухнуть.

 
СанСаныч Фоменко #:

1. Уточню. 500 бар - это статистика для отбора фичей по предсказательной способности. Это не статистика по модели. Статистика по модели я делал на 1000 барах, переобучая модель на каждом баре. Здесь ошибка предсказания всегда выше 80%.

2. Мультиколлинеарность. Как факт на моих фичах. Оснований обобщать не вижу. Но любопытный результат. Приведенная величина 75% - это некий оптимум, середина между 70% и 80%. Выше и ниже этих величин ошибка предсказания больше по отношению 75% примерно на 10% разница. При общей ошибке не более 20% это очень много.    

СанСаныч, прошу минутку терпения. Тут больше не у кого спросить. Все спецы МО гоноровые парни, и со мной даже не будут разговаривать)

Мне вот интересно, что Вы хотите предсказать с помощью МО?

1. Следующий тик?

2.  Следующий бар?

3.  Следующую группу тиков?

4.  Следующую группу баров?

5. Направление волны?

6. Направление тренда?

Мне так кажется, что у тутэшей тусовки в этом плане нет даже представления, что они хотят найти. 

Такое ощущение, что хотят найти сразу денежные знаки.) 

Может хоть Вы поясните в двух словах? Для точности цели МО, так сказать.

 
Ох, я весь в предвкушении ответа 
 
Uladzimir Izerski #:

СанСаныч, прошу минутку терпения. Тут больше не у кого спросить. Все спецы МО гоноровые парни, и со мной даже не будут разговаривать)

Мне вот интересно, что Вы хотите предсказать с помощью МО?

1. Следующий тик?

2.  Следующий бар?

3.  Следующую группу тиков?

4.  Следующую группу баров?

5. Направление волны?

6. Направление тренда?

Мне так кажется, что у тутэшей тусовки в этом плане нет даже представления, что они хотят найти. 

Такое ощущение, что хотят найти сразу денежные знаки.) 

Может хоть Вы поясните в двух словах? Для точности цели МО, так сказать.

Предсказываю следующий бар на Н1. Результат предсказания = -1; 0; 1.


Но это на поверхности. Существует целый внутренних сложностей. Уточнять не буду. Думайте сами.

Правильно сформулировать учителя не менее важно, чем к такому учителю подобрать предикторы, которые с ним связаны.  

Причина обращения: