Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3010

 
mytarmailS #:

Для начала надо понять что в модели полно мусора внутри..

Если разложыть обученую деревяную модель на правила внутри и статистику по этим правилам

типа :


и проанализоровать зависимость ошибки правила err от частоты freq его появления в выборке


то получим 


То нам интересна вот эта область 


Где правила работают очень хорошо , но попадаються на столько редко что есть смысл сомниваться в подлиности статистики по ним, ведь 10-30 наблюдений это не статистика

По мне это путь к подгонке. Уточнение правил внутри модели - это уточнение того, что модель "видела".

 
СанСаныч Фоменко #:

Смотрю, у Вас неуемное желание плюнуть в мою сторону, а слюну надо беречь, или просто отметиться?

нормальная реакция на бессмыслицу, азы МО как-никак

еще с таким апломбом, типа бла-бла тут все.. 

 
Maxim Dmitrievsky #:
Ну в художественной литературе точно так же. Придумывают много, не успевают записывать :) а потом редакция в лице Aleksey Nikolayev все почикает.

Хороший редактор - это хорошо.

Главное, что бы он не запрещал к публикации, то что уже работает, но он не понимает как.

 
mytarmailS #:

Для начала надо понять что в модели полно мусора внутри..

Если разложыть обученую деревяную модель на правила внутри и статистику по этим правилам

типа :


и проанализоровать зависимость ошибки правила err от частоты freq его появления в выборке


то получим 


То нам интересна вот эта область 


Где правила работают очень хорошо , но попадаються на столько редко что есть смысл сомниваться в подлиности статистики по ним, ведь 10-30 наблюдений это не статистика

Ну наконец свершилось, то что я говорю уже много лет начало доходить до масс! :)

 
Forester #:

Кто-то еще пробовал объемы добавлять к обучению? Результаты такие же? Или у вас они дают улучшения?

Я замечал, что моделям нравятся объемы под графиком, пропущенные через индикаторы.

Глубоко не копал в эту сторону - просто наблюдения.

 
СанСаныч Фоменко #:

Вы совершенно не поняли мой пост: не бывает "надежды", или есть цифровая оценка пригодности признака  или ее нет. Причем цифровая оценка пригодности признака в будущем.

Интересно, именно про будущее, раскроете секреты?

 
mytarmailS #:

трейн 5к

валид 60к


тренировка модели - 1-3 секунды

извлечение правил - 5-10 секунд

проверка каждого правила (20-30к правил) на валид 60к     1-2 минуты


конечно все приблизительно и зависит от количества признаков и данных

Что это за модель?

Алгоритм оценки правила работает на одном ядре?

 
Aleksey Vyazmikin #:

Что это за модель?

Алгоритм оценки правила работает на одном ядре?

форест

на одном

 
Aleksey Vyazmikin #:

Ну наконец свершилось, то что я говорю уже много лет начало доходить до масс! :)

что вы говорите до сих пор никто не понимает, по-моему )

вот у него все понятно без слов и просто, по принципу бритвы Оккама 

 
Forester #:

Тот тест был с реальными объемами с СМЕ для EURUSD: кумулятивные объем, дельту, дивергенцию и конвергенцию по 100 бар. Итого 400 столбцов + 5 еще каких то.
Не меняя никаких настроек модели, просто удалил 405 столбцов с данными СМЕ (остались дельты цен и зигзаги) всего 115 столбцов - получил результаты чуть лучше. Т.е. получается что объемы иногда выбираются в сплиты, но на ООС оказываются шумом. Да и обучение замедляют в 3,5 раза.

Для сравнения оставил вверху графики с объемами, внизу без объемов.

Была надежда, что объемы с СМЕ несут дополнительную информацию/закономерности, которая улучшит обучаемость. Но как видим, модели без объемов чуть лучше, хоть графики и очень похожи.
Это был мой 2-й подход к СМЕ (года 3 назад пробовал) и опять безуспешный.
Получается, что всё учтено в цене.

Кто-то еще пробовал объемы добавлять к обучению? Результаты такие же? Или у вас они дают улучшения?

Сделал еще 3 теста без объемов и сравнил с теми, что делал с объемами. Уже менял гиперпараметры модели.
Итого из 4 тестов: у 3-х без объемов ООС лучше и в 1-м хуже. Т.е. иногда объемы добавляют чуть - чуть. В общем все на уровне погрешности. Перебором гиперпараметров можно достичь большего, чем добавление объемов. Ни существенных улучшений, ни существенных ухудшений они не дают.

Ожидал от объемов большего.

Причина обращения: