Обсуждение статьи "Грокаем "память" рынка через дифференцирование и энтропийный анализ" - страница 9

 
Maxim Dmitrievsky:

Только где взять другие алгоритмы? в алглиб больше ничего нет, придется какие-то сторонние добавлять. В той библиотеке из статьи можно менять параметры каждого агента - то есть закинуть в него другие фичи, кол--во деревьев и другие настройки, т.е. можно получить, допустим, множество слабых классификаторов с небольшим кол-вом деревьев, которые обучаются на разных фичах. Единственное чего там не хватает, как вы заметили, заменить усреднение на мета-модель. Ну еще можно разнести обучение на фолды, что бы каждый агент обучался на своей подвыборке. Именно со стакингом еще пока не эксперементировал.

Вот на этом я и погорел... Решил перенести алгоритм бустинга, разбросался и никак не соберу все в кучу. Библиотеки С++ слишком налегают на шаблоны и перегрузку функций, т.к. в MQL не все перегрузки поддерживаются, алгоритм летит и проще написать заново, для алгоритмов питона необходима нормальная библиотека матриц (то что в AlgLib усечено, кое-что просто закрыто заглушками, для основы не годится), проще всего оказалось перенести с C#, такое впечатление что разработчики MQL на него ориентируются больше чем на С++, вплоть до совпадения методов и имен. Попытался взять за основу деревья алглиб, но там деревья выполнены на матрицах, разбираться с индексацией тяжело, да и удаление затруднено. Теперь или доделаю и выложу, или есть надежда что кто-либо заинтересуется и тоже поделится...

 
Олег:

Вот на этом я и погорел... Решил перенести алгоритм бустинга, разбросался и никак не соберу все в кучу. Библиотеки С++ слишком налегают на шаблоны и перегрузку функций, т.к. в MQL не все перегрузки поддерживаются, алгоритм летит и проще написать заново, для алгоритмов питона необходима нормальная библиотека матриц (то что в AlgLib усечено, кое-что просто закрыто заглушками, для основы не годится), проще всего оказалось перенести с C#, такое впечатление что разработчики MQL на него ориентируются больше чем на С++, вплоть до совпадения методов и имен. Попытался взять за основу деревья алглиб, но там деревья выполнены на матрицах, разбираться с индексацией тяжело, да и удаление затруднено. Теперь или доделаю и выложу, или есть надежда что кто-либо заинтересуется и тоже поделится...

Либо делать на питоне, но потом мучиться со связками с МТ5 :) у меня есть желание сделать подобную библиотеку на питоне, возможностей там выше крыше в плане моделей. Есть смысл заморачиваться со статьей?

только еще проблема в том, что я развил эту библиотеку очень сильно, она выглядит сейчас намного сложнее чем в статье.. ну или просто иначе, хотя концепция осталась прежней
 
Maxim Dmitrievsky:

Либо делать на питоне, но потом мучиться со связками с МТ5 :) у меня есть желание сделать подобную библиотеку на питоне, возможностей там выше крыше в плане моделей. Есть смысл заморачиваться со статьей?

только еще проблема в том, что я развил эту библиотеку очень сильно, она выглядит сейчас намного сложнее чем в статье.. ну или просто иначе, хотя концепция осталась

ОДНОЗНАЧНО СМЫСЛ В СТАТЬЕ ЕСТЬ.

Питон стал стандартом ML, разработчики MQL также двинулись в этом направлении, приходится Питон осваивать при любом раскладе. Моя попытка переноса алгоритмов связана с отказом от DLL для постановки на авто торговлю в MQL, но это не жесткое требование и если алгоритмы проще ложаться на питон, то почему бы и нет.


Без лести - ваши статьи с удовольствием читаю, можно спорить до посинения о содержании, но то что они задают новые направления - однозначно.

Я за новую статью.

 
Олег:

ОДНОЗНАЧНО СМЫСЛ В СТАТЬЕ ЕСТЬ.

Питон стал стандартом ML, разработчики MQL также двинулись в этом направлении, приходится Питон осваивать при любом раскладе. Моя попытка переноса алгоритмов связана с отказом от DLL для постановки на авто торговлю в MQL, но это не жесткое требование и если алгоритмы проще ложаться на питон, то почему бы и нет.


Без лести - ваши статьи с удовольствием читаю, можно спорить до посинения о содержании, но то что они задают новые направления - однозначно.

Я за новую статью.

Предлагаю тогда сделать аналог библиотеки RL на питоне в кач-ве статьи, только не со случайным лесом а с бустингом, например CatBoost

ну и дальше развить тему потом. Для начала по простому.
 
Maxim Dmitrievsky:

Предлагаю тогда сделать аналог библиотеки RL на питоне в кач-ве статьи, только не со случайным лесом а с бустингом, например CatBoost

ну и дальше развить тему потом. Для начала по простому.

Как вариант XGBoost - библиотека с исходным кодом или даже упрощенное:

https://habr.com/ru/company/mailru/blog/438562/

Кстати, в статье описан бустинг, бустингированный бэгинг
Пишем XGBoost с нуля — часть 2: градиентный бустинг
Пишем XGBoost с нуля — часть 2: градиентный бустинг
  • habr.com
Всем привет! В прошлой статье мы разбирались, как устроены решающие деревья, и с нуля реализовали алгоритм построения, попутно оптимизируя и улучшая его. В этой статье мы реализуем алгоритм градиентного бустинга и в конце создадим свой собственный XGBoost. Повествование будет идти по той же схеме: пишем алгоритм, описываем его, в заверешение...
 
Олег:

Как вариант XGBoost - библиотека с исходным кодом или даже упрощенное:

https://habr.com/ru/company/mailru/blog/438562/

Кстати, в статье описан бустинг, бустингированный бэгинг

этот слишком много тюнить надо, статья будет огромная. Из коробки плохо работает

бэгинг и так в этих алгоритмах присутствует, когда деревья строятся  
 
Одно время CatBoost считался наиболее совершенным, сейчас вроде вперед вырвались XGBoost и Light GBM с вариантом того же алгоритма XGBoost, так что выбор есть. По Light GBM куча документации в сети.
 
Олег:
Одно время CatBoost считался наиболее совершенным, сейчас вроде вперед вырвались XGBoost и Light GBM с вариантом того же алгоритма XGBoost, так что выбор есть. По Light GBM куча документации в сети.

Ну можно будет любую всунуть потом, я просто с катбустом только имел дело

самое смешное, что на питоне весь алгоритм меньше чем в 100 сток ложится :)
 
Maxim Dmitrievsky:

Ну можно будет любую всунуть потом, я просто с катбустом только имел дело

самое смешное, что на питоне весь алгоритм меньше чем в 100 сток ложится :)

Взгляните на статью хабра - строк 100 без библиотек буста, в остальном Вы автор - вам выбирать.

 
Олег:

Взгляните на статью хабра - строк 100 без библиотек буста, в остальном Вы автор - вам выбирать.

Ну упрощенный хэндмэйд точно нет смысла брать, когда есть полноценные

В общем, как сделаю так и будет :)