Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2411

 
Aleksey Vyazmikin:

По весне предлагал уже подходы добавления/удаления признаков

Этих методов как грязи, что тут предлагать непонятно 

Aleksey Vyazmikin:

А вот метод FRiS-Stolp попробовать интересно, но не пойму есть ли его реализация на  R или Phyton.

Я тоже не пойму ))) 

есть такая штука как гугл ;)

 
Aleksey Vyazmikin:

По весне предлагал уже подходы добавления/удаления признаков, в том числе и группами, надеялся что заинтересую Максима, но увы. Как я ранее писал - такой подход рабочий, но сейчас у меня он реализован в полуавтоматическом режиме, чисто для экспериментов, а нужна реализация в R или Phyton для работы в цикле, суть которого в создании нового задания для обучения после анализа результатов обучения.

А вот метод FRiS-Stolp, который рекламируется в видеоролике попробовать интересно, но не пойму есть ли его реализация на  R или Phyton.

Есть стандартные фича импортанс, этого вполне хватает 
 
mytarmailS:

Этих методов как грязи, что тут предлагать непонятно 

Предлагать проверить эффективность этих методов для задач, связанных с трейдингом.

mytarmailS:

Я тоже не пойму ))) 

есть такая штука как гугл ;)

НУ и к чему эта ершистость?

Поисковиком я попользовался, даже нашел на гит хабе какой то код, но мне то от этого не стало ясно работает он или нет.

Поэтому и интересно, кто в этом понимает, услышать заинтересованность и выработать возможные пути для совместной деятельности по исследованию данного вопроса.

Я за конструктив, а не раздутие щёчек.

 
Maxim Dmitrievsky:
Есть стандартные фича импортанс, этого вполне хватает 

Импортанс - статистика, построенная на частоте выбора алгоритмом тех или иных предикторов при построении дерева. Этот показатель говорит о том из чего сделана модель. Перебор предикторов позволяет строить другие модели, находя новые зависимости и взаимосвязи, которые могут оказаться более сильными через несколько сплитов.

 
Aleksey Vyazmikin:

Импортанс - статистика, построенная на частоте выбора алгоритмом тех или иных предикторов при построении дерева. Этот показатель говорит о том из чего сделана модель. Перебор предикторов позволяет строить другие модели, находя новые зависимости и взаимосвязи, которые могут оказаться более сильными через несколько сплитов.

У вас предикторы - это куча индикаторов, которые наплодили за свою карьеру трейдера, отсюда сильное желание как-то упорядочить все это безобразие. У меня таких проблем нет, зато есть понимание, что это путь в никуда.
 
Maxim Dmitrievsky:
У вас предикторы - это куча индикаторов, которые наплодили за свою карьеру трейдера, отсюда сильное желание как-то упорядочить все это безобразие. У меня таких проблем нет, зато есть понимание, что это путь в никуда.

Если бы даже у меня были все индикаторы на базе стандартных индикаторов, входящих в пакет поставки, а это совсем не так, то они производные от цены, и могут нести полезную информацию, при этом многие индикаторы не подвержены нестационарности.

На самом деле проблему отбора предикторов я решил другим способом, но вот поиск лучших комбинаций, вопрос открытый, и интересный.

 
Aleksey Vyazmikin:

Предлагать проверить эффективность этих методов для задач, связанных с трейдингом.

НУ и к чему эта ершистость?

Поисковиком я попользовался, даже нашел на гит хабе какой то код, но мне то от этого не стало ясно работает он или нет.

Поэтому и интересно, кто в этом понимает, услышать заинтересованность и выработать возможные пути для совместной деятельности по исследованию данного вопроса.

Я за конструктив, а не раздутие щёчек.

Алексей ты взял да поучил бы питон или р-ку, попробовал бы чего там накодить... поверь тысяча вопросов бы отпало...

Какой смысл проверять эффективность методов отбора признаков, если они уже проверены и работают ? иначе их бы не было

Проблема не в отбое признаков, а в самих признаках, если подал на вход 10 индикаторов, то отбирай до посинения и ты получишь одинаковый результат от ЛЮБОГО алгоритма отбора...


Ты слышал в видео? они отбирают среди десятков тысяч признаков , а еще упоминают об МГУА там вообще идет речь об создании и переборе миллиардов признаков

Вот о чем надо говорить, о системах которые генерируют миллионы идей и проверяют их в автоматическом режиме, в этом суть, в этом индивидуальные решения, а отбор признаков, это малая финальная часть этого процесса и в ней нету ничего интересного, берешь любой алгоритм и вперед, тут не о чем говорить, это просто не интересно

 
Да вообще полезно просто поизучать алгоритмы на том же питоне, прочесть пару книг с примерами. Много вопросов отпадут сами собой.
 
mytarmailS:

Алексей ты взял да поучил бы питон или р-ку, попробовал бы чего там накодить... поверь тысяча вопросов бы отпало...

Какое хорошее пожелание, а ещё было бы полезно выучить пару иностранных языков, и овладеть всеми иными компетенциями, что бы не зависеть от других людей. Однако, не во всем я талантлив, и осознаю, что высоких результатов в кодировании не добьюсь, а сил будет потрачено слишком много.

mytarmailS:

Какой смысл проверять эффективность методов отбора признаков, если они уже проверены и работают ? иначе их бы не было

Тут речь шла скорей об эффективности применения метода, т.е. на сколько он может в итоге улучшить результат по сравнению с подачей выборки без исключения предикторов. Т.е. фактический эксперимент.


mytarmailS:

Проблема не в отбое признаков, а в самих признаках, если подал на вход 10 индикаторов, то отбирай до посинения и ты получишь одинаковый результат от ЛЮБОГО алгоритма отбора...

У меня сейчас в районе 5к предикторов, поэтому и интересен этот подход.

mytarmailS:

Ты слышал в видео? они отбирают среди десятков тысяч признаков , а еще упоминают об МГУА там вообще идет речь об создании и переборе миллиардов признаков

Вот о чем надо говорить, о системах которые генерируют миллионы идей и проверяют их в автоматическом режиме, в этом суть, в этом индивидуальные решения, а отбор признаков, это малая финальная часть этого процесса и в ней нету ничего интересного, берешь любой алгоритм и вперед, тут не о чем говорить, это просто не интересно

Я как раз и занимаюсь работой с большим числом признаков, и разработкой методов их генерации по шаблону. Процесс бинарицазции признаков, возможно с сохранением различных показателей внутри нового предиктора, что из 5000 сделает 50000 признаков, и их требуется исследовать на взаимные связи для создания новых, насыщенных признаков, из которых уже будет строится модель.

В общем не знаю, почему такое примитивное представление о моей деятельности...

 
Aleksey Vyazm

В общем не знаю, почему такое примитивное представление о моей деятельности...

Алексей, как же ты не понимаешь что все твои 5к бинарных признаков можно заменить 2-3 -умя главными компонннтами, тобишь 2-3 признака и все)) но это надо делать чтобы знать...

Также ты не понимаешь что вся твоя крутая модель с 5к признаками, может быть всего одним признаком из сотен других для модели более выше рангом, а та в свою очередь будет признаком для еще более высшей модели...

Вот такими категориями я сейчас мыслю


Почитай того же Ивахненко МГУА, на сколько проработаные и глубокие концепции,  когда я его читаю я ощущаю себя первокласником в МО...