Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2787
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
С этим трудно не согласиться.
Но надо понимать, что без понимания ЦЕЛИ всего исследования очень быстро скатываешься к начетничеству, к изложению соответствующего учебника без всяких перспектив получить конечный продукт.
Цель без понимания дороги к ней Мечта)))
В общем то исследования рынков без глобальных инструментов оценки и анализа сродни размышлениям о космосе или о простейших материях, возможны и правильные теории которые можно подтвердить усеченным инструментарием.)))
Мне ближе пока поиск, что и как померять в ряду еще нового, на что пока не обратили внимание.))) Что бы более правильно оценить состояние. Парадигма предсказания как бы рядом, но все таки задача другая.
Логика вроде должна быть такой. Мы что то меряем и это есть определение состояние. Для разных состояний меряем разные параметры. И просто констатируем смену состояния. Конечно библиотека / набор состояний должен быть. Меряем на всех масштабах и тиках. Надеюсь, что логика измерений на разных масштабах будет одинаковой, а тиковые не сильно будут отличаться от свечных. Как то так)))
Много несостыковок получается, в т.ч удаление выбросов. Их обычно получается от 10% размера датасета, по разным подсчетам. Удалили и че, а как модель будет торговать, когда выброс попадётся? )
Ничего нельзя делать просто так, после чтения учебников и статей - это отдельный этап и называется учебой. Без систематических знаний статистики нечего делать в МО.
Всегда надо делать, стараясь достичь цель.
Если брать промежуточную цель - максимум предсказательной способности предиктора, то:
1. Удалять выбросы обязательно. Если за выброс считать величины более 0.5% квантиля, то выбросов менее 1%. Между прочим - это процент срабатывающих стопов в будущем. Разрабатываем саму торговую систему, имею цифровые ограничения.
2. Препроцессинг обязателен, но опять смотря какой. Если про предсказательную способность предиктора, то нельзя править скосы, которые увеличивают предсказательную способность. Это как пример. В общем берем некий алгоритм препроцессинга и оцениваем его влияние на предсказательную способность. Здесь ответ.
3. Всегда держать в уме смысл МО, который по моему разумению - поиск неких паттернов. Наиболее очевидно в RF. какое количество паттернов содержится, например в 5000 бар? Или с какой величины окна рост числа паттернов не приводит уменьшению ошибки? Или же для некоего фиксированного окна с какой величины числа паттернов перестанет падать ошибка?
Ответы для RF.
1. Окно не имеет смысла увеличивать свыше 1500 бар.
2. связь ошибки и числа паттернов (деревьев) наглядно видно на графике:
Минимум 50. Вообще от 100 до 200. График не меняется при увеличении окна до 5000.
Всегда надо четко формулировать цель и критерий достижения цели. Все остальное ля-ля.
Ничего нельзя делать просто так, после чтения учебников и статей - это отдельный этап и называется учебой. Без систематических знаний статистики нечего делать в МО.
Всегда надо делать, стараясь достичь цель.
Если брать промежуточную цель - максимум предсказательной способности предиктора, то:
1. Удалять выбросы обязательно. Если за выброс считать величины более 0.5% квантиля, то выбросов менее 1%. Между прочим - это процент срабатывающих стопов в будущем. Разрабатываем саму торговую систему, имею цифровые ограничения.
2. Препроцессинг обязателен, но опять смотря какой. Если про предсказательную способность предиктора, то нельзя править скосы, которые увеличивают предсказательную способность. Это как пример. В общем берем некий алгоритм препроцессинга и оцениваем его влияние на предсказательную способность. Здесь ответ.
3. Всегда держать в уме смысл МО, который по моему разумению - поиск неких паттернов. Наиболее очевидно в RF. какое количество паттернов содержится, например в 5000 бар? Или с какой величины окна рост числа паттернов не приводит уменьшению ошибки? Или же для некоего фиксированного окна с какой величины числа паттернов перестанет падать ошибка?
Ответы для RF.
1. Окно не имеет смысла увеличивать свыше 1500 бар.
2. связь ошибки и числа паттернов (деревьев) наглядно видно на графике:
Минимум 50. Вообще от 100 до 200. График не меняется при увеличении окна до 5000.
Всегда надо четко формулировать цель и критерий достижения цели. Все остальное ля-ля.
Задетектил выбросы через isolation forest, удалил, результат обучения не поменялся. Попробовал обучиться на выбросах - слив. Сложилось впечатление, что модели (катбусту) все равно на выбросы. Как бы они хорошо распознаются через поиск аномалий, но их удаление необязательно.
Выбросы сильно влияют на предсказательную способность, а стабильность предсказательной способности виляет на стабильность ошибки предсказания.
А на саму модель - тут как фишка ляжет, особенно если выборка обучения получена по sample.
Пришла в голову идея локального решающего дерева. Это что-то вроде аналога KNN или локальной регрессии (тоже потенциально подходит при нестационарности). Смысл в том, что разбиваем на боксы только бокс содержащий интересующую точку (до не менее, чем заданное число К точек в нём), а остальными боксами не интересуемся. Затем делаем по аналогии с KNN. Возможно, будет лучше чем KNN или локальная регрессия если границы между классами резкие и точка близка к такой границе.
Интересно, насколько вообще подход имеет смысл.
мне вообще кажется, что вы сравниваете несравнимые вещи - scaling - это scaling (хоть multidimensional если хотите, лишь бы distance устраивал), а filtering-noise - тут и производными можно обойтись (1й и 2й) -- ну или переходите на векторные матрицы совсем на unsupervised manner, вместо доказывания значимости различий классов (labeled) через ковариационные матрицы размеченных данных и дальнейшей эксплуатации подтверждённой значимости для классификации предмета вашего интереса...
гипотезы, господа, гипотезы - это не путь расчётов, а предмет доказывания (или опровержения)...
мне вообще кажется, что вы сравниваете несравнимые вещи - scaling - это scaling (хоть multidimensional если хотите, лишь бы distance устраивал), а filtering-noise - тут и производными можно обойтись (1й и 2й) -- ну или переходите на векторные матрицы совсем на unsupervised manner, вместо доказывания значимости различий классов (labeled) через ковариационные матрицы размеченных данных и дальнейшей эксплуатации подтверждённой значимости для классификации предмета вашего интереса...
гипотезы, господа, гипотезы - это не путь расчётов, а предмет доказывания (или опровержения)...
Ничего не понял, но очень интересно.
Выбросы сильно влияют на предсказательную способность, а стабильность предсказательной способности виляет на стабильность ошибки предсказания.
А на саму модель - тут как фишка ляжет, особенно если выборка обучения получена по sample.
какое значение R2 между вашим методом определения предсказательной способности и feature importance от случайного леса?
Привет всем.
Возник вопрос, реально ли вообще в качестве предиктора использовать хеш?
например такой
LlLCmywDpe8dj_j8t8DWwoMjaIhTLnOedRh6KET7R7k
где цель
1.04
Есть ли смысл как то преобразовать его в число или другой вид?
Привет всем.
Возник вопрос, реально ли вообще в качестве предиктора использовать хеш?
например такой
LlLCmywDpe8dj_j8t8DWwoMjaIhTLnOedRh6KET7R7k
где цель
1.04
Есть ли смысл как то преобразовать его в число или другой вид?
Так это же и есть число в 256-ичной записи (если строка в ANSI-кодировке). Поскольку хэши имеют фиксированную длину, то можно ещё представить в виде векторов из чисел от 0 до 255.
Хотите взломать биткоин?)