Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3552
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Вот объяснение из физики
Хороший пример, что люди профильно занимающиеся темой, не могут прийти к общему мнению.
Дискуссия завершается словами: " И чтобы ответить на вопрос "почему мы используем название "квантовая механика" вместо "дискретная механика"? вероятно, это потому, что это открыли немцы.. " :)
Я все-таки склоняюсь к тому, что в вашем случае лучше называть это дискретизацией, а при сжатии информации - квантизацией. Собственно в МО примерно такой смысл и есть, квантизация это синоним сжатия. А дискретизация это разделение непрерывной величины на бины.
Не, всё это об одном. Деля на бины Вы теряете информацию, что и является сжатием.
Вообще такая мысль после физиков, что квантование это разделение на бины со смыслом, а не просто равномерно или по иной формуле.
Если это ближе к истине, то как раз моя задача в том, что бы найти такие диапазоны, в которых разная логика информации по содержанию, т.е. имеется смещение вероятности, поэтому квантование ближе мне, чем просто дискретизация.
Хороший пример, что люди профильно занимающиеся темой, не могут прийти к общему мнению.
Дискуссия завершается словами: " И чтобы ответить на вопрос "почему мы используем название "квантовая механика" вместо "дискретная механика"? вероятно, это потому, что это открыли немцы.. " :)
Не, всё это об одном. Деля на бины Вы теряете информацию, что и является сжатием.
Вообще такая мысль после физиков, что квантование это разделение на бины со смыслом, а не просто равномерно или по иной формуле.
Если это ближе к истине, то как раз моя задача в том, что бы найти такие диапазоны, в которых разная логика информации по содержанию, т.е. имеется смещение вероятности, поэтому квантование ближе мне, чем просто дискретизация.
Ну а в обработке сигналов есть такое:
https://www.audiolabs-erlangen.de/resources/MIR/FMP/C2/C2S2_DigitalSignalQuantization.html
Говорят, что квантизация - это 2-х ступенчатая дискретизация :) сначала по X, потом по Y
Ну из этой картинки следует, что квантизация - это дискретизация по амплитуде и частоте. Окей. Но у вас же не так :) У вас только по амплитуде.
Ну ладно, будем считать что вы проводите предварительный сэмплинг из непрерывной величины, и только потом делаете дискретизацию по амплитуде. Тогда получается действительно квантизация.
Все, допер.
Не, всё это об одном. Деля на бины Вы теряете информацию, что и является сжатием.
Так на чем в итоге вы остановились?
Ещё не остановился. Концепция в том, что нужно брать только полезную информацию из предиктора, потом делать бинаризацию, и уже на этих данных строить модель. Но, тут возникает проблема малых откликов, сверх разряженная выборка, обучение на которой сложно даётся стандартным моделям. Альтернативой видится кластеризация этих бинарных предикторов, для этого и писал код дерева кластеризации, но пока поставил на паузу развитие. Потому что главная проблема в том, что отбираемые квантовые отрезки теряют свою эффективность на новых данных в большом количестве, что и приводит к ошибкам классических моделей. Поэтому сейчас сконцентрирован на увеличении сбора процента эффективных квантовых отрезков.
Как измерять эффективность - так же вопрос открытый, но я подразумеваю, что в квантовый отрезок должно попадать больше представителей одного класса, чем это в среднем по выборке. Смещение вероятности и означает, что процент представителей класса 1 или 0 больше в квантовом отрезке на пороговое значение, чем в подвыборке.
Таким образом, если у нас есть набор квантовых отрезков со смещением вероятности, мы можем строить как новые правила, так и ансамбли, объединяя квантовые отрезки в группы по вероятности синхронного срабатывания, что в теории должно добавлять модели уверенности.
Дает это сейчас норм модели, или такое себе?
Даже подбор квантовой таблицы под предиктор может улучшить обучение.
Пока я особо и не строю именно итоговые модели по данному методу, пока не доволен отбором квантовых отрезков.
А так, модели на бинарной выборке получаются более лёгкими у catboost, не уступают тем, что на полных данных, но опять же гарантий нет, что модель будет прибыльной, но это и понятно - ведь проблема в смещении вероятности на новых данных...
В чем завтык?
Если не считая главной проблемы, то есть проблема производственного характера - надо думать и кодить :)
В последнее время неудачные идеи, после их проверки, меня выбивают из колеи на несколько дней, иногда недель. Лето ещё сейчас - чаще стараюсь выходить на прогулки в парк.
Ваши боты же на другой логике, по МО-хе нет там ТС?
Там по сути использовался схожий подход, - создается база эффективных одиночных настроек разных фильтров\предикторов, а потом случайным образом происходит их выбор (не все используются сразу) с определёнными настройками. Такой подход существенно экономит ресурсы и результат получается вполне хороший, когда для оптимизации есть сотня настроек. По сути тот же подход, как и с квантованием.
На логике того советника сделана большая часть предикторов, что я использую в МО.
По МО, возможно, буду серийно выпускать ботов с низкой ценой, но чуть позже.
Не надо ля-ля..
Я разве писал обратное?
Разве все мы не используем те же архиваторы, что бы это стало для нас новостью?
Не понимаю, зачем такой стиль общения выбрали и что хотите им показать.
Я разве писал обратное?
может я что то не понял но что ето еще может значить?
Не, всё это об одном. Деля на бины Вы теряете информацию, что и является сжатием.
может я что то не понял но что ето еще может значить?
Нет же утверждения, что сжатие должно быть только с потерей информации.