Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 161
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
А что если я вам скажу что в природе нету такого взаимодействия как "Закон Ньютона"? И это всего лишь формула выведенная для упрощения расчётов. И при фразе "Закон Ньютона работает или не работает", подразумевается что эта формула может быть использована для вычисления какого-либо процесса, или наоборот её применить невозможно всилу сложности задачи и хаотичности мира.
Допустим есть стальной шарик. Зная его массу, можно определить с какой скоростью он будет падать, как быстро достигнет земли, итд, и всё это довольно точно. В случае же с пухом происходит такое огромное число воздействий на него, что применение законов ньютона не поможет вам рассчитать где и когда пушинка упадёт. Даже если вы закроетесь в безветренной комнате на дне океана, всё равно даже любая сейсмическая активность внесёт свои изменения, и пушинка упадёт не там где вами было рассчитано. Даже такой сложный эксперимент уже лежит за гранями обыденности, но всё равно недостаточно точен.
Поведение пуха - это аналогия поведение торгового символа на форексе. Вы можете сделать советник с тысячами формул, но все они будут описывать лишь наблюдаемые вами явления в этом процессе. То что лежит в основе этих процессов вам никогда не будет до конца понятно, и поэтому какие бы точные формулы вы не вывели, они будут работать лишь в идеальных условиях, описывая лишь наблюдаемые вами ранее явления. А на деле случится что-то неожиданное, и рынок пойдёт против всех ваших формул и вынесет вам все стопы.
Я занимался расчетами динамики течения жидкостей и газов. С полной ответственностью могу Вам заявлять, что если объект "пушинка" ведёт себя как то "необычно" у какого то наблюдателя, то это не значит что законы Ньютона не работают, это значит что наблюдатель не учел какие то силы воздействующие на объект, в данном случае движения воздушных масс, которые, с учетом отношения массы объекта к площади его поверхности, оказывают гораздо большее воздействие, чем сила тяготения. Но это всё те же Ньютоновские силы, которые не были учтены наблюдателем.
Понимаете, о чем я? Это же элементарщина, блин. Если что то не получается, значит что то осталось неучтённым. Навряд ли в этом кто то виноват окромя наблюдателя.
Теперь проведите, можно мысленно, аналогии между вышесказанным и рынком.Закон работает, и для пуха в том числе. А вот когда смотрят на вещи "на бытовом уровне", то получается то, что получается....
Фа же, извесные переменные откинул сразу, предложив помолится)))
Спасибо, прочитал.
Думаю, что автор слишком оптимистично настроен.
При использовании стандартно предобработанных данных(фх)нормировка и пр), данный подход думается будет работать
не лучше пресловутых комитетов, а при усложнении конструкции(количества кирпичиков), получится жесточайший подгон.
Все имхо разумеется...
движения воздушных масс, которые, с учетом отношения массы объекта к площади его поверхности, оказывают гораздо большее воздействие, чем сила тяготения. Но это всё те же Ньютоновские силы, которые не были учтены наблюдателем.
Мы говорим о сложности применении закона ньютона для определения движения пушинки на бытовом уровне. Вы сначала съехидничали что это проще пареной репы. А теперь вдруг оказывается что нужно учитывать движения воздушных масс, и вообще все Ньютоновкие силы. Что у вас за бытовая жизнь такая, что применение дата центра для расчёта воздушных масс это обыденность? Вы наверное ракеты строите, или какие-то другие космические корабли.
И что это за Ньютонвские силы такие? Сила, используемая Исааком Ньютоном для оборота 1 раз в 1 секунду? (Шутка)
Одинаковое! И на пух и на шарик)))
Чота я ступил, да ) В один момент времени вполне одинакова. Но шарик он просто упадёт и всё. А траектория падения пуха витеиватее, соответсвенно ему придётся пролететь большее расстояние, и сумма воздействий за всё время падения будет иной. Ну разве что ситуации в вакууме, с нулевым внешним воздействием.
1. Мы говорим о сложности применении закона ньютона для определения движения пушинки на бытовом уровне.
2. Вы сначала съехидничали что это проще пареной репы.
3. А теперь вдруг оказывается что нужно учитывать движения воздушных масс, и вообще все Ньютоновкие силы. Что у вас за бытовая жизнь такая, что применение дата центра для расчёта воздушных масс это обыденность? Вы наверное ракеты строите, или какие-то другие космические корабли.
4. И что это за Ньютонвские силы такие? Сила, используемая Исааком Ньютоном для оборота 1 раз в 1 секунду? (Шутка)
1. Это Вы говорите неизвестно о чем, а СанСаныч, за которого Вы встреваете, говорил, что "на бытовом уровне" законы на пух не действуют. Но уверяю Вас, пух так же подвержен законам физики, как и любое другое тело.
2. Проще пареной репы? - это Ваши фантазии, я не говорил что проще или просто.
3. Если не учитывать все силы, действующие на тело, то становится невозможно определить дальнейшую траекторию движения. И некоторым даже может почудится, что тело неподвластно физическим законам. Повторю ещё раз, по простому - если "что то" у кого то не работает, значит этот кто то учитывает не все факторы действующие на "что то".
4. Ознакомьтесь для начала с тремя законами Ньютона и следствиями из этих законов. Потом можете приступать к углубленному изучению кинематики твёрдого тела, а затем, при желании, к механике твёрдого деформируемого тела.
Для закрепления прочитанного попробуйте нарисовать на бумаге металлический шарик с удельной плотностью 7,8 г/см3 и таких же размеров пушинку с плотностью 0,00001 г/см3. Схематично приложите к этим телам и обозначьте векторы сил. Станет понятным причины различного поведения шарика и пушинки если их отправить в свободное падение. Сразу отпадет желание подходить к изучению процессов на рынке "на бытовом уровне".
"Не болтайте ерундой" (с) Решетов, год не помню.
В системном анализа декларируется ошибка первого рода:
"Применение правильных методов к неправильно поставленным задачам"
На моем примере.
Применение закона Ньютона к падению стального шарика - это пример применения правильного метода к правильно поставленной задаче, так как можно руководствоваться только законом Ньютона и можно пренебречь всеми другими факторами, влияющими на падение шарика.
Применение закона Ньютона к пушинке - пример применения правильного метода к НЕ правильно поставленной задаче, так как в случае пушинки можно пренебречь законом Ньютона и необходимо учитывать другие силы, которые определяют движение пушинки.
На форексе проблема отбора факторов (предикторов), имеющих отношение к целевой переменной, от шума стоит чрезвычайно остро, так как наличие шумовых предикторов в модели приводит к переобучению этой модели. Весь сыр-бор именно в переобучении модели (торговой системы).
Для меня картина выглядит следующим образом.
На достаточно большом количестве наблюдений (5000 - 10 000 бар) среди нескольких сотен предикторов отбираем 20-30 предикторов, которые имеют отношение к целевой переменной. Для конкретной целевой переменной отбор будет индивидуальным.
Далее в меньшем окне 100-300 бар из этого набора повторно отбираем предикторы, например по rfe. С удивлением я увидел, что при движении окна перечень предикторов и их количество меняется. В моем случае: исходный перечень = 170 предикторов. Отобрал 27 предикторов, а по rfe получаю от 5 до 15 предикторов при движении окна.
При таком подходе ошибку предсказания по rf удается приблизить до 20%. Лучше выглядит ada, а еще лучше gbm. Особо отмечу, что ошибка на выборке обучения примерно равна ошибке вне этой выборке. Модель НЕ переобучена.
Вот так выглядит на форексе "применение правильных методов к правильно поставленной задаче".
А как выглядит "применение правильного метода rf к неправильному набору предикторов?
Берем набор предикторов от балды. При этом очень важно учесть опыт ТА - там очень любят трендовые индикаторы - разнообразные машки.
На таком перечне предикторов на учебном наборе rf запросто можно обучить с ошибкой в пределах 5%.
А если взять набор вне этой учебной выборки, то сразу станет понятно, что найденные алгоритмом rf деревья вообще не имеют никакого отношения к новому участку котира - модель переобучена, т.е. она запомнила конкретику учебного набора и вне этого набора совершенно не работоспособна. Знакомая картина, не правда ли?
По ссылке парень рассказывает об интересных идеях как это сделать на основе Байесовых вероятностей.
Соответственно, у нас возникают две противоположные тенденции: с одной стороны, у нас есть обучающая выборка, которую мы хотели бы при прочих равных как можно точнее прогнозировать, а с другой стороны, у нас есть сложность найденных закономерностей, сложность алгоритма прогнозирования, и мы бы хотели, чтобы эта сложность была поменьше. Эти требования противоречат друг другу, поэтому необходимо каким-то образом искать компромисс, но для того, чтобы его найти, нам необходимо выразить и сложность, и точность в некоторых единых терминах.
https://postnauka.ru/video/55303
К сожалению Дмитрий Ветров не может отличить обучающающую способность моделей, от обобщающей способности. Поэтому у него нет компромисса. Однако, если посмотреть на график (взят ОТСЮДА), то мы увидим, что компромисс можно заросто найти:
Т.е. если следовать рассуждениям Д. Веторова, то обучающей способности компромисса нет (синяя линия - обучающая способность. Однако если мы посмотрим на зависимость ошибки обобщающей способности модели от сложности, то видим, что компромисс достигается при значении М сложности модели (экстремум обобщающей способности).
jPrediction, начиная с 9-й версии и находит этот компромисс, а именно усложняет модели до значения M и выдаёт в качестве результата модель найденную в точке М.
Под усложнением моделей в jPrediction подразумевается постепенное увеличение количества предикторов. Ведь в jPrediction количество нейронов в скрытом слое равно 2^(2*n+1), где n - количество предикторов. Соответственно, с ростом количества предикторов сложность модели (количество нейронов в скрытом слое) увеличивается. Таким образом, постепенно наращивая сложность моделей, jPrediction рано или поздно дойдёт до значения M, после которого дальнейшеее усложнение моделей приведёт к дальнейшему снижению обобщающей способоности (увеличению ошибок в обобщающей способности).
Таким образом в jPrediction убиваются сразу два зайца:
И никаких проблем, озвученных Д. Ветровым. И Ньютон здесь тоже никоим боком.
1. Это Вы говорите неизвестно о чем, а СанСаныч, за которого Вы встреваете, говорил, что "на бытовом уровне" законы на пух не действуют. Но уверяю Вас, пух так же подвержен законам физики, как и любое другое тело.
Мне тоже не понравилось, что на СС обрушились тролльские коменты в язвительном стиле. Не надо в этой теме заниматься вашим любимым занятием. Такое ощущение, что "обездоленные инженеры машинного обучения на языке MQL" тут отрываются по полной на собратьях, делающих изыскания с помощью других тулзов.
Давайте так: СС говорил, что если брать только лишь одни пушинки тополиные, то по их крайне зашумленным траекториям приземления было бы куда-как сложнее вывести законы Ньютона. Это - я с ним согласен - перекликается с проблемами, которые мы имеем. Крайне зашумленный сигнал, из которого мы пытаемся нащупать истинные законы.
А все остальные соображения похожи на тролльство. СС дал нам метафору для осмысления. Так-то!
Мне тоже не понравилось, что на СС обрушились тролльские коменты в язвительном стиле. Не надо в этой теме заниматься вашим любимым занятием. Такое ощущение, что "обездоленные инженеры машинного обучения на языке MQL" тут отрываются по полной на собратьях, делающих изыскания с помощью других тулзов.
Давайте так: СС говорил, что если брать только лишь одни пушинки тополиные, то по их крайне зашумленным траекториям приземления было бы куда-как сложнее вывести законы Ньютона. Это - я с ним согласен - перекликается с проблемами, которые мы имеем. Крайне зашумленный сигнал, из которого мы пытаемся нащупать истинные законы.
А все остальные соображения похожи на тролльство. СС дал нам метафору для осмысления. Так-то!
СС просто привел весьма неудачный пример, при этом продолжает упорствовать в своём невежестве. Ладно бы сказал типа "ну да, погорячился с примером", но нет, упорствует, вон, глянте что пишет даже после моих рекомендаций собственоручно попробовать нарисовать схему действующих сил на шарик и пушинку:
Применение закона Ньютона к пушинке - пример применения правильного метода к НЕ правильно поставленной задаче, так как в случае пушинки можно пренебречь законом Ньютона и необходимо учитывать другие силы, которые определяют движение пушинки.
Что значит "другие силы"? На шарик и пушинку действуют одни и те же силы - сила тяжести (вес) и распределённая по половине площади тела сила ветрового потока. Таким образом есть всего лишь 2 силы в обоих случаях. Ветровой поток одинаков, но вес отличается в тысячи раз. Постройте сумму векторов приложенных сил и поглядите что получится.
Так что метафора не получилась у СС.
В остальном он прав насчет "применение правильных методов к неправильным предикторам", но здесь ничего шибко мудрого нет, да - небо голубое, солнце - светит, автобус №16 проезжает мимо дома ровно в 13:07... И что дальше то, в чем мудрость или хотя бы практическая ценность этого изречения?
ЗЫ. Опыта в МО у меня, пожалуй, поменьше Вашего будет, и если я ляпну какую нибудь ересь про МО, то Вы навряд ли пройдете мимо и попытаетесь помочь мне развеять мои предрассудки (я верю, что Вы отзывчивый человек неравнодушный к вопиющим случаям чрезмерного увлечения наступать на одни и те же грабли). Так и я, не могу вот пройти мимо откровенных ляпов "на пушинку силы Нютона не действуют".