Bayesian regression - Делал ли кто советник по этому алгоритму? - страница 39

 
-Aleks-:
Вот об участках и нужно подумать - что б данные были сходны - следует брать паттерн, на мой взгляд, а не просто окно в n баров.
Совершенно согласен. Сколько взять баров для анализа - ахиллесова пята не только обсуждаемых регрессий. Хотя я хочу расссчитать не регрессию, а вероятности по формуле Байеса. Пока буду тупо брать текущее окно из n баров. А на стадии тестирования и испытания, для функции правдоподобия и априорных вероятностей,  буду  брать периоды от всплеска волатильности до всплеска волатильности. Обычно это промежуток между важными новостями. 
 
Alexey Burnakov:
Я недавно обсуждал с коллегами историю и развитие линейной регрессии. Если сказать коротко, изначально было мало данных и мало предикторов. Обычная линейная регрессия с некоторыми допущениями справлялась. Далее с развитием информационных технологий выросло количество данных, количество предикторов может легко перевалить за десятки тысяч. В таких условиях обычная линейная регрессия не поможет - переобучиться. Поэтому появились регуляризованные версии, версии робастные к требованиям распределений, и т.д.
Это частично правильно. L2 регуляризация не помогает уменьшить количество предикторов в моделе. В нейрокомпутинг поначалу использовали обучающее правило Хебба, которое вело к неограниченному росту весов нейросети. Потом, осознав что у мозга ограниченные ресурсы на рост и поддержание весов нейроных подсоединений, добавили L2 регуляризацию в 60-80-х годах. Это позволило ограничить веса, но оставалось много ничтожно малых весов. В мозгу не так. В мозгу нейроны не подсоединены ко всем остальным нейронам, пусть даже ничтожно малыми весами. Есть только ограниченное количество подсоединений. Потом, в 2000-х годах, ввели L1 и L0 регуляризации, которые позволили делать разряжённые подсоединения. Толпы учёных стали использовать линейное програмирование с L1 регуляризацией для всего, начиная от кодирования изображений и кончая нейронными моделями, которые довольно хорошо описывали процессы мозга. Экономисты по прежнему отстают от остальных наук в силу их "высокомерия" (всё уже изобретено до нас) или просто плохого понимания математики.
 
Vladimir:
Это частично правильно. L2 регуляризация не помогает уменьшить количество предикторов в моделе. В нейрокомпутинг поначалу использовали обучающее правило Хебба, которое вело к неограниченному росту весов нейросети. Потом, осознав что у мозга ограниченные ресурсы на рост и поддержание весов нейроных подсоединений, добавили L2 регуляризацию в 60-80-х годах. Это позволило ограничить веса, но оставалось много ничтожно малых весов. В мозгу не так. В мозгу нейроны не подсоединены ко всем остальным нейронам, пусть даже ничтожно малыми весами. Есть только ограниченное количество подсоединений. Потом, в 2000-х годах, ввели L1 и L0 регуляризации, которые позволили делать разряжённые подсоединения. Толпы учёных стали использовать линейное програмирование с L1 регуляризацией для всего, начиная от кодирования изображений и кончая нейронными моделями, которые довольно хорошо описывали процессы мозга. Экономисты по прежнему отстают от остальных наук в силу их "высокомерия" (всё уже изобретено до нас) или просто плохого понимания математики.
Я мог перепутать L2 только ограничивает веса. И это гребневая (Тихонова) регрессия. https://www.quora.com/What-is-the-difference-between-L1-and-L2-regularization

Но иногда L1  становится предпочтительнее еще из-за добавления пенализирующих абсолютных ошибок, а нетквадрптов. квадрат ошибки может давать слишком длинные хвосты, то есть, в случае с котировками, у которых тяжелые хвосты, добавление квадратов остатков может плохо повлиять на качество модели. Ну это так, болтовня.
 
Vladimir:
Экономисты по прежнему отстают от остальных наук в силу их "высокомерия" (всё уже изобретено до нас) или просто плохого понимания математики.
Да. Я лично общался с менеджером (руководителем swd) который до этого работал на биржевого брокера. Он говорил, приращения цен считаются нормальными и все тут. Используются методы и заблуждения прошлого уже века. Я ему сказал, там нет нормальности. Ни один тест не проходит. Он даже не понимает о чем разговор. Но он не хардкорный математик, а руководитель разработки.
 
У меня есть подозрение, что линия индикатора (если не углубляться, та-же машка, например) приближенно является линией регрессии. По крайней мере, приближенно можно так считать
 
Alexey Burnakov:
Да. Я лично общался с менеджером (руководителем swd) который до этого работал на биржевого брокера. Он говорил, приращения цен считаются нормальными и все тут. Используются методы и заблуждения прошлого уже века. Я ему сказал, там нет нормальности. Ни один тест не проходит. Он даже не понимает о чем разговор. Но он не хардкорный математик, а руководитель разработки.
Ну и что с того, что нет нормальности? Даже руководитель какой-то разработки об этом пишет, Владимир здесь об этом писал. Как вы вообще регрессией пользуетесь, если вообще не понимаете ни ее принципов ни смысла? Бродите тут как зомби темной ночью с этой нормальностью/ненормальность. Да хоть кубиками это распределение будет, хоть клеточками, хоть зигзагами, хоть в форме картины Репина. Возможность регрессии предсказывать не от этого зависит.
 
Dmitry Fedoseev:
Ну и что с того, что нет нормальности? Даже руководитель какой-то разработки об этом пишет, Владимир здесь об этом писал. Как вы вообще регрессией пользуетесь, если вообще не понимаете ни ее принципов ни смысла? Бродите тут как зомби темной ночью с этой нормальностью/ненормальность. Да хоть кубиками это распределение будет, хоть клеточками, хоть зигзагами, хоть в форме картины Репина. Возможность регрессии предсказывать не от этого зависит.
А потому все. Ночью легче думается. Даже руководители это знают. )
 
Yuri Evseenkov:
Совершенно согласен. Сколько взять баров для анализа - ахиллесова пята не только обсуждаемых регрессий. Хотя я хочу расссчитать не регрессию, а вероятности по формуле Байеса. Пока буду тупо брать текущее окно из n баров. А на стадии тестирования и испытания, для функции правдоподобия и априорных вероятностей,  буду  брать периоды от всплеска волатильности до всплеска волатильности. Обычно это промежуток между важными новостями. 

А вероятность что будет выражать, прогноз на ближайший бар, или вектор движения ближайших баров?

 
Вообще надо сначала определиться с целью построения регрессии: подобрать кривульку, которая максимально точно описывала бы выбранный кусок рынка, или спрогнозировать будущее положение цены? Как вообще качество аппроксимации может определять точность прогноза?
 
Vasiliy Sokolov:
Вообще надо сначала определиться с целью построения регрессии: подобрать кривульку, которая максимально точно описывала бы выбранный кусок рынка, или спрогнозировать будущее положение цены? Как вообще качество аппроксимации может определять точность прогноза?

А как можно построить кривульку, которая минимально точно будет описывать прошлое и максимально точно прогнозировать будущее?

Или как прогнозировать будещее без анализа прошлого?

Апроксимация - это же и есть анализ прошлого