Bayesian regression - Делал ли кто советник по этому алгоритму? - страница 32

 
Yuri Evseenkov:

 Для написания программы прошу подсказать, есть ли в штатном ГСЧ МТ4 нормальное распределение результатов, или использовать какой то другой. 

Штатные ГПСЧ генерируют равномернораспределенные числа. Для преобразования равномерного распределения в нормальное, необходимо воспользоваться специальным алгоритмом преобразования.
Преобразование равномерно распределенной случайной величины в нормально распределенную
Преобразование равномерно распределенной случайной величины в нормально распределенную
  • habrahabr.ru
Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста. Пометьте топик понятными вам метками, если хотите или закрыть
 

Поражаюсь высоким уровнем владения математическими методами участников дискуссии на фоне полного непонимания принципов их применимости. Любая регрессия анализирует взаимосвязанные данные. Если взаимосвязи нет, то регрессия не применима. Если распределение изучаемых величин отличное от нормального, методы параметрической статистики также не применимы. Рынок не обладает свойством нормальности. Также рынок, как процесс, не зависит от времени. И то и другое, перечеркивает саму идею регрессионного анализа, какой бы он не был на корню. 

 
Vasiliy Sokolov:

Поражаюсь высоким уровнем владения математическими методами участников дискуссии на фоне полного непонимания принципов их применимости. Любая регрессия анализирует взаимосвязанные данные. Если взаимосвязи нет, то регрессия не применима. Если распределение изучаемых величин отличное от нормального, методы параметрической статистики также не применимы. Рынок не обладает свойством нормальности. Также рынок, как процесс, не зависит от времени. И то и другое, перечеркивает саму идею регрессионного анализа, какой бы он не был на корню. 

Ну, наконец-то, голос разума.

В былые времена изучение прикладной математики начинали с изучения системных ошибок первого и второго рода, смысл которых брали из системного анализа, а не из статистики.

Системная ошибка первого рода формулировалась следующим образом:

правильное применение правильных методов к данным, к которым эти методы не применимы 

Основой применения математических методов вообще и статистических методов в в частности является ОБОСНОВАНИЕ  применимости этих самых методов. Причем в настоящее время важность этого самого обоснования многократно возросла в связи с широким доступом к самым изощренным математическим инструментам в виде   программных пакетов: не обязательно разбираться во внутреннем устройстве самого метода - пару строк и все. А вот ОБОСНОВАТЬ применение....

 
Vasiliy Sokolov:
Штатные ГПСЧ генерируют равномернораспределенные числа. Для преобразования равномерного распределения в нормальное, необходимо воспользоваться специальным алгоритмом преобразования.
Благодарствую. А то заблудился в дебрях начав изучать ГПСЧ. Кстати, блуждая наткнулся на ту же Центральную предельную теорему теории вероятности. Один "копенгаген" писал, что если соединить результаты нескольких разных ГПСЧ то распределение  будет нормальное. Причем ссылался он на ту же  википедиевскую формулировку ЦПТ, которую отвергли участники нашей ветки.
 
Vasiliy Sokolov:

Поражаюсь высоким уровнем владения математическими методами участников дискуссии на фоне полного непонимания принципов их применимости. Любая регрессия анализирует взаимосвязанные данные. Если взаимосвязи нет, то регрессия не применима. Если распределение изучаемых величин отличное от нормального, методы параметрической статистики также не применимы. Рынок не обладает свойством нормальности. Также рынок, как процесс, не зависит от времени. И то и другое, перечеркивает саму идею регрессионного анализа, какой бы он не был на корню. 

 А меня удивляет непоследовательность  в постах участников с высоким уровнем компетенции. Недавно, в другой ветки lilitы, вы подтверждали существование нормального распределения. Правда там речь шла о спреде и вы писали "Анализ распределения представляет интерес только с точки зрения изучения торговых условий. Рыбы здесь нет."   А сейчас вы пишите " Рынок не обладает свойством нормальности".

О том  что волатильность, приращения, имеют закон распределения близкий к  нормальному писал и приводил графики не я. Я просто взял  это на вооружение, т.к верю этому.

Вообще меня интересует сам байесовский подход и попытка вычислить вероятностную меру как произведение вероятностей по формуле Байеса. А уж строить по ней регрессию, это личный бизнес каждого. Думаю здесь есть рыба.

 
СанСаныч Фоменко:

Ну, наконец-то, голос разума.

В былые времена изучение прикладной математики начинали с изучения системных ошибок первого и второго рода, смысл которых брали из системного анализа, а не из статистики.

Системная ошибка первого рода формулировалась следующим образом:

правильное применение правильных методов к данным, к которым эти методы не применимы 

Основой применения математических методов вообще и статистических методов в в частности является ОБОСНОВАНИЕ  применимости этих самых методов. Причем в настоящее время важность этого самого обоснования многократно возросла в связи с широким доступом к самым изощренным математическим инструментам в виде   программных пакетов: не обязательно разбираться во внутреннем устройстве самого метода - пару строк и все. А вот ОБОСНОВАТЬ применение....

 Спасибо за напоминание о системных ошибках. В своей краткой истории технического анализа в посте на этой ветке вы писали: "Место байесовых моделей на финансовых рынках давно и точно определено - не применимо."

Очень  интересно как применяли байесовские модели и кто определил непреминимость. Методы по Байесу широко применяются в определении мошенничества, спама, медицине. Почему вы отказываете им на форексе?

Хочу привести цитату из дискуссии на Хабре по Байесу.

"Стоит, наверное, сказать, что подобные методы при проектировании алгоритмов требуют достаточно высокой математической культуры разработчика, т.к. малейшая ошибка в выводе и/или реализации вычислительных формул сведет на нет и дискредитирует весь метод. Вероятностные методы особенно этим грешат, поскольку мышление человека не приспособлено для работы с вероятностными категориями и, соответственно, отсутствует «наглядность» и понимание «физического смысла» промежуточных и итоговых вероятностных параметров. Такое понимание есть лишь для базовых понятий теории вероятностей, а дальше нужно лишь очень аккуратно комбинировать и выводить сложные вещи по законам теории вероятностей — здравый смысл для композитных объектов уже не поможет. С этим, в частности, связаны достаточно серьезные методологические баталии, проходящие на страницах современных книг по философии вероятности, а также большое количество софизмов, парадоксов и задачек-курьезов по этой теме"

 
Yuri Evseenkov:

 Спасибо за напоминание о системных ошибках. В своей краткой истории технического анализа в посте на этой ветке вы писали: "Место байесовых моделей на финансовых рынках давно и точно определено - не применимо."

Очень  интересно как применяли байесовские модели и кто определил непреминимость. 

Еще раз читаем мой пост.

То же, но другими словами.

Каждый матметод применим к  совершенно определенным данным, поэтому применимость байеса определяется не кем-то, а теми данными, к которым он применяется. Этому вопросу было посвящено несколько постов.

 

 А если еще проще, то отвертка к шурупам, а гаечный ключ к болтам.

 
СанСаныч Фоменко:

Еще раз читаем мой пост. То же, но другими словами.
Каждый матметод применим к  совершенно определенным данным, поэтому применимость байеса определяется не кем-то, а теми данными, к которым он применяется.  Этому вопросу было посвящено несколько постов.  А если еще проще, то отвертка к шурупам, а гаечный ключ к болтам.

Ещё раз перечитал ваш пост https://www.mql5.com/ru/forum/72329/page17.  Мне трудно спорить. Позвольте вопрос. 

Здесь было показано, что приращения цен имеют закон распределения близкий к нормальному. Вы с этим несогласны?

Я хочу использовать это в качестве априорной вероятности в формуле Байеса. Это неправильно?

П.С. "  А если еще проще, то отвертка к шурупам, а гаечный ключ к болтам." Современные хорошие шурупы имеют шестигранную головку под ключ (когда трудно работать отвёрткой), а хорошие болты имеют прорези под отвёртку ( когда не подлезть ключом). Прошу понимать это как в прямом, так и переносном смысле. Я к тому что данные эти ( шурупы и болты) весьма разнообразный характер имеют. Не думаю, что данные с "боевых" площадок бирж (чем и оперирует классический тех. анализ) адекватны форексу.  В форексе, к сожалению, присутствует игровая симуляция реального рынка. 

Bayesian regression - Делал ли кто советник по этому алгоритму?
Bayesian regression - Делал ли кто советник по этому алгоритму?
  • www.mql5.com
Bayesian regression - Делал ли кто советник по этому алгоритму? - Страница 17 - Категория: автоматические торговые системы
 
Yuri Evseenkov:


Я хочу использовать это в качестве априорной вероятности в формуле Байеса. Это неправильно? 

 Я не занимаюсь  байесовой регрессией.

Я профессиональный математик, может быть плохой, НО по мне, обычные шаги для меня для любых моделей:

  • желаете использовать байесову регрессию - читаем требования, которые предъявляет эта модель к исходным данным
  • анализируем исходные данные: сам котир или его преобразования
  • сверяем с исходными требованиями к исходным данным по байесовой регрессии.
  • если совпадают или почти совпадают требования к исходным данным в модели и ваш анализ, то берем R и на один клик подгоняем неожиданно полюбившуюся байесову регрессию
  • по результатам для начала проверяем полученные коэффициенты и доказываем, что им можно доверять, указывая доверительные интервалы
  • полученную регресси применяем вне выборки и смотрим что получилось
  • если ошибка возросла, но в рамках приличия - УРА, все предыдущие упражнения не напрасны.

 

А можно не корячится, а просто иметь ввиду (как написано выше), что применение регрессий на рынкете вещь очень стремная, дай-то бог, чтобы приращения цен, не сами цены,  удалось уложить в какой-нибудь GARCH.  

 
Vasiliy Sokolov:

Поражаюсь высоким уровнем владения математическими методами участников дискуссии на фоне полного непонимания принципов их применимости. Любая регрессия анализирует взаимосвязанные данные. Если взаимосвязи нет, то регрессия не применима. Если распределение изучаемых величин отличное от нормального, методы параметрической статистики также не применимы. Рынок не обладает свойством нормальности. Также рынок, как процесс, не зависит от времени. И то и другое, перечеркивает саму идею регрессионного анализа, какой бы он не был на корню. 

Регрессионный анализ не требует нормального распределения входящих данных, он требует нормального распределения остатков модели.

Все экономические данные, характеристики цены и пр. взаимосвязаны. Не взаимосвязанных данных нет. 

Цена зависит от времени.