Адаптивные цифровые фильтры - страница 8
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
2 Prival: вспомнилось, что Калман, по твоим словам, строится на основе МНК. Теперь понятно, почему он отлично работает на радиолокационных данных (с ошибками, распределенными по Гауссу), но - хуже на рыночных. Главная причина идеальности Калмана на гауссовых данных в том, что функция ошибки (целевая) - сумма квадратов отклонений в данном случае - является идеальной именно для гауссова распределения. Для других распределений и функции ошибки другие. А для распределения со степенными хвостами (тяжелыми) целевые функции - совсем другие, и МНК здесь не котируется. Вот поэтому JMA лучше Калмана на рыночных рядах.
Во как интересно. Ну давай Алексей я и у тебя дрыном березовым над головой по махаю :-). Ведь 99% споров возникают, когда 1 человек сказал, что это лучше. Но не сказал в каком смысле лучше (где критерий + насколько лучше). А я допустим утверждаю, что МА ещё лучше, самая лучшая, просто обалденно лучше :-). JMA с Калманом и рядом не лежат.
Это как утверждать, что один человек лучше другого. Но не говорить в чем (критерия нет). Допустим первый лучше водку пьет, а второй в пионеров из рогатки лучше стреляет. Вопрос кто из них лучше ?
Ведь JMA для тебя и меня черный ящик. А фильтр Калмана должен содержать в себе
1. Модель наблюдения (модель сигнала + модель шума).
2. Модель измерения (модель ошибок измерения).
И решение находиться по МНК при квадратичной функции потерь. На основе заложенных априорных данных и полученных измерений. Причем хочу отметить, что такая целевая функция ошибки работает не только для гаусса, я для любого симметричного закона распределения.
Mathemat а теперь вопрос. Допустим анализируемый процесс синусойда зашумленная равномерным шумом и измерения подчинены нестационарному закону Пуассона. Все эти модели вложены в фильрт Калмана и он по приходу нового измерения нашел оптимальную оценку (этой дикой смеси) по МНК (квадратичная функция потерь) согласно всех вложенных в него априорных данных.
Где, в каком месте черный ящик JMA лучше ?
Если в фильтр Калмана заложить модель которая 100% соответствует форексу (сигнал + шум) и адекватную модель измерений (систему несинхронных экспертных оценок), то это будет адская машина.
З.Ы. Модель шумов наблюдения и измерения, могут быть любыми. Главное, что бы соответствовали тому, что там есть.
Убедил, Prival. Значит, Джурик чего-то явно недоговаривает или преднамеренно выпячивает свой продукт. И все же, и все же: почему именно МНК, а, скажем, не сумма модулей отклонений? Просто потому, что МНК аналитически удобнее?
P.S. Помню, задавался вопросом о целесообразной функции потерь в связи со своими давними исследованиями нейросетей (там это целевая функция). И как-то то ли вывел, то ли прочитал где, что сумма квадратов напрямую связана именно с конкретной гипотезой о законе распределения ошибок (здесь - гауссовом). Когда в своих исследованиях поменял функцию на сумму модулей (т.е. поменяв априорный закон распределения ошибок на экспоненциальный), качество прогноза слегка улучшилось, но не кардинально.
Если в фильтр Калмана заложить модель которая 100% соответствует форексу (сигнал + шум) и адекватную модель измерений (систему несинхронных экспертных оценок), то это будет адская машина.
З.Ы. Модель шумов наблюдения и измерения, могут быть любыми. Главное, что бы соответствовали тому, что там есть.
А на модель самого сигнала ограничения накладываются?
to Северный Ветер
Спасибо. А вот «нужен какой-то несложный и достаточно непротиворечивый концепт жизни рынка» это имеется в виду своя разработка или использование каких то методик, например описанных у того же Ширяева?
...сумма квадратов напрямую связана именно с конкретной гипотезой о законе распределения ошибок (здесь - гауссовой)...
Prival, Mathemat, боюсь вновь вызвать раздражение, но вынужден опять повторить - в котировках практически нет шума - это и есть входной сигнал. Вы пытаетесь использовать инструменты математической статистики (фильтрация - то же). Статистики чего? Статистика, законы распределения, их моменты разных порядков относятся к случайным величинам (процессам). Если вы получили тик, это - сигнал или шум? Утверждаю, что сигнал, т.к. по этим данным можно дать ордер на покупку или продажу, и он будет выполнен (при прочих общих условиях). Да, трудно предсказать каким будет следующее значение цены, поэтому хочется считать, что там есть случайная составляющая и неслучайная, которую можно выявить и затем эстраполировать-предсказать. А она не случайная, а просто неизвестная. Или, если угодно, вся случайная - без деления на аддитивные составляющие. Что вы собираетесь отделить? Тот же фильтр Калмана позволит отфильтровать вполне определённую составляющую - определённую заданной вами же моделью в виде гладкой аналитической функции. Вы её знаете? Я - нет. Вы пытаетесь выявить динамические свойства рынка, и применить физические аналогии - боюсь, что тоже бесперспективно: можно найти минутные свечи амплитудой больше фигуры, а также гэпы, что свидетельствует о его практической безинерционности.
Можно, приняв гипотезу, что значения цены случайны, исследовать их методами математической статистики. Этим Mathemat и другие давно увлекаются. Результат - толстые хвосты, а, значит, опять отсутстствие практических перспектив.
Но как же положительные результаты "пианистов" и лидеров Чемпионата?! Они-то как раз и говорят о необходимости расширения методической парадигмы. В МТС надо "запихнуть" элементы технического (а может и фундаментального) анализа, но не в лоб и по старым "классическим" рецептам, а предварительно отфильтровав на основе байесова подхода рабочие модели. Справиться с таким объёмом информации "вручную" - тяжело, но кто-то справляется. Напрашивается вывод - обучить робота.
Я уже сделал на MQL вероятностную сеть, но пока не удаётся научить её работать с профит-фактором больше 1.5 - учитель слабоват :-).
P.S. Ещё пример для подтверждения аргумента об отсутствии шума в цене.
Когда говорят об измерительном шуме имеют в виду случайное отклонение данных измерений от истинного значения измеряемой величины. Например, радиолокатор (для специалистов :-)) выдал значение дальности 105, а истинное - 100, в следующем замере 99 вместо 101 и т.д. Распределение ошибки, как правило, нормально. В случае прихода цены, например, 1.2567 - это её истинное значение, ошибка равна нулю! О каком шуме будем говорить?
Prival, Mathemat, боюсь вновь вызвать раздражение, но вынужден опять повторить - в котировках практически нет шума - это и есть входной сигнал.
Никакого раздражения, rsi, нормальное обсуждение. В общем и целом я с тобой согласен: шум в котировках можно увидеть только в рамках определенной интерпретации, модели. Когда я говорю об ошибках, я обычно говорю об ошибках прогноза или приближения.
Prival говорит об ошибках наблюдения и измерения. Это вполне естественно с точки зрения его специальности. Но это совсем другие ошибки. Тем не менее эта точка зрения имеет право на жизнь, хотя, на мой взгляд, она искусственна. Prival, не обижайся, но как ты практически собираешься реализовать свою частоту дискретизации 100 МГц, я пока не представляю.
В применении статметодов к обработке финансовых рядов пока вижу пользу только в контексте оценки возможных рисков, не более того.
Ага, а еще в 2000 году есть пятиминутка на ойре длиной 198 пунктов. Кто больше?
Prival, Mathemat, боюсь вновь вызвать раздражение, но вынужден опять повторить - в котировках практически нет шума - это и есть входной сигнал.
rsi да ты что, я наоборот очень рад, что ты вернулся к обсуждению. Ведь ты дело говоришь, заставляешь думать. И если вдруг, я что то не так говорил (или говорили) сразу прошу прощенья за себя и за всех. Мне тут математик такие команды подавал (генералы отдыхают :-)), отжиматься заставлял :-). И ничего жив, увижу его, обниму как брата. И ты для меня желтые штаны, НС в МТ4 забабахать, волшебник. Как и klot.
По поводу шума, сам все время про это думаю. Я проделал следующее. Взял котировки за неделю и начал анализировать все составляющие этого потока. Сначала вычел тренд, потом колебания, все что смог вытащить. И после каждой процедуры, смотрел остатки. Когда выбрал все, в остатках был шум, но не гаусовский. Странный какой то шум +-1 пипс и больше ничего, несколько редких выбросов 2-5 пипсов плюс 1 гэп был пунктов 40 (специально искал недельку с хорошим гэпом). Я сел и задумался и мне кажется, я нашел объяснение этому шуму. Скорее всего это шумы измерения, если смотреть на котировки с точки зрения АЦП (это шумы квантования и дискретизации) они вроде и физически должны быть если мы оцифровываем непрерывный процесс. Так что думаю, ты возможно прав, что шума там нет – это чистый сигнал. Но есть один ньюнс, он мне покоя не дает :-(.
Никак не могу сделать 100Мгц это не возможно (иначе я бы уже был в шоколаде :-)). Единственный выход, хоть чуть улучшить эту ситуацию, это поступать также, как делают в нормальном ДЦ. Надо брать максимальное количество поставщиков котировок и самому обрабатывать этот поток (и строить не свечи, а эллипс постоянной вероятности). Ведь заключать сделки (Buy, Sell) мы обязаны по тем данным, что дает ДЦ. Но для принятия решения о Buy, Sell мы не обязаны пользоваться, только данными этого ДЦ, можем вообще котировками не пользоваться :-)
За сумму модулей отклонений. Если я не ошибаюсь, то при таком подходе оценка толи смещенная, толи несостоятельная. Не помню точно, боюсь ошибиться, но что то с мощностью оценки. Хотя можно выбирать и не квадратичную. В принципе любую, главное определиться в какую сторону от середины (идеального наблюдателя) ошибки более важны, допустим в одну это квадрат в другую куб. Это из статистической теории принятия решения. (книжка Вальд. "статистические решающие правила", вроде там есть про это). Если кому нужна книжка могу выложить
NorthernWind
Немного не понял про какие ограничения, ты спрашиваешь, уточни вопрос плиз.
Модель должна быть представлена в виде системы стохастических диф. уравнений. И главное условие она должна быть адекватна фильтруемому процессу. Вот такие ограничения точно есть.
З.Ы. Mathemat обидеть меня захотел :-), не дождешься. Тех кого уважаю, просто не могут этого сделать. Только если он при встрече не пожмет мне руку и выкинет коньяк (так долго и бережно хранимый для него) и то я сначала задумаюсь, может я что то не так сделал. А уж потом буду воду возить :-)
Согласен, что в точках гэпа все плохо, и возможно нет инерционности. И мы никак избавиться от всех гэпов не можем (я выдвинул гипотезу, что это из-за несоответствия частоты дискретизации анализируемому процессу - вроде ничему не противоречит). Но ведь гэпы не все 24 часа в сутках. Анализ АКФ показывает, что процесс коррелирован, есть время корреляции и следовательно процесс можно предсказывать. Ведь это почти прямая аналогия с физическим процессом, самолет не может мгновенно развернуться, масса мешает, есть инерция, процесс можно предсказать, т.к. он коррелирован. Не будь этого и НС не работала бы ИХМО (я тут прочитал, что эту абривиатуру можно трактовать по разному, у меня это по моему скромному мнению).
Но как же положительные результаты "пианистов" и лидеров Чемпионата?! Они-то как раз и говорят о необходимости расширения методической парадигмы. В МТС надо "запихнуть" элементы технического (а может и фундаментального) анализа, но не в лоб и по старым "классическим" рецептам, а предварительно отфильтровав на основе байесова подхода рабочие модели. Справиться с таким объёмом информации "вручную" - тяжело, но кто-то справляется. Напрашивается вывод - обучить робота.
Результаты как раз и воодушевляют, не дают опускаться рукам (сбивают экономисты, которые про мартингалы говорят и винеровский процесс). Не знаю иду ли я старым «классическим» рецептом (хотя книжки читал про анализ форекса, не все, но десяток неплохих наберется). Сколько я не искал не смог найти результаты реального применения фильтра Калмана к анализу котировок. Их либо нет или наоборот, тот кто смог его реализовать, тщательно скрывает свои результаты. Ведь там как раз очень важно именно по Байесу отобрать рабочие модели. По другому он и не заработает. Пытаюсь это делать в ручную, да тяжело, но зато как это интересно. Не доверяю, я алгоритмам, где неизвестно как для меня принимается решение. Не лежит к ним у меня душа.
Фильтр Калмана очень редко в реале удается реализовать. Его можно рассматривать как идеал, как известное всем Байесовское решение, когда при наличии априорной и апостериорной информации выбирается наиболее мощная оценка.
Как то так.
И я и Mathemat и ещё кто то этот шум видели на тиках. При чем, на тиках видно что у +-1 пипс вероятность обратного движения выше чем его продолжение. К сожалению эта закономерность внутри спреда. Да и невысокая она.
А вот то что она появилась после обработки - это интересно.