Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2785

 

Transient Response from State Space Representation

Markov Transition (Animated) Plots

только

в Марковских случ. процессах поведение зависит только от значений, принятых системой в наст. момент.

И

в цепях Маркова переход процессов в др. состояния происходит скачками под влиянием случайных факторов...

- timing не бывает случайным, даже в рядах Тейлора...


Methods of Determing the Transient Response
  • Erik Cheever, Swarthmore College
  • lpsa.swarthmore.edu
csv
 
JeeyCi #:

Transient Response from State Space Representation

Markov Transition (Animated) Plots

только

- timing не бывает случайным, даже в рядах Тейлора...


В Марковском процессе нет зависимости от значения в настоящий момент.

Вообще понимаю его как функцию от шума. А шум понимаю как процесс многих факторов не поддающихся контролю ввиду их многочисленности. Т.е. если факторов мало, то процесс контролируется, но после определенного количества факторов начинают возникать коллизии и вероятностные результаты суммирования факторов. К тому же у факторов могут быть и есть связи, и есть обратные связи. А у Марковского процесса они отсутствуют.

 
Valeriy Yastremskiy #:

В Марковском процессе нет зависимости от значения в настоящий момент.

как это нет, где находишься в матрице переходов оттуда и шагаешь

 
Valeriy Yastremskiy #:
   

 Т.е. если факторов мало, то процесс контролируется, но после определенного количества факторов начинают возникать коллизии и вероятностные результаты суммирования факторов. К тому же у факторов могут быть и есть связи, и есть обратные связи. А у Марковского процесса они отсутствуют.

он ведь описывает случайные величины - откуда у него связи (логично что отсутствуют)... но раз есть матрица - значит в ней можно и найти/описать/затерялись/образуются и связи... имхо об описании состояния под воздействием событий... всё та же статистика, только ещё и шаг вперёд в зависимости от состояния (и как раз этот шаг и задаёт динамику стац. рядам каждого момента)... только меня тоже смущают в формулировке всего Марковского "случайности" (но для того и есть статистика и dim_reduction)

 
JeeyCi #:

он ведь описывает случайные величины - откуда у него связи (логично что отсутствуют)... но раз есть матрица - значит в ней можно и найти/описать/затерялись/образуются и связи... имхо об описании состояния под воздействием событий... всё та же статистика, только ещё и шаг вперёд в зависимости от состояния (и как раз этот шаг и задаёт динамику стац. рядам каждого момента)... только меня тоже смущают в формулировке всего Марковского "случайности" (но для того и есть статистика и dim_reduction)

привел свое понимание физики случайных процессов, по мне это 2 варианта, в рынке первый это когда количество факторов дает вероятностный результат, и второй это результат низкочастотного процесса относительно высокочастотного, при этом процессы не взаимосвязаны.

А философски понимаю, что если нет связи с прошлыми значениями у функции или у процесса, то процесс будет случайным. Но в реале этого обычно нет.

В рынке, если предположить, что продолжительные стационарные состояния это воздействие неких инерционных сил от сильных факторов, либо сильных продолжительных факторов, то в шуме возможно их выделить, и это не Марковское состояние. Подход выделения отличия модели от модели СБ вполне логичен. Только что с этим делать, по логике, если есть не Марковское состояние, значит можно исследовать, а если отличий нет, то нет смысла исследовать.)))

 
Maxim Dmitrievsky #:

как это нет, где находишься в матрице переходов оттуда и шагаешь

Это понятно, но именно случайный процесс, потому и случайный, что нет связи у настоящего значения с предыдущим.))) А так то да, в матрице есть значения)))

ГСЧ и построены по принципу минимизации этой связи до почти нуля)

 

просто странные какие-то способы приведения к нормальности у Vladimir Perervenko - log2(x + 1)ещё можно пробовать понять,

но появление такого зверя - избавляться от ассиметрии через sin(2*pi*x)- не совсем понятно, что делает, - по логике добавляет какую-то циклическую составляющую, и спрашивается, почему именно такую? или убирает? (убираем циклы, остаеётся noise)...

а  tanh(x)вообще смахивает на иммитацию нейросетевой обработки для сжатия ряда... или ещё одно просто искривление ряда? - вряд ли для избавления от цикличности, да и непонятно какой...

вобщем, оно то, конечно, понятно, что timeseries= trend+cycle+noise ...

только он такими преобразованиями, возможно, пытается избавиться от цикличности (и неизвестно, насколько это sin(2*pi*x) - универсальный способ ??) ... я как-то сначала думала, что это своеобразная попытка вложить в ряд элемент d/df-- чтобы убрав цикличность (инкорпорировав эту длину? волны в сами признаки-факторы), добиться норм. распр-я , т.н. скорость и ускорение вложить в состав признаков ... ?? но всё равно манипуляция с sin кажется пока ничем необоснованным искривлением ряда под масштабируемую согласно значению признака амплитуду-- не встречалось мне такое в стат.обработке... почему не cos? зачем ещё и tanh? -- просто разные способы искривлять? для чего?

??  может автор объяснит суть именно такой тригонометрии (что цель убирать skew распределения через log и так понятно) - но  каковы обоснования/допущения для использования sin?? почему не cos? и зачем вообще это искривление ? (разве оно даст ускорение изменения признака? - скорее даже просто сгладит иногда)


Renat Akhtyamov #:

вам дали вектора, написали статью, а отношение как к безделушке...

вот и написал бы кто, как серьёзно надо/можно отнестись к таким преобразованиям и почему ? (помимо стремления избавиться от ассиметрии с пом log, по-моему обычно ln всё-таки)

 
JeeyCi #:

просто странные какие-то способы приведения к нормальности у Vladimir Perervenko - log2(x + 1)ещё можно пробовать понять,

но появление такого зверя - избавляться от ассиметрии через sin(2*pi*x)- не совсем понятно, что делает, - по логике добавляет какую-то циклическую составляющую, и спрашивается, почему именно такую? или убирает? (убираем циклы, остаеётся noise)...

а  tanh(x)вообще смахивает на иммитацию нейросетевой обработки для сжатия ряда... или ещё одно просто искривление ряда? - вряд ли для избавления от цикличности, да и непонятно какой...

вобщем, оно то, конечно, понятно, что timeseries= trend+cycle+noise ...

только он такими преобразованиями, возможно, пытается избавиться от цикличности (и неизвестно, насколько это sin(2*pi*x) - универсальный способ ??) ... я как-то сначала думала, что это своеобразная попытка вложить в ряд элемент d/df-- чтобы убрав цикличность (инкорпорировав эту длину? волны в сами признаки-факторы), добиться норм. распр-я , т.н. скорость и ускорение вложить в состав признаков ... ?? но всё равно манипуляция с sin кажется пока ничем необоснованным искривлением ряда под масштабируемую согласно значению признака амплитуду-- не встречалось мне такое в стат.обработке... почему не cos? зачем ещё и tanh? -- просто разные способы искривлять? для чего?

??  может автор объяснит суть именно такой тригонометрии (что цель убирать skew распределения через log и так понятно) - но  каковы обоснования/допущения для использования sin?? почему не cos? и зачем вообще это искривление ? (разве оно даст ускорение изменения признака? - скорее даже просто сгладит иногда)


вот и написал бы кто, как серьёзно надо/можно отнестись к таким преобразованиям и почему ? (помимо стремления избавиться от ассиметрии с пом log, по-моему обычно ln всё-таки)

Тоже никогда не понимал такие преобразования, но скорее всего это просто выбор на взгляд выбирающего лучшего преобразования из остальных. И в выборе логики нет обычно, обычно на основе тестов. 

Формы фильтров и антенн в СВЧ изначально не рассчитывались. Да и расчет потом в реале напильником допиливался)))

 
Valeriy Yastremskiy #:

Тоже никогда не понимал такие преобразования, но скорее всего это просто выбор на взгляд выбирающего лучшего преобразования из остальных. И в выборе логики нет обычно, обычно на основе тестов. 

Формы фильтров и антенн в СВЧ изначально не рассчитывались. Да и расчет потом в реале напильником допиливался)))

Можно просто сравнить гистограммы выборки до и после преобразования. Если итоговая ближе к целевому виду (нормальное или равномерное распределение к примеру), то преобразование вполне подойдёт.) Можно вместо рисования гистограмм считать тесты на соответствие цели (на нормальность или равномерность, соответственно)

Вроде тарелки делают параболической формы? Вполне по формуле)

 
JeeyCi #:

просто странные какие-то способы приведения к нормальности у Vladimir Perervenko - log2(x + 1)ещё можно пробовать понять,

но появление такого зверя - избавляться от ассиметрии через sin(2*pi*x)- не совсем понятно, что делает, - по логике добавляет какую-то циклическую составляющую, и спрашивается, почему именно такую? или убирает? (убираем циклы, остаеётся noise)...

а  tanh(x)вообще смахивает на иммитацию нейросетевой обработки для сжатия ряда... или ещё одно просто искривление ряда? - вряд ли для избавления от цикличности, да и непонятно какой...

вобщем, оно то, конечно, понятно, что timeseries= trend+cycle+noise ...

только он такими преобразованиями, возможно, пытается избавиться от цикличности (и неизвестно, насколько это sin(2*pi*x) - универсальный способ ??) ... я как-то сначала думала, что это своеобразная попытка вложить в ряд элемент d/df-- чтобы убрав цикличность (инкорпорировав эту длину? волны в сами признаки-факторы), добиться норм. распр-я , т.н. скорость и ускорение вложить в состав признаков ... ?? но всё равно манипуляция с sin кажется пока ничем необоснованным искривлением ряда под масштабируемую согласно значению признака амплитуду-- не встречалось мне такое в стат.обработке... почему не cos? зачем ещё и tanh? -- просто разные способы искривлять? для чего?

??  может автор объяснит суть именно такой тригонометрии (что цель убирать skew распределения через log и так понятно) - но  каковы обоснования/допущения для использования sin?? почему не cos? и зачем вообще это искривление ? (разве оно даст ускорение изменения признака? - скорее даже просто сгладит иногда)


вот и написал бы кто, как серьёзно надо/можно отнестись к таким преобразованиям и почему ? (помимо стремления избавиться от ассиметрии с пом log, по-моему обычно ln всё-таки)

Пока находимся на уровне рассуждения тригонометрических функций или еще чего-либо на этом уровне, то обоснования нет по одной причине - сделать обоснование невозможно, так как НЕ продекларирована цель таких обоснований и неизвестен критерий достижения цели.


А  цель в МО единственная - уменьшить ошибку подгонки, а точнее уменьшить ошибку предсказания моделью машинного обучения. Причем при ограничении: ошибка предсказания НЕ должна сильно меняться в будущем. 


Основным препятствием для достижения указанной цели является НЕстационарность финансовых рядов. 

Приведенная формула  timeseries= trend+cycle+noise не совсем точна. Более точно и очень хорошо проработано в моделях типа  GARCH, которых более сотни, но ни одна не решает проблему в окончательном виде, т.е. как можно точнее смоделировать НЕстационарность.

Если же мы указываем цель и критерий достижения цели, то совершенно не важны методы борьбы с нестационарностью - важен результат. Во всяком случае понятно, что чем ближе к стационарному удалось преобразовать исходный НЕстационарный ряд, тем меньше будет ошибка предсказания моделью МО. а главное, тем меньше будут колебания этой ошибки.

Vladimir Perervenko прекрасно это понимает, но его статьи носят более учебный, чем практический характер - просто показывает проблемы и приводит инструменты их решения, причем очень полно и системно без видимых пробелов. И подбор проблем и инструментов их решения - все подчинено цели: уменьшение ошибки предсказания. 

Vladimir Perervenko
Vladimir Perervenko
  • www.mql5.com
Профиль трейдера