Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3304

 
Aleksey Nikolayev #:
Не так давно на форуме кто-то давал название эффекта (не нашёл пока), из-за которого ряды близкие к СБ кажутся имеющими период. С этим эффектом связано немало позорных моментов в науке, когда посредством Фурье "находили" периодичность в процессах, да и радиолюбители из-за него на форуме никогда не переведутся)

Как доказывается обратное?

На мой взгляд есть события привязанные ко времени - те же новости. Думаю, если разделить на три подвыборки - ожидаемая, хуже, лучше и учесть контекст, то будет заметно схожее поведение участников рынка.

Другой вариант - сезонность товаров.

 
mytarmailS #:
Кто-нибудь может мне обяснить проблему множественного тестирования.
Почему чем больше было итераций при оптимизации тем больше вероятность переобучения


Нет я понимаю что чем больше ищешь(итерации) тем больше вероятность найти что то случайное что будет выглядеть как НЕслучайное..  

Но если мы придумали какую то идею ,а  потом подобрали параметры к ней за 10 итераций , а не за 10000 то можно ли это считать непереобучной моделью?

Ведь сама фраза "мы придумали" подразумевает  тоже некий мыслительный перебор (итерации)


Откуда конечной модели знать какие это были итерации, мозговые или копютерные и есть ли разница между тем и другим?


Вопрос возник после почтения статьи Прадо

Переобучение возникает в связи с запоминанием редких явлений. Эти явления выделяются чисто статистически, так как нет модели, описывающей причину и следствие.

При этом убыток - не всегда значит, что модель переобучена.

 
Aleksey Nikolayev #:
Не так давно на форуме кто-то давал название эффекта (не нашёл пока), из-за которого ряды близкие к СБ кажутся имеющими период. С этим эффектом связано немало позорных моментов в науке, когда посредством Фурье "находили" периодичность в процессах, да и радиолюбители из-за него на форуме никогда не переведутся)

Масштабная инвариантность?

Муаровый эффект :)

масштабная инв, вроде бы, вполне может описываться подобным образом, и не будет предметом исследования радиолюбителей. Только без Фурье, а рыночные периоды по типу часовых и дневных, которые описывают разную активность.

 
Maxim Dmitrievsky #:

Масштабная инвариантность?

Муаровый эффект :)

Не) Слуцкого-Юла, нашёл пост. Вроде ещё какие-то похожие эффекты были обнаружены, но точно не помню. По крайней мере, сейчас принято с аккуратностью относиться к кажущейся периодичности, хотя, конечно, местным радиолюбителям это всё по барабану)
 
Maxim Dmitrievsky #:

Хорошая бумага, как правильно делать репрезентацию ВР для нейросетей. От ФФТ, конечно, можно избавиться. И дальше сравнение разных моделей.

Принципиальное отличие в том, что препроцессинг встроен в архитектуру сети. Но можно сделать и отдельно.

LSTM курит в сторонке, потому что не учитывает интерпериодные вариации.

Бустинг тоже где-то внизу рейтинга, на основании их тестов.

Думается, что подавляющее число применений МО, независимо от инструмента, относится к областям, где имеется "естественное" отношения между учителем и предикторами. Например, прогноз погоды: температура, влажность ... 

Мы же здесь сидим и путем ковыряния в носу придумываем предикторы, которые являются нашей фантазией и почему-то хотим, чтобы они предсказывали торговые приказы.

Поэтому любые публикации с "естественными" предикторам не являются для нас интересными. К сожалению. 

 
Aleksey Vyazmikin #:

Как доказывается обратное?

На мой взгляд есть события привязанные ко времени - те же новости. Думаю, если разделить на три подвыборки - ожидаемая, хуже, лучше и учесть контекст, то будет заметно схожее поведение участников рынка.

Другой вариант - сезонность товаров.

Что именно?

 
СанСаныч Фоменко #:

Думается, что подавляющее число применений МО, независимо от инструмента, относится к областям, где имеется "естественное" отношения между учителем и предикторами. Например, прогноз погоды: температура, влажность ... 

Мы же здесь сидим и путем ковыряния в носу придумываем предикторы, которые являются нашей фантазией и почему-то хотим, чтобы они предсказывали торговые приказы.

Поэтому любые публикации с "естественными" предикторам не являются для нас интересными. К сожалению. 

Ну это всего лишь аспект кормления модели признаками, который выглядит логично. А что уже с этим делается потом - вопрос конечно эзотерический.

Например, такой подход позволяет впихнуть больше истории в один семпл
 
Aleksey Nikolayev #:
Не) Слуцкого-Юла, нашёл пост. Вроде ещё какие-то похожие эффекты были обнаружены, но точно не помню. По крайней мере, сейчас принято с аккуратностью относиться к кажущейся периодичности, хотя, конечно, местным радиолюбителям это всё по барабану)

Ну, почему же.

Есть экономические процессы с явной, а не умозрительной периодичностью. Например, сбор урожая. И таких процессов полно. Для них имеются модели, в которых одним из параметров является периодичность. 

Другое дело, что надо отделять существующую в реальности периодичность, от высосанной с помощью какого-либо Фурье периодичностью, которая процветала на Форексе. Лет 10 назад отбою не было от радиоинженеров. Огромное число людей не понимают, что очень важным свойством любой математической модели должны быть ее интерпретируемость, возможность сопоставления тех или иных параметров и свойств модели реальности. И  когда, видя явные с переменной периодичностью  волны на графиках, начинаем придумывать какие-то спрос-предложения, которые неизвестно откуда берутся, то и результат соответствующий.

 
Maxim Dmitrievsky #:

Ну это всего лишь аспект кормления модели признаками, который выглядит логично. А что уже с этим делается потом - вопрос конечно эзотерический.

Например, такой подход позволяет впихнуть больше истории в один семпл

У нас, мусор на входе - мусор на выходе, а у большинства НЕ мусор на выходе.

 
Думать что фурье это только про периодичность, это как думать что музыка это только про реп..

Вы хихикаете не над радио любителями, а над своей безграмотностью
Причина обращения: