Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 372

 
Maxim Dmitrievsky:


http://sci.alnam.ru/book_dsp.php

только там нет картинки на стр 126


не картинка...

А сам пример сохранить в виде картинки, и сюда его закинуть

 
Олег avtomat:


не картинка...

А сам пример сохранить в виде картинки, и сюда его закинуть


Оно?

 
Maxim Dmitrievsky:


Оно?



книга та.

 стр. 126

Пример 5.4.

 
Олег avtomat:


книга та.

 стр. 126

Пример 5.4.


Да, не понял сразу..., вот


 
Maxim Dmitrievsky:


Да, не понял сразу..., вот



теперь хорошо ;)
 
Дмитрий:


Не может быть зависимости там, где нет корреляции. Корреляция может быть линейной или нелинейной, но она будет, если есть зависимость.

Может быть корреляция при отсутствии зависимости - ложная корреляция.

Ни один пост в этой ветке я не удалял.

Бендат Дж., Пирсол А.

Прикладной анализ случайных данных: Пер. с англ. - М.: Мир, 1989. 

на стр. 126

ПРИМЕР 5.4. НЕКОРРЕЛИРОВАННЫЕ ЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ.


 
Выдержка из статьи Решетова, объясняющую работу его RNN.

"В данной статье подробно рассматривается проблема переобучения нейронных сетей, выявляются причины ее появления, и предлагается способ решения данной проблемы.

1. Почему переобучается нейросеть?

С чем связано переобучение нейросетей? На самом деле тому может быть несколько причин:
  1. Количество примеров в обучающей выборке недостаточно, чтобы решать задачи вне выборки.
  2. Входные данные неравномерно распределены по степени корреляции к выходным данным в различных выборках, что очень часто бывает в случаях обработки нестационарных данных. Например, в обучающей выборке корреляция какого либо входного параметра или нескольких входных параметров по отношению к выходным значениям значительно выше, чем в выборке тестовой или хуже того, коэффициенты корреляции в разных выборках различаются по знаку. Это легко проверить, вычислив коэффициенты корреляции для всех параметров в разных выборках, причем еще до обучения нейросети. И избавиться от этого недостатка тоже достаточно просто, а именно обучающие примеры разложить по выборкам случайным образом.
  3. Входные параметры не связаны с выходными, т.е. между ними нет никакой причинно-следственной связи – они нерепрезентативны, а соответственно и обучать нейросеть нечему. И проверка на предмет наличия корреляций между входными и выходными данными  покажет корреляцию, близкую к нулевой. В этом случае необходимо поискать другие входные данные, на которых и обучать нейросеть.
  4. Входные данные сильно коррелируют между собой. В этом случае необходимо оставить входные данные с максимальной корреляцией по отношению к выходным, удалив остальные данные, хорошо коррелирующие с оставшимися.
Все вышеописанные причины переобучения и методы их устранения являются общеизвестными, т.к. ранее описывались в различной литературе или статьях, посвященных нейросетевым технологиям. "
Файлы:
RNN_MT5.zip  223 kb
 
Алёша:

Дмитрий, Вы уж простите, но подозреваю Вы или меня троллить пытаетесь, или юродствуете, или просто тупой, при всем уважении... Разве не видно на тривиальном примере, что два признака оба имеют нулевую корреляцию с таргетом, НО при этом оба являются существенными, ни один нельзя выкинуть, линейная зависимость нулевая, не линейная 100%, то есть корреляция может быть нулевой а датасет полностью прогнозируемый, что Ваше утверждение:

полностью опровергает.


Конечно я юродствую!

Я НЕСКОЛЬКО РАЗ в этой ветке ЧЕТКО НАПИСАЛ: "Скажу честно и откровенно - я для себя свой диагноз НС поставил еще пару лет назад и забросил этот метод. Поэтому как именно для НС - сказать трудно мне. Может и появилось что то в НС, что позволяет пихать в сеть все, что под рукой без предварительного отбора. Для всех методов DM подход я изложил." (с)

Если я несколько раз написал, что я не разбираюсь в НС и не знаю как там обстоят дела, а появляется что-то, что начинает вопить, орать и кричать и приводить примеры из НС - ко мне то какие претензии?


Написал четко и откровенно:

1. размерность уменьшится.

2. насчет точности модели- НЕ ЗНАЮ!


Но все равно найдется кто-то, кто начнет тупить....

 
Mihail Marchukajtes:
Корелляция переменных не означает возможности прогнозирования. Пары могут быть коррелированны. То есть ходить взаимосвязанно, но спрогнозировать одну посредством другой не получится, потому как они изменяются одновременно, и уж не как ни с опережением. Это если говорить про корелляцию!!!!


Не тупи.

Если очень хочется потупить - погугли, НАПРИМЕР, парный трейдинг.

 
Алёша:
Снова ложь, нет никакой нелинейной корреляции корреляция это СТРОГО определенная математическая структура, как сложение или косинус, изучите хотя бы википедию перед тем как нести чепуху.


Будем проходить как в школе - с азов. Что такое "нелинейная корреляция" и как она расчитывается:

http://metr-ekon.ru/index.php?request=full&id=412

Причина обращения: