Обсуждение статьи "Случайные леса предсказывают тренды" - страница 8

 
Demi:

нет, не ясна - у меня нет кота и я сомневаюсь в том, что температура любого домашнего животного относится к информации с форекса.

Кстати, даю 100%, что динамика температуры кота будет иметь ненулевую корреляцию с ценовым рядом финансового инструмента 

ну вот, а ранее вы утверждали, что во всех данных есть предсказательность. Естественно мы говорим о предсказании финансовых рынков.

Если бы позволяли вычислительные мощности наших компов, что можно было бы использовать всю доступную инфу, в том числе и температуру кота.  Она бы просто отсеилась в процессе расчёта.  Но т.к. ресурсы ограничены, то придётся свою голову подключать.   Насчёт корреляции, то что ненулевая - это само собой, ноль вообще редко может получиться. Но почти нулевая. В общем, купите кота, поставьте ему градусник и проверьте ))  Вдруг повезёт, и он сделает вас богатым )

 
meat:

ну вот, а ранее вы утверждали, что во всех данных есть предсказательность. Естественно мы говорим о предсказании финансовых рынков.

Если бы позволяли вычислительные мощности наших компов, что можно было бы использовать всю доступную инфу, в том числе и температуру кота.  Она бы просто отсеилась в процессе расчёта.  Но т.к. ресурсы ограничены, то придётся свою голову подключать.   Насчёт корреляции, то что ненулевая - это само собой, ноль вообще редко может получиться. Но почти нулевая. В общем, купите кота, поставьте ему градусник и проверьте ))  Вдруг повезёт, и он сделает вас богатым )

вы лжете - я цитирую сам себя "Я даю ответ на ваш вопрос - во всех данных есть некая "предсказательная способность". И что? Во всех данных с форекса есть некая информация.".

Если у вас есть набор из сотен тысяч наблюдений - вопрос мощности компьютеров был бы актуален. 

 
Demi:

вы лжете - я цитирую сам себя "Я даю ответ на ваш вопрос - во всех данных есть некая "предсказательная способность". И что? Во всех данных с форекса есть некая информация.".

meat:

ранее вы утверждали, что во всех данных есть предсказательность

 И в чём же ложь? 

 
meat:

 И в чём же ложь? 

я расшифровал сам себя во втором предложении
 
Demi:
я расшифровал сам себя во втором предложении

Т.е. информация = предсказательная способность?  Почему вы так уверены в этом?  Если я вам назову какой-то из "данных с форекса", то вы непременно сможете по нему прогнозировать цену?

И этих параметров может быть не 100 тысяч, а намного больше. Есть же не только форекс, а ещё фондовые рынки, товарные рынки и многое другое... Всё взаимосвязано.

 

faa1947:

У меня тут с десяток заказчиков. До начала общения со мной все были радостные и веселые, а теперь грустные и задумчивые. 

Не умножайте печаль))
 

faa1947, покажите на примере внизу как работает ваша модель. Первый столбец - моделируемый ряд, 2-й и 3-й столбцы - предикторы. Какая предсказательная способность у этих предикторов?

-0.35742 0.461646 -0.81907
0.431277 0.004545 0.426731
-0.00018 -0.4037 0.403528
-0.08575 0.90851 -0.99426
0.773826 0.008975 0.764852
0.426905 -0.96485 1.391757
0.253233 0.487955 -0.23472
0.20994 0.880554 -0.67061
-0.09929 0.160276 -0.25956
0.332911 -0.08736 0.420268
0.032258 0.360106 -0.32785
0.253027 -0.06859 0.321621
-0.66668 -0.54985 -0.11683
-0.5476 -0.13231 -0.41529
-0.75652 0.536488 -1.29301
-0.66109 -0.87314 0.212052
-0.09993 -0.86293 0.763
0.014625 0.715032 -0.70041
-0.48345 -0.62666 0.143206
-0.03596 0.935653 -0.97161
-0.17023 0.678024 -0.84826
0.293376 0.079529 0.213847
0.002922 0.754594 -0.75167
0.329194 -0.05535 0.384546
0.639423 -0.41358 1.053007
0.431631 -0.60334 1.034973
0.59125 0.497989 0.093262
0.266098 -0.79645 1.062549
-0.02624 0.643164 -0.6694
0.055014 -0.46214 0.517154
0.436132 -0.89992 1.336052
-0.30143 0.628619 -0.93005
-0.12168 0.886467 -1.00814
-0.10851 -0.0507 -0.0578
-0.74573 -0.50921 -0.23653
-0.574 0.244825 -0.81883
-0.87313 0.336188 -1.20932
-0.00344 0.117363 -0.1208
-0.20265 0.424326 -0.62697
0.177873 -0.17967 0.357541
 
gpwr:


Какая предсказательная способность у этих предикторов?

Судя по всему, цифири не случайны. Проверял очень просто: сгенерировал три ряда по 40 строк случайным образом и натравил на них нейронку. На случайных данных обобщающая способность заметно хуже, чем на вышеуказанных.
 
Reshetov:
Судя по всему, цифири не случайны. Проверял очень просто: сгенерировал три ряда по 40 строк случайным образом и натравил на них нейронку. На случайных данных обобщающая способность заметно хуже, чем на вышеуказанных.
Буду заинтересован в разных универсальных алгоритмических подходах определения предсказательной способности этих двух предикторов. Эконометрике, нейронкам и глубоким сетям добро пожаловать. Показывайте на что они способны. Можете показать либо какой-то параметр характеризующий такую предсказательную возможность этих предикторов (коэффициент корелляции, взаимная информация, СКО, и прочие изобретения) или показать сравнение выхода модели и моделируемого ряда.
Применение метода собственных координат к анализу структуры неэкстенсивных статистических распределений
Применение метода собственных координат к анализу структуры неэкстенсивных статистических распределений
  • 2012.06.21
  • MetaQuotes Software Corp.
  • www.mql5.com
Центральной проблемой прикладной статистики является проблема принятия статистических гипотез. Долгое время считалось, что эта задача не может быть решена. Ситуация изменилась с появлением метода собственных координат. Это очень красивый и мощный инструмент структурного исследования сигнала, позволяющий увидеть больше, чем доступно методами современной прикладной статистики. В статье рассмотрены вопросы практического использования данного метода и приведены программы на языке MQL5. Рассмотрена задача идентификации функций на примере распределения, полученного Хилхорстом и Шером.
 
gpwr:
Буду заинтересован в разных универсальных алгоритмических подходах определения предсказательной способности этих двух предикторов. Эконометрике, нейронкам и глубоким сетям добро пожаловать. Показывайте на что они способны. Можете показать либо какой-то параметр характеризующий такую предсказательную возможность этих предикторов (коэффициент корелляции, взаимная информация, СКО, и прочие изобретения) или показать сравнение выхода модели и моделируемого ряда.
  1. Термин "предсказательная способность" - это у гадалок, экстрасенсов, шаманов и прочих эконометристов. В машинном обучении можно вычислить обобщающую способность, да и то, только приблизительно
  2. Данных маловато, т.е. имеем дело со Small Data (всего 40 примеров), а посему оценки обобщающей способности могут быть завышены, т.е. пальцем в небо

Привёл выборку к виду пригодному для бинарной классификации, т.е. чтобы вычислять зависимую переменную на предмет выше она нуля или ниже (CSV файл в прикреплённом архиве), прошерстил с помощью libVMR и получил такую модель:


/**
 * The quality of modeling:
 *
 * TruePositives: 9
 * TrueNegatives: 11
 * FalsePositives: 0
 * FalseNegatives: 0
 * Sensitivity of generalization abiliy: 100.0%
 * Specificity of generalization ability: 100.0%
 * Generalization ability: 100.0%
*/
double x0 = 2.0 * (v0 + 0.96485) / 1.900503 - 1.0;
double x1 = 2.0 * (v1 + 1.00814) / 2.399897 - 1.0;

y = 0.12981203254657206 + 0.8176828303879957 * x0 + 1.0 * x1 -0.005143248786272694 * x0 * x1;


 Секрет "высокой обобщающей способности" Вашей выборки раскрыт: значение первого столбца - это сумма значений двух остальных столбцов.

libvmr
libvmr
  • code.google.com
VMR - machine learning library
Файлы:
test.zip  1 kb