Предсказание рынка на основе макроэкономических показателей - страница 43

 
СанСаныч Фоменко:

Ну, вот понятна мысль Хазина.

За 2010 год общий объем финансовых инструментов на NYCE  NASDAQ = 17.796 + 12.659 триллиона долларов. А ВВП в два раза ниже. При этом доля финансов в ВВП смехотворная. Как такое может быть?

Все, что касается статистики в США надо быть крайне осторожно.   Надо вникать в методику подсчета ВВП... А это надо? 

В ВВП учитывается сумма оказанных финансовых услуг за год, а не номинальная капитализация национального фондового рынка
 
Дмитрий:
В ВВП учитывается сумма оказанных финансовых услуг за год, а не номинальная капитализация национального фондового рынка

Ну вот видишь, дошли вдвоем. Т.е. учитывается брокерская маржа. У них она меньше нашей - смешная сумма.

А остальные деньги? Купил штаны - реализация, а купил акцию, фьючерс - это что? Считать надо обороты по счетам... 

 
СанСаныч Фоменко:

Ну вот видишь, дошли вдвоем. Т.е. учитывается брокерская маржа. У них она меньше нашей - смешная сумма.

А остальные деньги? Купил штаны - реализация, а купил акцию, фьючерс - это что? Считать надо обороты по счетам... 

Вообще вся эта рыночая экономика ....

Считать надо в натуральном выражении, в бигмаках. А денежное выражение да еще в разных валютах работоспособно только при стабильных ценах и стабильных курсах.  А сегодня? Все уперлись в рубль.. А посмотри на графики валютных пар! Или на график индекса доллара. О каких ценах можно рассуждать?

Что с чем мы сравниваем? Часть ВВП США на электронику с их реальным, физическим производством в Китае? Воздух с реальной железкой? 

 

Как я уже писал, предсказатели выбираю не я, а код по ошибке предсказаний. Я только смотрю на конечную модель и проверяю что там за индикаторы. Например, одним из индикатором является начало строительства домов:

https://research.stlouisfed.org/fred2/series/HOUST1F

Посмотрев на этот график можно заметить тенденцию упадка начала строительства домов перед рецессиями. Какие индикаторы выбираются кодом довольно сильно зависит от метода преобразования данных. Я вполне допускаю что фъючерсы влияют на GDP. Если есть временные ряды отражающие фъючерсы, покажите линк. Все мои предсказатели берутся из FRED2 датабазы феда. Там есть экономические и финансовые показатели:

https://research.stlouisfed.org/fred2/categories

Проблема с этими показателями в том что их около 300 тысяч. Много региональных и международных данных. Приходилось вручную отбрасывать "ненужные" данные чтобы не загружать код. Получилось около 10 тысяч индикаторов. Но не все эти индикаторы выпускались правительством долгое время: одни выпускались с 1800 годов, другие начали выпускаться в последние 10 лет. Мой код только учитывает индикаторы которые выпускались с 1960 года чтобы иметь достаточно данных для построения модели, т.е. 55 лет истории или 220 данных в каждом показателе. 10 тысяч отобранных индикаторов сужается к 2-м тысячам. Можно углубится в дискуссию что рынок сегодня существенно отличается от рынка 50 лет назад. И я вполне соглашусь с этим: компьютеры, интернет, влияние Китая, вмешание правительства США в экономическое управление, и прочее. Но если я буду брать только данные за последние 15 лет, то получится только 60 значений в каждом индикаторе, только две рецессии, а это, как известно статистам, недостаточно для построения модели. Поэтому приходится уходить глубже в историю, когда экономика была другой. В результате возникают другие трудности: то что описывало экономику тогда, плохо описывает её сегодня. Кстати я пробовал сократить историю на 15-20 лет, но предсказания были намного хуже.

Privately Owned Housing Starts: 1-Unit Structures
Privately Owned Housing Starts: 1-Unit Structures
  • fred.stlouisfed.org
Units: Display integer periods instead of dates (e.g. ...,-1,0,1,...) with the value scaled to 100 at period 0. Use a formula to modify and combine data series into a single line. For example, invert an exchange rate a by using formula 1/a, or calculate the spread between 2 interest rates a and b by using formula a - b. Use the...
 
Vladimir:

Как я уже писал, предсказатели выбираю не я, а код по ошибке предсказаний. Я только смотрю на конечную модель и проверяю что там за индикаторы. Например, одним из индикатором является начало строительства домов:

https://research.stlouisfed.org/fred2/series/HOUST1F

Посмотрев на этот график можно заметить тенденцию упадка начала строительства домов перед рецессиями. Какие индикаторы выбираются кодом довольно сильно зависит от метода преобразования данных. Я вполне допускаю что фъючерсы влияют на GDP. Если есть временные ряды отражающие фъючерсы, покажите линк. Все мои предсказатели берутся из FRED2 датабазы феда. Там есть экономические и финансовые показатели:

https://research.stlouisfed.org/fred2/categories

Проблема с этими показателями в том что их около 300 тысяч. Много региональных и международных данных. Приходилось вручную отбрасывать "ненужные" данные чтобы не загружать код. Получилось около 10 тысяч индикаторов. Но не все эти индикаторы выпускались правительством долгое время: одни выпускались с 1800 годов, другие начали выпускаться в последние 10 лет. Мой код только учитывает индикаторы которые выпускались с 1960 года чтобы иметь достаточно данных для построения модели, т.е. 55 лет истории или 220 данных в каждом показателе. 10 тысяч отобранных индикаторов сужается к 2-м тысячам. Можно углубится в дискуссию что рынок сегодня существенно отличается от рынка 50 лет назад. И я вполне соглашусь с этим: компьютеры, интернет, влияние Китая, вмешание правительства США в экономическое управление, и прочее. Но если я буду брать только данные за последние 15 лет, то получится только 60 значений в каждом индикаторе, только две рецессии, а это, как известно статистам, недостаточно для построения модели. Поэтому приходится уходить глубже в историю, когда экономика была другой. В результате возникают другие трудности: то что описывало экономику тогда, плохо описывает её сегодня. Кстати я пробовал сократить историю на 15-20 лет, но предсказания были намного хуже.

Я  с большим с интересом наблюдаю за Вашей работой. А фьючерсы ... плевать
 
Yuriy Asaulenko:

Как говорит моя давняя знакомая, живущая в Канаде: ваш номер восемь, тебя после спросят.

В этой очереди важно знать свое место.

Как-то унизительно и оскорбительно к самим себе. Неужели нет чувства достоинства? С таким отношением далеко не уедешь.

Я не специалист в экономике и не знаю насколько мудр номер 1, но в моей отрасли науки я вас могу заверить что университетские профессоры знают намного меньше чем люди работающие на компании, практики. Я так полагаю что в экономике так же: только пара спецов, которые способны на новые теории, а остальные, как говорят американцы, полируют яблоко. Вы что думаете что в фед банках работают светила знающие как предсказать экономику? А как насчёт 2008 года? Бернанке отказывался понижать ставки аж до сентября 2007 года, 3 месяца до официального начала рецессии. А как насчёт Long-Term Capital Management хедж фонд, который обанкротился в конце 1990-х годов и был спасен байл-аутом от банков и правительства? В главе этого фонда было два нобелевских лаурята Scholes и Merton. Шоулз, как вы наверно знаете, является одним из авторов финансовой модели Блэка — Шоулза (модели ценообразования опционов), за которую он и получил свою нобелевскую премию. Почему то богатые инвесторы (а таковые были члены LTCM) либо хорошо зарабатывают либо теряют деньги но всегда получают их назад, от государства в крайнем случае, а остальные инвесторы теряют деньги на бирже и всё, никто их не байл оут.

 

https://en.wikipedia.org/wiki/Long-Term_Capital_Management 

Long-Term Capital Management - Wikipedia, the free encyclopedia
Long-Term Capital Management - Wikipedia, the free encyclopedia
  • en.wikipedia.org
Long-Term Capital Management Industry Founded Founder Defunct Headquarters Products LTCM Partners John W. Meriwether headed Salomon Brothers' bond arbitrage desk until he resigned in 1991 amid a trading scandal.4 According to Chi-Fu Huang, later a Principal at LTCM, the bond arbitrage group was responsible for 80-100% of...
 

Скажу честно сам не читал , а кто-нибудь читал Дидье Сорнетто ???

 
https://www.mql5.com/ru/articles/34
MQL5: Анализ и обработка отчетов Commodity Futures Trading Commission (CFTC) в MetaTrader 5
MQL5: Анализ и обработка отчетов Commodity Futures Trading Commission (CFTC) в MetaTrader 5
  • 2010.03.17
  • Aleksey Sergan
  • www.mql5.com
В данной статье представлен пример решения задачи по разработке инструмента трейдера для получения и анализа различных показателей отчетов CFTC. Концепция, в которой реализован инструмент, заключается в следующем: разработать один индикатор, который позволял бы получать показатели отчетов непосредственно из файлов данных, предоставляемых комиссией без промежуточных обработок и преобразований.
 

Изложу свой опыт по преобразованию входных данных. Существует несколько способов преобразования данных, изложенных в статьях по моделированию экономики:

1. Разница: x[i] - x[i-1]. Применима если вход x[] имеет постоянную дисперсию. У меня примерно 2 тысяч предсказателей с историей от 1960 года. Чтобы узнать как их дисперсия изменяется по времени, я расчитал разницу x[i] - x[i-1], потом возвёл её в квадрат, потом усреднил используя фильтр Ходрика-Прескота с лямбдой 1е7, потом взял корень чтобые узнать дисперсию как функцию времени. Потом рзаделил дисперсию в конце инстории (Q4 2015) на дисперсию в начале истории (Q1 1960) для каждого входного ряда и построил гистограму:

 

Много входов имеет более менее постоянную дисперсию (отношение дисперсий в начале и конце истории около 1). Но также очень много входов с отношением дисперсии 3 и больше. Дисперсия GDP увеличивается примерно в 4 раза с 1960 года по сегодня. Так как нельзя построить модель GDP со входами у которых дисперсия не меняется, преобразование входов разницей недостаточно.

2. Моментум: x[i]/x[i-1] - 1 или log(x[i]/x[i-1]). Автоматически нормализует входы с разной дисперсией, но работает только если все данные положительны. Формулу x[i]/x[i-1] - 1 = (x[i] - x[i-1])/x[i-1] можно рассматривать как вычисление роста в %, т.е. x[i] - x[i-1] как процент от x[i-1]. При нулевом x[i-1] эта формула не имеет смысла и даёт бесконечное значение. При отрицательном x[i-1] эта формула тоже не имеет смысла. Примерно 15% экономических показателей имеют как положиетльные так и отрицательные значения. Можно попробовать использовать моментум для положительных рядов и разницу для для рядов с отрицательными значениями в надежде что ряды с отрицательными значениями имеет примерно постоянную дисперсию. Но к сожалению есть экономические показатели у которых есть положительные и отрицательные значения и дисперсия сильно растёт по времени. Например:

 

 

3. Разница нормализованная дисперсией: (x[i] - x[i-1])/StdDev[i]. По моему опыту это самое лучшее и универсальное преобразование пригодное для всех видов данных. Тут две серъёзнае проблемы: (1) как правильно расчитать дисперсию StdDev зависящую от времени, и (2) как преобразовать предсказание обратно к исходному виду ряда если будущая дисперсия неизвестна. 

 

Я бы поделил всю современную экономическую математику на две части:

  • для анализа прошлого
  • для предсказания будущего 

Казалось бы деление неправильное, так как невозможно предсказать будущее не проанализировав прошлое.

Однако, на практике, я столкнулся с тем, что это не так. Грань существует и принципиальная.

1. Есть анализ сам по себе. Анализируем безработицу и ищем факторы влиявшие на нее в прошлом.

2. А есть другой анализ. Изначально пытаемся предсказать безработицу и ищем факторы, которые влияли на эту безработицу в будущем. 

В первом случае при желании предсказать будущее мы экстраполируем результаты своего анализ. И здесь мы сталкиваемся с ситуацией, когда отличия экстраполированной величины от текущей укладываются в доверительный интервал, т.е наилучшим прогнозом на основе экстраполяции является ее ткущее значение!

Во втором случае нас предыдущее значение не интересует. Мы на основе исторических данных вычисляем новое, будущее значение (тенденцию), а не продолжаем прошлое в будущее. В этом случае при поступлении новых данных модель на основе знаний прошлых ситуаций, которые не обязательно являются предыдущей, а были в прошлом, делает прогноз.

Т.е. следует жестко отличать экстраполяцию от прогноза. 

Казалось бы едва ли уловимые отличия влекут очень серьезные следствия.

1. Сама целевая переменная. Как оказывается это далеко не праздный вопрос. И без тщательного анализа свойств целевой переменной не обойтись, особенно имея ввиду п.2.

2. Отбор предикторов, которые имеют отношение к этой целевой переменной. Отбор таких предикторов, которые имеют предсказательный потенциал именно для целевой переменной для ее свойств. Например, целевая переменная: рост-падение. Нам необходимы предикторы, которые имеют отношение к росту-падению целевой переменной, но не интересны предикторы, которые предсказывают величину целевой переменной.

 

ПС.

Из опыта. При таком подходе при предсказании номинальных переменных я не обнаружил влияния на предсказательную способность предикторов их предварительная обработка, как описано выше, да и более радикальными способами, например, преобразование в набор главных компонент (РСА или другие), которые обладают удивительными для нас свойствами, а толку никакого.