Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1713

 
mytarmailS:

Когда ученые хотят разобраться в каком то сложном процессе они пытаются разложить этот процесс  на более простые компоненты и анализировать их, для этого был создан спектральный анализ. Попробуем поиграться в ученых) хоть и не очень удачных. Я придумал как можно разложить цену на более простые компоненты. Мое разложение не обладает аддитивностью , и это плохо, но все равно интересно взглянуть на цену под другим углом .

итак, нам нужны цены закрытия и волатильность (хай - лов)

превращаем цену в условно говоря бинарный вид, если приращение цены выше предыдущего то "1" если ниже то "-1"

код на R

получаем бинарную цену

можно сделать ее кумулятивной и сравнить с ценой

Не очень то и похоже) А теперь добавим волатильность в наш ряд

Уже лучше...

Идеи..

ИДЕЯ 1

Итак получается что почти всю "погоду" делает "внутри свечная"  волатильность  , а не  "бинарное" направление цены. Фишка в том что волатильность имеет выраженную сезонность и прогнозировать ее относительно не сложно, осталось только прогнозировать бинарную цену, которая проще по структуре чем обычная цена, а потом просто сложить прогнозы и получим полноценный прогноз...


ИДЕЯ 2

Все алгоритмы МО плохо обучаются на сырых ценах, даже нормальзированых потому что нету повторяемости в рядах , возможно как раз из за волатильности которая постоянно разная, что если разложить цену  на бинарную и волатильность, и нормализировать именно волатильность и сложить их обратно, или не слажывать а так скормить МО , в теории мы должны получить лучшую обобщающую способность так как повторяемость повыситься 


ИДЕЯ 3

С помощью разложения можно сгладить цены не теряя в задержке. Можно разложить цену и интерполировать(растянуть) отдельно волатильность и цену а потом сложить обратно


ИДЕЯ 4

Разложить цены и кластеризировать волатильность , те уменьшыть ей степени свободы сделать например 10 кластеров (состояний) , то есть как бы стандартизировать, и такую стандартизированую волатильность вложить обратно

Предложение разбить сложный процесс на состовляющие очень разумно. Так и надо действовать. Только, состовляющих у Вас почему то, очень мало. Есть еще множество рыночных параметров, в том числе производных, которые можно добавить в исследование. У Вас же мощный инструмент - МО! Почему не попробывать построить целостную, логичную параметрическую систему, в которой статистически искать закономерности с помощью МО?

Расширьте набор параметров в исследовании, предварительно организовав их связями и зависимостями, силу которых проверите статистически.

Если оставите 2-3 параметра, польза от исследования сведется на нет, потому что случайность процесса для нас, обратно пропорциональна количеству известных параметров и их связей. Чем их больше, тем меньше мы видим в процессе случайности. Поэтому, наращивайте систему и добавляйте параметры.
 
Реter Konow:
Предложение разбить сложный процесс на состовляющие очень разумно. Так и надо действовать. Только, состовляющих у Вас почему то, очень мало. Есть еще множество рыночных параметров, в том числе производных, которые можно добавить в исследование. У Вас же мощный инструмент - МО! Почему не попробывать построить целостную, логичную параметрическую систему, в которой статистически искать закономерности с помощью МО?

Расширьте набор параметров в исследовании, предварительно организовав их связями и зависимостями, силу которых проверите статистически.

Если оставите 2-3 параметра, польза от исследования сведется на нет, потому что случайность процесса для нас, обратно пропорциональна количеству известных параметров и их связей. Чем их больше, тем меньше мы видим в процессе случайности. Поэтому, наращивайте систему и добавляйте параметры.

изначально у нас 3 параметра тикового ряда, бид аск, время тика. Все остальные параметры производные от этих трех. Прореживание, усреднения. И из много.

 
Valeriy Yastremskiy:

изначально у нас 3 параметра тикового ряда, бид аск, время тика. Все остальные параметры производные от этих трех. Прореживание, усреднения. И из много.

Бид, аск, ласт, обьемы спроса и предложения на уровнях, ОИ, сезонность, время сессии, и еще много других и производных... можно включить фундаментальные параметры, как время выхода новостей, значимость новости, процентная ставка, поведение параллельных пар в тот же момент... если уж использовать МО, то на полную катушку. Как в песне "учили меня, отец мой и мать... исследовать, так исследовать!".)))

Нужно построить систему из большого набора рыночных параметров и статически выявить их взаимосвязи. Далее, на этой основе вывести "псевдо-зависимости" (зависимости, работающие с высокой долей вероятности), которые послужат нам "закономерностями" для ТС.
 
Реter Konow:
Бид, аск, ласт, обьемы спроса и предложения на уровнях, ОИ, сезонность, время сессии, и еще много других и производных... можно включить фундаментальные параметры, как время выхода новостей, значимость новости, процентная ставка, поведение параллельных пар в тот же момент... если уж использовать МО, то на полную катушку. Как в песне "учили меня, отец мой и мать... исследовать, так исследовать!".)))

фундаментальные внешние параметры здесь не рассматривались, пока задача их оцифровки не решена, кроме как важности новостей, что сверхмало, представление других свойств и параметров рынка на сегодня не видел, видимо где то есть в разработке, но в пользовании их нет. Из новостей на эту тему. ИИ будет учитывать разведданные по состоянию страны противника и отрабатывать тактику действий. Задача оцифровки данных состояния общества, рынка, страны, это другая задача.

 
Evgeny Dyuka:
Нам просто интересно решать интересную задачу, особенно когда она начинает решаться.
как Вы определяете то, что задача начинает решаться?
 
Valeriy Yastremskiy:

фундаментальные внешние параметры здесь не рассматривались, пока задача их оцифровки не решена, кроме как важности новостей, что сверхмало, представление других свойств и параметров рынка на сегодня не видел, видимо где то есть в разработке, но в пользовании их нет. Из новостей на эту тему. ИИ будет учитывать разведданные по состоянию страны противника и отрабатывать тактику действий. Задача оцифровки данных состояния общества, рынка, страны, это другая задача.

Даже без оцифровки фунд.данных, кроме цены есть обьемы, открытый интерес, уровни цены и о обьемов, временнЫе параметры - сессия, сезон, и т.д... Новости, вроде, уже оцифрованы... 

То есть, меню рыночных параметров гораздо богаче, чем здесь обсуждется и используется, и потенциал МО не реализуется в исследованиях в полной мере. 

Я бы собрал доступные параметры в условную систему, организовал поток их значений в алгоритм МО, который бы подсчитывал коффициенты "перекрестных" зависимостей опираясь на статистическую базу данных, которая пополнялась и обновлялась в реальном времени.
 
Renat Akhtyamov:
как Вы определяете то, что задача начинает решаться?
Просто нейросеть работает на реальном рынке в роли индикатора и хорошо предсказывает движение актива. Плюс еще одна экпериментальная пробует давать точки входа. Вот четыре последних сигнала за последние 10 часов, все сигналы идут публично.

 
Задача исследования в нахождении устойчивых зависимостей в динамике значений рыночных параметров. Чем больше параметров, тем лучше, ведь у НС будет вариативность в противопоставлении одного с другим, что повысит вероятность нахождения закономерности.
 
Реter Konow:
Даже без оцифровки фунд.данных, кроме цены есть обьемы, открытый интерес, уровни цены и о обьемов, временнЫе параметры - сессия, сезон, и т.д... Новости, вроде, уже оцифрованы... 

То есть, меню рыночных параметров гораздо богаче, чем здесь обсуждется и используется, и потенциал МО не реализуется в исследованиях в полной мере. 

Я бы собрал доступные параметры в условную систему, организовал поток их значений в алгоритм МО, который подсчитывал коффициенты "перекрестных" зависимостей опираясь на статистическую базу данных.

Попробуйте систематизировать оцифровать и сделать логику учета этих данных. У меня сходу не получается) Из того что есть в цифрах, биржевые индексы, валовый доход, ставка ЦБ в стране, прогнозные валовые цифры, оценки агенств, кредитные рейтинги, отраслевые цифры, оборот торговли между странами... И как это использовать?  Технический анализ это отдельная песня... от фундаментального. 

 
Evgeny Dyuka:

прикольно, повникаю...

А так делают уже ученые ....

Разбиение ряда методом главных  компонент  ( PCA ) 

котировки в скользящем окне размером 10

компонент получилось 8 штук

 алгоритм сам сортирует компоненты на медленно изменяющиеся и быстро изменяющиеся , на те которые вносят существенный вклад и слабые и сортирует их 

Сильное свойство разложения (любого фурье , вейвлетов , pca)  это аддитивность 

то есть   если я сложу все компоненты вместе pc1+pc2+...+pc8 то получу обратно ту же цену,  это  свойство и называется аддитивнстью

А теперь подумайте, если бы мы вместо компонент использовали например те же индикаторы, а потом сложили их вместе, что мы получим? вот именно то что получаем на выходе нейронки когда обучаем ее на стохастике)

Индикаторы уже можно использовать поверх компонент, только представьте сколько фичей можно генерировать и таким разложением

Можно фильтровать данные, находить и выдергивать лишние(плохие компоненты)

Можно изменять какие то компоненты и положить их обратно или наоборот оставлять только их

Можно ускорять какие то компоненты или замедлять их, или изменять амплитуду

Можно анализировать каждую компоненту относительно другой , или их двойки-тройки

Можно прогнозировать компоненты отдельно складывать  в общий прогноз (они же аддитивны)

Можно прогнозировать одни компоненты по другим

Можно...

Можно..

Можно..

Можно..

Можно..

Что и делают ученые когда в чем то хотят разобраться