Фрактальное сжатие

[Его Помоечное Мурлычество]

Ышшо адна вапроса к романтикам с большой дороги :) Фрактальное сжатие это весьма перспективный метод сжатия изображений(см. С.Уэлстид. "Фракталы и вейвелеты для сжатия изображений в действии" изд. Триумф. Москва 2003). Если совсем-совсем кратко и грубо, суть сводится к следующему. Картинка (пускай для простоты в градациях серого) бъется на блоки. А дальше ищется сходство между блоками различных масштабов. Ежели таковое найдено, то ясно, что мелкомасштабные детали картинки можно получить уменьшая и копируя детали более крупного масштаба. И в конце концов можно построить итеративную систему функций, сходящуюся к сжимаемой картинке. Т.е. восстановленная картинка будет представлять собой ни что иное, как фрактал (не в терминах Вильямса разумееццца :) Главный недостаток - очень большие затраты вычислительной мощности, хотя народ интенсивно думает над их снижением. Главное преимущество - очень большой коэффициент сжатия при весьма вкусном качестве. Мысля такая. А не применить ли подобные методы, только одномерные, к сжатию наших кривулек, что валяются на большой дороге ? Даст это в первую очередь более компактное представление данных. Это в настоящее время мой маленький закидон, сжать данные, чтобы как можно бОльшую историю закинуть в нейросетку. Я и о зигзаге вопрос исключительно с этим прицелом поднял. Во-вторых, сжатие это дико интересно само по себе. Ведь сжать некие данные (с приемлемой потерей качества, либо вовсе без таковой), это значит найти в данных закономерности. Может и для кривулек закономерности автоматом найдутся ? Кроме того в третьих, кривулка это фрактал (ну-ка все дружно забыли про Вильямса ! :)))))))) В самом деле, графики на всех таймфреймах, кроме минутного (т.е. от 5 минут до месяца) настолько похожи, что на первый взгляд вообще трудно понять, какой таймфрейм мы смотрим. А тут сразу вспоминается народная мудрость о клине, который клином вышибают. Вопрос такой, кто из господ спекулянтов пробовал подобные подходы ? Если никто, то как наша бандитская сходка оценивает перспективность этого направления поисков ?

[Victor Nikolaev]

Для сжатия информации можно использовать ту же нейросетку ,слой Кохонена например, задача которого и есть распознование образов.

[masharov]

Сначало нужно четко доказать, что график цен вообще обладает характеристиками, характерными для фрактальных структур. Лично мне ни чего на эту тему не встречалось. По мне так, он похож на фракталы, но не более того. Как известно, фракталы имеет самоподобие на разных масштабах. Можем ли мы, имея 100 баров H1, нарисовать 100 баров M5 или наоборот? Навряд ли.

Другой вариант. Даже зная о наличии фрактальной структуры, невозможно что-либо предсказать из-за катастрофической нелинейности процесса.

[Его Помоечное Мурлычество]

Vinin, кстати слой Кохонена и для фрактального сжатия используется. .. А в чистом виде, я боюсь оно будет слишком огрублять. Число классов меньше или равно числу нейронов. Т.е. не может быть слишком велико, иначе ты не обучишь её в ближайшую сотню лет.

ArtemRG, Ну наверно ты не будешь спорить, что кривулька с большой дороги куда более похожа на фрактал, чем какое-нибудь стандартное изображение, хотя бы Lena. Тем не менее Лену вполне успешно жмут. Где-то тут на форуме было обсуждение "фрактальной интерполяции", применяемой в тестере для моделирования тиков в баре. Из 100 баров Н1 мы разумеется никогда не сможем точно получить ни 100 баров М5, ни даже 100 баров М30. Ну на то и алгоритм с потерями. Абсолютно точного восстановления, как LZW например, он не даёт. Тем не менее картинки жмет вполне на ура, хотя и неспешно. То же и с нелинейностью. Реальному фрактальному сжатию оно не особо мешает. Значит не особо помешает и нам. До некоторых пределов естественно. Кстати просматривал матлабовский хелп и нашел там примерчик с самоподобием. Увы, потерял. Но приду домой, поищу.

[masharov]

Сжимать и предсказывать - это принципиально разные вещи. Упомянутый LZW сожмет график цены лучше фрактального метода. Но как бы вы его не расжимали, новые данные не получите. Начните опыты с LZW ;)

[Alex-Bugalter]

eugenk Вы не внимательны. Ранее открытая Вами тема:
Картинка в 5 посту сверху. Принцип По-которому расположены ZigZag.
 Индикатор зигзаг и нейронные сетки  

[Alex]

ArtemRG:

Сначало нужно четко доказать, что график цен вообще обладает характеристиками, характерными для фрактальных структур. Лично мне ни чего на эту тему не встречалось. По мне так, он похож на фракталы, но не более того. Как известно, фракталы имеет самоподобие на разных масштабах. Можем ли мы, имея 100 баров H1, нарисовать 100 баров M5 или наоборот? Навряд ли.

Другой вариант. Даже зная о наличии фрактальной структуры, невозможно что-либо предсказать из-за катастрофической нелинейности процесса.

Можно и сжимать и предсказывать и достраивать будущие цены, главное использовать "правильные" инструменты. :)

[Yurixx]

eugenk писал (а):
Ышшо адна вапроса к романтикам с большой дороги :) Мысля такая. А не применить ли подобные методы, только одномерные, к сжатию наших кривулек, что валяются на большой дороге ? Даст это в первую очередь более компактное представление данных. Это в настоящее время мой маленький закидон, сжать данные, чтобы как можно бОльшую историю закинуть в нейросетку. Я и о зигзаге вопрос исключительно с этим прицелом поднял. Во-вторых, сжатие это дико интересно само по себе. Ведь сжать некие данные (с приемлемой потерей качества, либо вовсе без таковой), это значит найти в данных закономерности. Может и для кривулек закономерности автоматом найдутся ?

Привет самому большому в мире романтику !

Это ж надо такое придумать: "закономерности автоматом найдутся". Круто, я до такого не дошел. (пока еще :-))).

А по-моему скромному заходить надо с другой стороны. Сетка может и найдет какие закономерности, но не потому, что в нее запихнули данных столько, что у нее из ушей полезло, и не потому, что она такая умная от своей искусственной природы, а потому, что создатель сетки так ее выстроил и такой намек в нее заложил где искать и в каком примерно виде, что ей ничего не остается как эти закономерности находить. И именно там, где было указано. И именно в том виде.

А потому интересно было бы обсудить вопрос не как эти данные сжимать, а какие данные, под каким соусом и в каком гарнире подавать сетке, чтобы она мелкими косточками не подавилась, но основную закономерность (хребет рынка) все же нащупала ?

[Его Помоечное Мурлычество]

Yurixx, да что-то найдёт сетка всегда, чем её не корми. Меня куда больше интересует устойчивость того, что она найдет. Ведь если время её обучения (точнее время наблюдения за рынком) равно времени существенных изменений на рынке, собранные сеткой знания не представляют собой никакой ценности. Я тут говорил как-то что полезность (т.е. способность к использованию) и ценность (т.е. способность не устаревать) знаний это совершенно разные, даже близко не лежащие штуки. Это что к машинным знаниям относится, что к человеческим. Вот и хочется, чтобы сетка извлекала более ценные знания, даже немного пожертвовав их полезностью. А для этого как мне кажется, следует подать на вход как можно более длинную историю. Даже если она будет сжата с потерями, т.е. огрублена. Вот потому и думаю о сжатии рыночных данных последнее время. Всё это разумеется целиком и полностью моё IMHO. В сетях я не ахти какой спец. Тока-тока въезжать в это дело начинаю. Так что оставляю за собой право на ошибку. Что ты думаешь по этому поводу ? Наверняка если интересуешся сетками, то задумывался о таких вопросах как устойчивость и ценность знаний.

Насчет сжатия как автоматического поиска закономерностей. Зря смеёшся. Это действительно так. Алгоритмы сжатия без потерь во всяком случае так и поступают. Сжатие с потерями несколько сложнее, но лежит вобщем то в том же направлении. Увы, напрямую рыночные данные сжимать нельзя. Нельзя например сжать тем же winrar-ом файл hst и делать из коэффициента сжатия какие-то выводы. Дело в том, что и winrar и pkzip и прочие подобные приблудины это двоичные архиваторы. Они жмут данные, рассматриваемые как последовательности битов и имеют целью получить как можно большее сжатие. Рыночные же данные не двоичны принципиально. То, что они хранятся на жестком диске ещё ни о чем не говорит. Это скорее качественные, нечеткие данные, чем количественные. И прежде чем их сжимать, надеясь выявить какие-то закономерности, либо доказать и отсутствие, их надо во что-то преобразовать. Причем так, чтобы подчеркнуть их принципиальную качественность и нечеткость. К сожалению додумать эту мысль до конца у меня не получается. То ли времени и сосредоточения не хватает, то ли просто туп я как валенок :)

P.S. Кстати. Только что пришла мысля небольшого эксперимента, на тему чем кормить. Эксперимент такой. Берем две одинаковые сетки, положим на 32 входа. Кормим обе одним и тем же, например разностями close по Н1. Но на одну подаем 32 свечки от EURUSD, а на другую по 4 свечки от 8 важнейших валютных пар. Цель - прогноз следующего приращения close по EURUSD. Ну и сравниваем результаты. Просто с одной стороны ценные знания могут быть заключены в длинных рядах, с другой - во взаимодействии валют. Что тут важнее - Аллах его знает.

[masharov]

Yurixx:

eugenk писал (а):
Ышшо адна вапроса к романтикам с большой дороги :) Мысля такая. А не применить ли подобные методы, только одномерные, к сжатию наших кривулек, что валяются на большой дороге ? Даст это в первую очередь более компактное представление данных. Это в настоящее время мой маленький закидон, сжать данные, чтобы как можно бОльшую историю закинуть в нейросетку. Я и о зигзаге вопрос исключительно с этим прицелом поднял. Во-вторых, сжатие это дико интересно само по себе. Ведь сжать некие данные (с приемлемой потерей качества, либо вовсе без таковой), это значит найти в данных закономерности. Может и для кривулек закономерности автоматом найдутся ?

Привет самому большому в мире романтику !

Это ж надо такое придумать: "закономерности автоматом найдутся". Круто, я до такого не дошел. (пока еще :-))).

А по-моему скромному заходить надо с другой стороны. Сетка может и найдет какие закономерности, но не потому, что в нее запихнули данных столько, что у нее из ушей полезло, и не потому, что она такая умная от своей искусственной природы, а потому, что создатель сетки так ее выстроил и такой намек в нее заложил где искать и в каком примерно виде, что ей ничего не остается как эти закономерности находить. И именно там, где было указано. И именно в том виде.

А потому интересно было бы обсудить вопрос не как эти данные сжимать, а какие данные, под каким соусом и в каком гарнире подавать сетке, чтобы она мелкими косточками не подавилась, но основную закономерность (хребет рынка) все же нащупала ?

Согласен с вами. Дело не в сетках, а в том, что на них подается. В сетках нет ни каких чудес. Их математика проста. Только неопытному исследователю работа сетки или других методов кластеризации может показаться чем-то таинственно волшебным :) или проявлением интеллекта машины.

Полагаю, что Better нашел удачное сочетание сигналов. Сетка у него вторична. Просто он специалист-математик и любит нейросети. Сеть всего лишь инструмент. Без светлой головы исследователя она работать не будет. Я бы, например, предпочел бы кластерный анализ, как более понятный для меня и не менее эффективный.

Даже полагаю, что советник Better можно было сделать вообще не на основе сети. Главное - это сигналы и стратегия.

[Его Помоечное Мурлычество]

ArtemRG, по-моему главное даже не сигналы. А переучивание на ходу. Сети ничем не отличаются от оптимизированных экспертах. Точнее отличаются тем, что если эксперт создается на некоей идее, то сеть безыдейна полностью. Есть у нее веса, и в этом вся стратегия. Положим однажды сеть начала сливать. Что делать в этом случае ? Переучивать или переждать ? Вот это мне кажется одним из важнейших вопросов.