Обсуждение статьи "Брутфорс подход к поиску закономерностей"

 

Опубликована статья Брутфорс подход к поиску закономерностей:

В данной статье мы будем искать закономерности на рынке, создавать советников на их основе и проверять, как долго эти закономерности сохраняют работоспособность и вообще, сохраняют ли они ее.

Вообще по сути, нейросеть — это тоже своего рода брутфорс. Просто ее алгоритмы сильно отличаются от алгоритмов простого брутфорса. Я сейчас не буду рассматривать какие-то отдельные архитектуры нейросетей и виды ее составных элементов типа перцептрона, а постараюсь осветить вопрос в общем. Вообще, если мы привязываемся к некой архитектуре, то мы заранее уже ограничиваем возможности нашего алгоритма. А фиксированная архитектура — это уже непоправимое ограничение. Нейросеть это некая архитектура возможной стратегии в нашем случае. В итоге конфигурации некой нейросети всегда соответствует некий файл с картой сети. По сути, это всегда указания на сборку некой единицы. Это как 3D принтер. Задай параметры детали и он тебе ее соберет. Если проще, то нейросеть это общий код, который не имеет смысла без карты. Это как если взять любой язык программирования, все его возможности, и просто создать пустой проект. В итоге язык есть, но шаблон пустой и, следовательно, он ничего не делает. Так и здесь. Просто в отличие от брутфорса, нейросеть может дать практически неограниченую вариативность наших стратегий, любое количество критериев и более высокую эффективность. Единственный минус такого подхода в том, что если вы небрежно составите этот общий код, то его эффективность может даже в итоге уступить брутфорсу. Возрастает возможная сложность системы, значит — возрастает прожорливость программы. В итоге мы превращаем нашу стратегию в карту сети, которая является ее эквивалентом. В брутфорс подходе мы делаем то же самое, только превращается это все в простую последовательность каких-то чисел. Эта последовательность намного проще карты сети, вычисляется проще, но и имеет свой потолок в плане эффективности. Схематично изображу сказанное ниже.


Автор: Evgeniy Ilin

 
Интересные мысли! Вот только хотелось бы заметить, что последовательность выбрана не правильно, как мне кажется, квантованные смещения не отражают геометрию движения, а восстановление вы не занимаетесь в итоге с точки зрения теории вероятности на бесконечной выборке вы получите бесконечное число последовательностей размеров баров, которые иногда дают результаты. Но таким образом нельзя выделить фигуры (закономерности)... т.е. можно, но потребуется операция восстановления.
Попробуйте провернуть свои задумки с чистыми ценами ну или нормированными относительно среднего с большим периодом (для исключения смещения коэффициентов из-за присутствия постоянной составляющей) главное при работе советника это нормирование тоже использовать.
А ряды Фурье вы зря кинули в топку, на заре своей юности проходил я такую весчь - кепстральный анализ, так вот он позволяет получить коэффициенты подобия для одинаковых по форме сигналов отличающихся и амплитудой и периодом, что самое интересное при хорошем подходе анализ такой был реализован на СЦВМ планета3 (чуть ли не ламповый компьютер) в реальном времени.
 
Интересные идеи и подход грамотный.
Такое ощущение, что чего-то не хватает, чтобы ваш код начал зарабатывать...
 
Aleksandr Martynov:
Интересные мысли! Вот только хотелось бы заметить, что последовательность выбрана не правильно, как мне кажется, квантованные смещения не отражают геометрию движения, а восстановление вы не занимаетесь в итоге с точки зрения теории вероятности на бесконечной выборке вы получите бесконечное число последовательностей размеров баров, которые иногда дают результаты. Но таким образом нельзя выделить фигуры (закономерности)... т.е. можно, но потребуется операция восстановления.
Попробуйте провернуть свои задумки с чистыми ценами ну или нормированными относительно среднего с большим периодом (для исключения смещения коэффициентов из-за присутствия постоянной составляющей) главное при работе советника это нормирование тоже использовать.
А ряды Фурье вы зря кинули в топку, на заре своей юности проходил я такую весчь - кепстральный анализ, так вот он позволяет получить коэффициенты подобия для одинаковых по форме сигналов отличающихся и амплитудой и периодом, что самое интересное при хорошем подходе анализ такой был реализован на СЦВМ планета3 (чуть ли не ламповый компьютер) в реальном времени.

Ряды фурье может быть и попробую в будущем, на самом деле закономерности еще как выделяются, просто не везде и на разных периодах по разному. Тут я просто пытался приблизительно проанализировать как долго они работают. На самом деле в рамках одной статьи такой более глубокий и разносторонний анализ невозможен. На вычисления нужны мощности да и времени вагон. Да и программа не финальной версии, добавлять буду функционал еще. Пока поверхностно. Насчет смещений баров , там можно и High и Low значения в ряд добавить, и среднюю цену ,я думал об этом, может сделаю модификацию в скором времени. Но мне кажется там не сильно лучше будет. Результат больше зависит от степени свободы формулы. Да и я бы не надеялся что там получится что-то сверх крутое. Конечная цель просто чтобы с увеличением времени одного анализа его качество становилось выше, с этой задачей система справляется. И по всей истории даже находит закономерности. Просто я это не показывал )

 
Ivan Zaidenberg:
Интересные идеи и подход грамотный.
Такое ощущение, что чего-то не хватает, чтобы ваш код начал зарабатывать...

Код этот может зарабатывать, просто нужны тесты на демо хотябы ,на разных периодах, с инвертом , без инверта. Время сильно ограничено пока. Да и вообще зарабатывать лучше где угодно но не на форексе ))) брокер да зарабатывает )).

 

1) Напоминает МГУА Ивахненко 

2) Идея, что любая последовательность чисел задаётся некоторым алгоритмом не верна. Из теории алгоритмов известно, что почти все последовательности не имеют алгоритма. Соответственно, любой сколь угодно сложный и навороченный алгоритм будет рано или поздно приводить к ошибкам. Посему, "взрослая" финансовая математика использует в основном вероятностные модели.

 
Aleksey Nikolayev:

1) Напоминает МГУА Ивахненко 

2) Идея, что любая последовательность чисел задаётся некоторым алгоритмом не верна. Из теории алгоритмов известно, что почти все последовательности не имеют алгоритма. Соответственно, любой сколь угодно сложный и навороченный алгоритм будет рано или поздно приводить к ошибкам. Посему, "взрослая" финансовая математика использует в основном вероятностные модели.

эксплуатируется идея что конкретная имеющаяся последовательность может быть описана некоей формулой из заранее известного семейства и далее следует брутфорс..

та-же "оптимизация оптимизатором" вид сбоку :-) 

 
Evgeniy Ilin:

Ряды фурье может быть и попробую в будущем, на самом деле закономерности еще как выделяются, просто не везде и на разных периодах по разному. Тут я просто пытался приблизительно проанализировать как долго они работают. На самом деле в рамках одной статьи такой более глубокий и разносторонний анализ невозможен. На вычисления нужны мощности да и времени вагон. Да и программа не финальной версии, добавлять буду функционал еще. Пока поверхностно. Насчет смещений баров , там можно и High и Low значения в ряд добавить, и среднюю цену ,я думал об этом, может сделаю модификацию в скором времени. Но мне кажется там не сильно лучше будет. Результат больше зависит от степени свободы формулы. Да и я бы не надеялся что там получится что-то сверх крутое. Конечная цель просто чтобы с увеличением времени одного анализа его качество становилось выше, с этой задачей система справляется. И по всей истории даже находит закономерности. Просто я это не показывал )

Я не буду с Вами спорить, мое первичное высшее образование привязано по сути к обработке последовательных данных (не могу раскрывать всех тонкостей - сейчас за этим следят), а поэтому, я Вам просто посоветовал уйти от Вашей стратегии подобрать комбинацию "тройка - семерка - туз" и обратиться к фигурам, которые имеют место работать всегда (по крайней мере с более высокой вероятностью), у них присутствует только 2 общих недостатка с Вашим методом - плавающий диапазон цены и периода формирования сигнала. Даже в вашем подходе по сути необходимо всего-то подгонять рабочий ТФ и волатильность под расчитанные частые модели рынка (фигуры) - и грааль в кармане. И для этого подойдет ваш метод, раз он такой быстрый, то пересчитывайте вашу формулу скажем на 5 последовательных ТФ (например 1, 2, 3, 4, 5 минут) и скажем 3 диапазонах волатильности (нормируйте волатильность через простые коэффициенты 1, 0.8, 0.5) и если в каком-то варианте у вас будет максимум функции, значит в данный момент на рынке установилось такое соотношение периода и волатильности. Увы это опять же не гарантирует, что данное соотношение продержится хотя бы еще один расчетный период. А по сему я рекомендовал обратить внимание на кепстральный анализ, там Вам потребуется определить только 1 параметр - порог соответствия эталонной модели, а ну и максимальную длину формирования этой модели в барах... Ну а моделей теоретики технического анализа нарисовали тьму.

 
Maxim Kuznetsov:

эксплуатируется идея что конкретная имеющаяся последовательность может быть описана некоей формулой из заранее известного семейства и далее следует брутфорс..

Ну да, только эта идея дополнятся идеей, что неизбежные ошибки этой формулы могут быть учтены другой формулой. Но неизбежно опять появятся ошибки, которые попытаемся учесть третьей формулой - и так до бесконечности.

При вероятностном подходе (регрессия, например) предполагается, что ошибка неизбежна, но она "хорошо" устроена (стационарный процесс).

 
Aleksey Nikolayev:

Ну да, только эта идея дополнятся идеей, что неизбежные ошибки этой формулы могут быть учтены другой формулой. Но неизбежно опять появятся ошибки, которые попытаемся учесть третьей формулой - и так до бесконечности.

При вероятностном подходе (регрессия, например) предполагается, что ошибка неизбежна, но она "хорошо" устроена (стационарный процесс).

К сожалению регрессия хорошо применима к физическим процессам, т.е. к тем материям, где есть четкие закономерности или хотя-бы достаточно сильный момент инерции, в мире денех, есть только вероятность того, что цена будет двигаться в каком-то направлении - и по моим оценкам у простых трейдеров для некоторых стратегий эта вероятность очень точно совпадает с 50/50 и это вроде не проблема, только вот это на очень большом периоде, а на коротком участке 15 черных подряд и потом "Zеро" !!!

В итоге теоретически вроде бы все миллионеры, а на практике слив за сливом...

 
Maxim Kuznetsov:

эксплуатируется идея что конкретная имеющаяся последовательность может быть описана некоей формулой из заранее известного семейства и далее следует брутфорс..

та-же "оптимизация оптимизатором" вид сбоку :-) 

Да все есть оптимизация если только вы не эксплуатируете физику рынка, любую систему мы тестируем сначала но какому то одному участку а потом по другому. Я вообще оптимизацией не пользуюсь если на то пошло. Простая подгонка под участок. Тут тоже, просто идея такова что эта подгонка происходит в несколько этапов плюс куча фильтров которые сохраняют только лучшие варианты. По сути это автоматический поиск закономерностей на выбранном участке. Чем красивее вариант тем больше вероятность что это вариант а не случайность