Что подать на вход нейросети? Ваши идеи... - страница 39
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Вот так и заспамниваются ветки....
Я не против
У вас конструктивно
Учитывая, что у меня скальпер работает с частотой выборки ask/bid 1 Гц, для меня торговля на месячных барах кажется психическим отклонением. Без малейшего троллинга.
помятуя всякий DSP: в местной песочнице, у тиков частота 3-5 Гц ... крайне неприятная для выборки в 1.
... колько десятков* плотных строк кода....Почему выход нейросети - это только BUY и SELL? Ну, допустим ещё HOLD.
Ведь тот же SoftMax может нам выбирать... да что угодно, нет же никаких ограничений для полёта фантазии.
Например, берём 2 стратегии, разные. Одна флетовая, другая трендовая. Пихаем на вход как обычно - что и пихали ранее. На выходе - решается какая стратегия сейчас будет торговать (или мониторить свои сигналы).
И вот софтмакс показывает на флетовую стратегию: флетовая стратегия по своим готовым формализованным правилам проверяет наличие сигнала, TP, SL и так далее.
Потом снова: анализ входных данных. НС решает, что сейчас график лучше подходит под трендовую - и передаёт ей управление.
UPD
Сварганю что-то простенькое. Если будет что-то интересное - выложу.
Я вот тут подумал
Почему выход нейросети - это только BUY и SELL? Ну, допустим ещё HOLD.
Ведь тот же SoftMax может нам выбирать... да что угодно, нет же никаких ограничений для полёта фантазии.
Например, берём 2 стратегии, разные. Одна флетовая, другая трендовая. Пихаем на вход как обычно - что и пихали ранее. На выходе - решается какая стратегия сейчас будет торговать (или мониторить свои сигналы).
И вот софтмакс показывает на флетовую стратегию: флетовая стратегия по своим готовым формализованным правилам проверяет наличие сигнала, TP, SL и так далее.
Потом снова: анализ входных данных. НС решает, что сейчас график лучше подходит под трендовую - и передаёт ей управление.
UPD
Сварганю что-то простенькое. Если будет что-то интересное - выложу.
можно выходы распределить на откат (лимитки) и пробой (стоповые), но как правило сеть слишком... ну как бы сказать, мало мозгов короче. либо добавлять нейронов до того состояния, когда получится GPT, либо наоборот, упрощать варианты возможных действий сети. первый вариант был мной озвучен ещё несколько лет назад, но закидан помидорами в ветке МО, хотя те же самые люди, что были противниками увеличения количества нейронов, теперь даже пробуют осваивать LLM применительно к рынкам.
короче, нужно пробовать и не слушать никого. меня слушать можно (отсылка к знаменитой фразе 😊)
можно выходы распределить на откат (лимитки) и пробой (стоповые), но как правило сеть слишком... ну как бы сказать, мало мозгов короче. либо добавлять нейронов до того состояния, когда получится GPT, либо наоборот, упрощать варианты возможных действий сети. первый вариант был мной озвучен ещё несколько лет назад, но закидан помидорами в ветке МО, хотя те же самые люди, что были противниками увеличения количества нейронов, теперь даже пробуют осваивать LLM применительно к рынкам.
короче, нужно пробовать и не слушать никого. меня слушать можно (отсылка к знаменитой фразе 😊)
Благодарю за идею.
Лимитка и стоп - это по сути разные направления. В какой-то одной стратегии, либо также из двух: где она торгует лучшую цену, вторая на пробой.
первый вариант был мной озвучен ещё несколько лет назад, но закидан помидорами в ветке МО, хотя те же самые люди, что были противниками увеличения количества нейронов, теперь даже пробуют осваивать LLM применительно к рынкам.
Ну молодцы. Флаг им в руки и возможно они поделятся с нами граалем, когда чат им напишет его.
Мне же он упорно не хочет рисовать грааль
1. А мне показалось, что Вы сделали отсылку на ветку МО, так как мнение об обозреваемых в ваших статьях алгоритмах у некоторых участников было критичным. Я просто решил пояснить, как я понял, в чём предметно причина разногласий по существу, на мой взгляд. Тему личностей поднимать нехочу.
2. Что искать я знаю - статистически устойчивые зависимости на квантовых отрезках предикторов, а вот какие признаки об этом говорят - пока не знаю. При построении модели надо иметь высокую вероятность сделать правильный шаг на новой итерации - всего то :)
3. ...
4. Всё же, Вы не поняли о чём я. Если упростить, то представьте, что Вы можете при итеративном подходе, согласно алгоритму оптимизации, принудительно проверить все исходы вариантов из которых нужно сделать выбор и такой выбор будет приближать модель к конкретной цели на всех доступных выборках. И, вот в кармане такая модель (или коэффициенты - как угодно назвать можно), которая хороша на имеющихся данных, но это не обязательно лучший вариант. Т.е. алгоритм при выборе шага для решения на итерации подсматривал, что будет с ФФ на итоговых данных. Так я и говорю, что когда Вы не подсматриваете, то случайно можете получить хороший результат, который зависел от случайных шагов. Речь о рыночных данных. И результат может стать плохим, если подать новые данные. В общем, я о том, что понять случайно получилась хорошая модель, или благодаря алгоритму не так просто на нерепрезентативной подвыборке.
5. Значит использование так же, как и штатный оптимизатор с его генетикой и стандартными ФФ. При этом допустимость тут отсылка на вероятность получения устойчивой модели (настроек) на новых данных. Так то понятно, что будет искаться и находится...
6. Кстати, делали оценку, как алгоритмы справляются с категориальными признаками?
7. Многие алгоритмы используют рандомизацию для вариативности, разве Вам такие вне рамок МО не попадались? Хотите повторяемость результата - зафиксируйте seed.
Надо сравнивать не одну модель, а хотя бы сотню - по каким то описательным стат. критериям. Как раз вероятность выбора правильных настроек (модели) можете оценить на новых данных...
8. Градиентный спуск применяется как эффективный метод по использованию вычислительных ресурсов. Есть там методы посложней и потяжелей, как то лектор упоминал в одном видео, но я не запомнил, только вот обоснование уяснил.
1. Разногласия, как мне видится, в том, что противники алгоритмов оптимизации отрицают применимость оных на рыночных данных, хотя активно не замечают (или делают вид, что не замечают), что АО в том или ином виде присутсвуют в составе тех же нейросетей и других инструментах МО.
2. Какой степени устойчивости требуется добится? Чуть чуть, или немного побольше? Требуется добится маскимально возможной устойчивости на новых данных, это и есть фитнес-функция, которую требуется максимизировать.
3. ...
4. Алгоритм оптимизации - это не единственный компонент процесса оптимизации (почему-то все забывают об этом). Сам по себе АО можно сравнить с бензином для автомобиля, которому совершенно всё равно, куда едет автомобиль, если бензин плохой, то автомобиль может совсем не ехать, а чем лучше бензин, тем быстрее может ехать автомобиль (т.е. быстрее достичь цели). Я уже несколько раз приводил пример для понимая роли АО в процессе оптимизации, приводил схему. Напомню ещё раз, представим, что есть возможность сделать полный перебор параметров (будь то простая ТС или же с использованием МО-методов) и получить значение фитнес-функции этих параметров, то как видим, алгоритм оптимизации совсем не участвует в этом примере, но по прежнему присутствует необходимость выбора из всех параметров полного перебора. Видно, что АО выступает всегда как ускоритель достижения результата, сам он не принимает участия в правильности выбора результата (фитнес-функция лишь внешний параметр для АО). В правильности выбора результата (под правильностью можно понимать что угодно, в том числе и в плане способности успешно работать ТС на новых данных) участвует исключительно фитнес-функция. Поэтому, в контексте разговора робастности или способности системы работать успешно на новых данных нужно смотреть не на АО, а на фитнес-функцию, из чего она состоит и всего, что предшествует выполнению фитнес-функции (выполнению оценки решения).
5. См. предыдущие пункты.
6. Нахожусь в процессе изучения этой темы. На проверке в данный момент статья на эту тему. Думаю продолжать раскрывать её (тему).
7. Рандомизируют начальное состояние параметров системы не для того, чтобы получать рандомные результаты на выходе, а для того, чтобы как раз охватить как можно большую возможную область возможных вариантов параметров. На выходе должен получится не рандомный, а вполне определенный результат (в плане робастности - максимум фитнес-функции, описывающей в себе и показатель робастности). Здесь удобно использовать метод пределов, первая итерация - случайные параметры, последняя итерация - требуемые параметры. Между ними область значений фитнес-функции, нахождение в которой показывает эффективность алгоритма оптимизации, чем правее к случайному результат, тем хуже АО, соответственно, чем левее, ближе к требуемому максимуму оптимального результата (повторю, оптимальный результат, удовлетворяющей масимально возможной робастности системы), тем АО эффективнее. Если нейронная сеть показывает разные результаты, причем с большим разбросом, то это означает, что алгоритм, применяемый в составе нейронной сети, тупо где-то застрял в локальном экстремуме на фитнес-функции (использовалась функция потерь).
8. Лектор наверное рассказал, что алгоритмы, часто используемые для обучения сетей, элементарно застревают? - наверное нет, но зато он делал, полагаю, акцент на том, что они очень быстрые. Да, они быстрые, поскольку не имеют популяции и соответственно кратно уменьшают количество необходимых запусков прогона на обучающих данных, но для этого они и проектировались - чтобы быть быстрыми, но при этом пострадала сходимость (ничего не бывает в этом мире бесплатным).
Алексей, надеюсь Вы посмотрите теперь на поднятую тему немного под другим углом, отличным от принятого в ветке МО, да и вообще, много где принятым. МОшинисты очень похожи на верующих, принимающих многие вещи на веру (это и не плохо и не хорошо, просто иногда мешает смотреть на многие вещи с точки зрения логики), или подобны фанатичным алхимикам, комбинирующими методы МО в надежде получить философский камень - работающую на OOS МО-систему. Я не противник МО, но всегда стараюсь разбирать всё по полочкам, чтобы понимать влияние каждого винтика в машине на результат.
1. Разногласия, как мне видится, в том, что противники алгоритмов оптимизации отрицают применимость оных на рыночных данных, хотя активно не замечают (или делают вид, что не замечают), что АО в том или ином виде присутсвуют в составе тех же нейросетей и других инструментах МО.
2. Какой степени устойчивости требуется добится? Чуть чуть, или немного побольше? Требуется добится маскимально возможной устойчивости на новых данных, это и есть фитнес-функция, которую требуется максимизировать.
3. ...
4. Алгоритм оптимизации - это не единственный компонент процесса оптимизации (почему-то все забывают об этом). Сам по себе АО можно сравнить с бензином для автомобиля, которому совершенно всё равно, куда едет автомобиль, если бензин плохой, то автомобиль может совсем не ехать, а чем лучше бензин, тем быстрее может ехать автомобиль (т.е. быстрее достичь цели). Я уже несколько раз приводил пример для понимая роли АО в процессе оптимизации, приводил схему. Напомню ещё раз, представим, что есть возможность сделать полный перебор параметров (будь то простая ТС или же с использованием МО-методов) и получить значение фитнес-функции этих параметров, то как видим, алгоритм оптимизации совсем не участвует в этом примере, но по прежнему присутствует необходимость выбора из всех параметров полного перебора. Видно, что АО выступает всегда как ускоритель достижения результата, сам он не принимает участия в правильности выбора результата (фитнес-функция лишь внешний параметр для АО). В правильности выбора результата (под правильностью можно понимать что угодно, в том числе и в плане способности успешно работать ТС на новых данных) участвует исключительно фитнес-функция. Поэтому, в контексте разговора робастности или способности системы работать успешно на новых данных нужно смотреть не на АО, а на фитнес-функцию, из чего она состоит и всего, что предшествует выполнению фитнес-функции (выполнению оценки решения).
5. См. предыдущие пункты.
6. Нахожусь в процессе изучения этой темы. На проверке в данный момент статья на эту тему. Думаю продолжать раскрывать её (тему).
7. Рандомизируют начальное состояние параметров системы не для того, чтобы получать рандомные результаты на выходе, а для того, чтобы как раз охватить как можно большую возможную область возможных вариантов параметров. На выходе должен получится не рандомный, а вполне определенный результат (в плане робастности - максимум фитнес-функции, описывающей в себе и показатель робастности). Здесь удобно использовать метод пределов, первая итерация - случайные параметры, последняя итерация - требуемые параметры. Между ними область значений фитнес-функции, нахождение в которой показывает эффективность алгоритма оптимизации, чем правее к случайному результат, тем хуже АО, соответственно, чем левее, ближе к требуемому максимуму оптимального результата (повторю, оптимальный результат, удовлетворяющей масимально возможной робастности системы), тем АО эффективнее. Если нейронная сеть показывает разные результаты, причем с большим разбросом, то это означает, что алгоритм, применяемый в составе нейронной сети, тупо где-то застрял в локальном экстремуме на фитнес-функции (использовалась функция потерь).
8. Лектор наверное рассказал, что алгоритмы, часто используемые для обучения сетей, элементарно застревают? - наверное нет, но зато он делал, полагаю, акцент на том, что они очень быстрые. Да, они быстрые, поскольку не имеют популяции и соответственно кратно уменьшают количество необходимых запусков прогона на обучающих данных, но для этого они и проектировались - чтобы быть быстрыми, но при этом пострадала сходимость (ничего не бывает в этом мире бесплатным).
Алексей, надеюсь Вы посмотрите теперь на поднятую тему немного под другим углом, отличным от принятого в ветке МО, да и вообще, много где принятым. МОшинисты очень похожи на верующих, принимающих многие вещи на веру (это и не плохо и не хорошо, просто иногда мешает смотреть на многие вещи с точки зрения логики), или подобны фанатичным алхимикам, комбинирующими методы МО в надежде получить философский камень - работающую на OOS МО-систему. Я не противник МО, но всегда стараюсь разбирать всё по полочкам, чтобы понимать влияние каждого винтика в машине на результат.
1. Выше, я уже писал про применение в лоб, про то, что статьи рассматриваются не как абстрактные алгоритмы, а как замена алгоритма штатного оптимизатора, который предполагается использовать со штатными ФФ. А такой подход мало эффективен, как многие уже разобрались. Так происходит, потому что в каждой статье любого автора, читатель пытается найти нечто полезное для трейдинга. Просто это надо учитывать, и не обижаться за это на читателей. Может стоит привести примеры ФФ в статье, учитывающие не только показатели, описывающие финансовый результат, но и другие, влияющие на него, которые подразумеваются, но поименно не называются?
2. Устойчивость в данном контексте - это бинарная переменная, которая получается от измерения смещения вероятности повстречать один из классов на квантовом отрезке предиктора относительно числа всех представителей класса в выборке. При смене подвыборок смещение вероятности не должно меняться, вот это и будет устойчивостью. Это как бы нахождение стационарности в нестационарных процессах. Далее на этих данных строится модель, и чем больше оказывается корректно детектированных таких квантовых отрезков, тем больше вероятность выбрать его на каждом шаге алгоритма построения модели, а значит и больше вероятность построить нужную модель. Понятно, что участок проверки результата не оценивается изначальною. В итоге цель есть, метрика для оценки имеется, но что влияет на результат - до конца не ясно - нужна дополнительные оценочные метрики.
Ниже график, показывающий вероятность (процент) выбора устойчивого квантового отрезка из пула на каждой итерации алгоритма построения модели для каждого из двух классов.
4. Уже написал в первом пункте, и тут лишь повторюсь, что люди пытаются понять зачем им это, и приходят к пониманию альтернативы штатного оптимизатора с его генетикой. Что там ещё за параметры, далёкие от рынка надо ставить в ФФ - неясно большинству.
7. Я не писал, что цель - получить случайные результаты на выходе. Цель - рассмотреть разные пути нахождения решения, в том числе меняя абстрактный ландшафт из разных измерений.
8. Думаю, совсем не корректно делать предположение, что люди разбирающиеся в своей области не обладают необходимыми знаниями и опытом. Это относится, как и к абстрактному лектору, так и к многим участникам форума. Иногда, прежде чем доказывать свою позицию, следует понять логику оппонента. Мы занимаемся развивающимся направлением, тут могут быть разные точки зрения на ситуацию, которые могут меняться, поэтому категорично мыслить не продуктивно. А если утверждать что-то ссылаясь на свой опыт - делал так и так, но результат был печальный, думаю, это от того, "что..." - тогда, может, кто подскажет решение, или поделится своим результатом со схожими исходными данными.
Всё, что пока Вы тут писали о своих работах, я читал в Ваших статьях, как, думаю, и многие другие, кто писал комментарии к ним. Именно предположение, что люди недоразвитые, что проявляется в их вере, и приводит к конфликтам с Вами. Наблюдаю, что ветка МО как раз пример того, где подвергаются сомнению любые утверждения и подходы, ищется причина неэффективности метода, даже если он кажется эффективным. Поэтому вижу тут необъективность в суждениях с Вашей стороны. Многие участники ветки МО не аргументированы в своих утверждениях, но это не всегда от того, что нет этих аргументов. Думаю, это профессиональная деформация. Да, это бывает неприятно.
Если считаете, что обладаете более глубокими познаниями в вопросе, хорошо понимаете математику процесса, и хотите нести пользу людям, то обратите внимание на подходы миссионеров в древние времена, - найдите точки соприкосновения и от них ведите диалог. А если не хотите этим заниматься, то можно просто игнорировать других представителей со своими взглядами и убеждениями. Кому надо прочтёт Ваши умные мысли и сделает для себя необходимые выводы.
В общем попытался показать Вам другую сторону причины конфликта, в надежде, что он прекратится, и его участники услышат друг друга, и начнут адекватно относится к критике, без взаимного оскорбления.
8.
Вы не понимаете, что этим сообщением вы не гасите конфликт, а подливаете масло в огонь?
Если вы сделали это не преднамеренно, то предлагаю всем сделать вид, что пункта 8. в сообщении Aleksey Vyazmikin просто нет.