Что подать на вход нейросети? Ваши идеи... - страница 52

 
Aleksandr Slavskii #:

Если смотреть на картинку, то да, тёплое с мягким, а в коде всё норм.

Скобки на картинке не правильно. Надо так.


Да, благодарю Вас, у меня там со скобками проблемы
 

Ола ке таль. Решил подкинуть свои идеи.

Моя последняя модель - собрать нормализованные цены 10 символов и так обучать рекуррентной сетью. На вход по 20 баров месяца, недели и дня.

Вот такая картинка получается. Отличие от отдельных обучений в том, что общая прибыль меньше в 3 раза и просадка... вау, просадка на контрольном периоде едва дотягивает до 1%.

По-моему, это решает проблему дефицита данных.


 
Evgeniy Scherbina #:

Ола ке таль. Решил подкинуть свои идеи.

Моя последняя модель - собрать нормализованные цены 10 символов и так обучать рекуррентной сетью. На вход по 20 баров месяца, недели и дня.

Вот такая картинка получается. Отличие от отдельных обучений в том, что общая прибыль меньше в 3 раза и просадка... вау, просадка на контрольном периоде едва дотягивает до 1%.

По-моему, это решает проблему дефицита данных.


Мне кажется у вас крайне высокий уровень владения темой. Боюсь не понять ничего. 

Расскажите, пожалуйста, что это за красота на графике: это Питон? Архитектура LSTM?

Возможно подобное показать на МТ5? 


нормализованные цены 10 символов 

Здесь тоже, как нормализовали цены. 
Что такое "ante"


В общем, всё, что не является коммерческой тайной, поделитесь, пожалуйста)
 
Ivan Butko #:

Мне кажется у вас крайне высокий уровень владения темой. Боюсь не понять ничего. 

Расскажите, пожалуйста, что это за красота на графике: это Питон? Архитектура LSTM?

Возможно подобное показать на МТ5? 


Здесь тоже, как нормализовали цены. 
Что такое "ante"


В общем, всё, что не является коммерческой тайной, поделитесь, пожалуйста)

Конечно, это пайтон. В мкл5 чтобы выбрать данные по условию, нужно перебор делать и все эти иф иф иф. А в пайтоне в одну строку по любым условиям выбор данных. Я уже не говорю по скорость работы. Это слишком удобно. Мкл5 нужен, чтобы открывать сделки с готовой сетью.

Нормализация самая обычная. Минус среднее, разделить на стандартное отклонение. Коммерческая тайна здесь - это период нормализации, важно так подойти, чтобы цены в течение 10 лет вокруг ноля были. Но не так, чтобы в начале 10 лет они ниже ноля, а в конце выше. Так сравнивать не получится...

Два периода проверки - анте и тест. Анте до обучения период 6 месяцев. Очень удобно. Анте всегда есть. А тест - это будущее, его нет. То есть оно есть, но только в прошлом. А в будущем нет. То есть то нет.

 
Evgeniy Scherbina #:

Что, по-Вашему, важнее: архитектура или входные данные?

 
Ivan Butko #:

Что, по-Вашему, важнее: архитектура или входные данные?

Думаю входы. Вот я пробую 6 символов, а не 10. И я не прохожу контрольный период август-декабрь 2023. По отдельности, тоже сложно. А 10 символов проходной вариант можно закономерно выбрать по результатам обучения. Сеть всегда рекуррентная в 1 слой 32 состония, полносвязная только привыкает.

 

Некоторые итоги:

За всё МО не говорю, выводы исключительно в рамках контекста этой ветки, а именно - по результатам многолетнего тестирования и ковыряния в простейших нейронных сетях, чаще всего в MLP. 

Итак:
  • чем больше входов— тем хуже
  • чем больше нейронов — тем хуже
  • чем больше слоёв — тем хуже
  • чем сложнее архитектура — тем хуже


На протяжении всей ветки и вне её самые лучшие результаты показывал простой одинарный перцептрон и всего лишь один, либо два (в зависимости от специфики) входа. 

Всё, что я находил "рабочим" в виде сетов - это всё оказалось повторением в худшем виде результатов самых простых конструкций. 



Пришло понимание, что я просто нашёл алгоритмическую закономерность, пока ковырялся в различных входных данных, по сути частично ответил на вопрос своей ветки "Что подать на вход нейросети?". 
Но нейросеть оказалась не нужна. Ни MLP, ни RNN, ни LSTM, ни BiLSTM, ни CNN, ни Q-обучение, ни всё это вместе взятое-перемешанное. 

В результате график описывается чаще всего одним числом. А уже что делать с этим числом, которое выражает ситуацию/паттерн/фигуру/событие на графике - это уже вопрос простого алгоритма, с порогом открытия (больше 0.6 - бай и наоборот). В обоих случаях у меня число принимает значения от -1 до 1. 

Как входные данные, из всех опробованных (которые смог реализовать), оба дольше всех могут работать, как в прошлом, так и в будущем: всегда оптимизировал за один год: 2021-2022 на H1 EURUSD, а уже потом проверял сеты на всей истории. 

Как только на бектесте за 20 лет график подаёт какие-то признаки жизни - оптимизировал конструкцию в целях "коррекции" на бОльшем периоде - 2012-2021, 9 лет. 


В одном из таких экспериментов оптимизировал 2 входа на 3-х нейронах. В результате один из верхних сетов показал следующую картину



**********************

UPD

Вот ещё один сет, тоже самое: середина - оптимизация, результаты - по бокам. Почти одинаковые, просто поровнее




**********************

Сделки – не пипсовки и не скальп. Скорее интрадей. 








Таким образом, мои субъективные выводы на текущий момент:

  • Нейросеть применима только к стационарным, статичным паттернам, которые не имеют отношения к ценообразованию
  • Нейросеть запоминает путь. Не более
  • Закономерности есть. Они - просты. Проще, чем мы их судорожно усложняем
  • Закономерности - в геометрии. Свечи же работают только если полностью отсутствует спред и комиссия.
  • ОСЦИЛЛЯТОРЫ - ЗЛО! Полностью смывают информацию о рынке, размывают, размазюкивают, откровенно зашумляют её. Причём, шум здесь в контексте - реальном! Хуже результатов, чем на сглаживающих индикаторах я в жизни не видел
    Как слегка ослепнуть зрячему. Только что он видел чёткий силуэт, а сейчас непойми что - какая-то мазня в глазах. Информации - 0. 



Моё имхо, как вижу
 
Ivan Butko #:
Нейросеть применима только к стационарным, статичным паттернам, которые не имеют отношения к ценообразованию

Какую делаете предобработку, нормализацию? Пробовали стандартизацию делать?

Ivan Butko #:
Нейросеть запоминает путь. Не более

Попробуйте трансформеры, говорят в них есть толк...


Ivan Butko #:
ОСЦИЛЛЯТОРЫ - ЗЛО!

Ну не всё так однозначно. Просто НС удобно работать с непрерывными функциями, а нужна архитектура, которая будет работать с кусочными/интервальными функциями, тогда НС сможет брать диапазоны осциллятора, как значимую информацию.

 
Aleksey Vyazmikin #:

Какую делаете предобработку, нормализацию? Пробовали стандартизацию делать?

Попробуйте трансформеры, говорят в них есть толк...


Ну не всё так однозначно. Просто НС удобно работать с непрерывными функциями, а нужна архитектура, которая будет работать с кусочными/интервальными функциями, тогда НС сможет брать диапазоны осциллятора, как значимую информацию.

1. А когда как: если окно данных, каких-нибудь приращений, то привожу в диапазон -1..1. Про стандартизацию не слышал

2. Принял, благодарю

3. Согласен, у меня нет полного док-ва обратного. Поэтому пишу со своей колокольни, как пока вижу и представляю примерно. 


Просто сглаживание - это фактическое стирание информации. Не обобщение. Стирание именно. Просто вспомните фотографию: как только ухудшить её содержимое - всё, информация безвозвратно потеряна. И воостановление оной с помощью ИИ - это ведь художественная деятельность, не восстановление в истинном смысле. Произвольное дорисовывание. "Додумывание".

Сглаживание: когда у нас одно число является результатом двух независимых информационных единиц: паттерна -1/1,допустим, и паттерна -6/6. Среднее значение у каждого будет одинаковое, а паттерна то исходно - было два. Они могут что-то означать, а могут не означать, могут означать противоположные сигналы. И вот машки, осциляторы и так далее - они просто тупо стирают/размывают исходную "фотографию" рынка. 

И в этой "мазне" мы кошмарим НС, заставляя её бесконечно пытаться работать как надо. 


Обобщение и сглаживание - это крайне недружественные неоднородные явления. 

 
Ivan Butko #:

Некоторые итоги:

За всё МО не говорю, выводы исключительно в рамках контекста этой ветки, а именно - по результатам многолетнего тестирования и ковыряния в простейших нейронных сетях, чаще всего в MLP. 

Итак:
  • чем больше входов— тем хуже
  • чем больше нейронов — тем хуже
  • чем больше слоёв — тем хуже
  • чем сложнее архитектура — тем хуже


На протяжении всей ветки и вне её самые лучшие результаты показывал простой одинарный перцептрон и всего лишь один, либо два (в зависимости от специфики) входа. 

Всё, что я находил "рабочим" в виде сетов - это всё оказалось повторением в худшем виде результатов самых простых конструкций. 



Пришло понимание, что я просто нашёл алгоритмическую закономерность, пока ковырялся в различных входных данных, по сути частично ответил на вопрос своей ветки "Что подать на вход нейросети?". 
Но нейросеть оказалась не нужна. Ни MLP, ни RNN, ни LSTM, ни BiLSTM, ни CNN, ни Q-обучение, ни всё это вместе взятое-перемешанное. 

В результате график описывается чаще всего одним числом. А уже что делать с этим числом, которое выражает ситуацию/паттерн/фигуру/событие на графике - это уже вопрос простого алгоритма, с порогом открытия (больше 0.6 - бай и наоборот). В обоих случаях у меня число принимает значения от -1 до 1. 

Как входные данные, из всех опробованных (которые смог реализовать), оба дольше всех могут работать, как в прошлом, так и в будущем: всегда оптимизировал за один год: 2021-2022 на H1 EURUSD, а уже потом проверял сеты на всей истории. 

Как только на бектесте за 20 лет график подаёт какие-то признаки жизни - оптимизировал конструкцию в целях "коррекции" на бОльшем периоде - 2012-2021, 9 лет. 


В одном из таких экспериментов оптимизировал 2 входа на 3-х нейронах. В результате один из верхних сетов показал следующую картину



**********************

UPD

Вот ещё один сет, тоже самое: середина - оптимизация, результаты - по бокам. Почти одинаковые, просто поровнее




**********************

Сделки – не пипсовки и не скальп. Скорее интрадей. 








Таким образом, мои субъективные выводы на текущий момент:

  • Нейросеть применима только к стационарным, статичным паттернам, которые не имеют отношения к ценообразованию
  • Нейросеть запоминает путь. Не более
  • Закономерности есть. Они - просты. Проще, чем мы их судорожно усложняем
  • Закономерности - в геометрии. Свечи же работают только если полностью отсутствует спред и комиссия.
  • ОСЦИЛЛЯТОРЫ - ЗЛО! Полностью смывают информацию о рынке, размывают, размазюкивают, откровенно зашумляют её. Причём, шум здесь в контексте - реальном! Хуже результатов, чем на сглаживающих индикаторах я в жизни не видел
    Как слегка ослепнуть зрячему. Только что он видел чёткий силуэт, а сейчас непойми что - какая-то мазня в глазах. Информации - 0. 



Моё имхо, как вижу

не слабая пипсовка

пора шить мешки?