"Новый нейронный" - проект Open Source движка нейронной сети для платформы MetaTrader 5. - страница 97

 
Реter Konow:
Ок. Нужно найти практическую аналогию. На схеме видно, что слои имеют разное количество нейронов. Если перевернуть схему, получится пирамида. Значит, результат проходит несколько этапов обработки. Чем больше нейронов в слое, тем больше данных этот слой принимает и обрабатывает. Если следующий слой выводит меньше данных чем предыдущий,  то значит данные обобщаются от слоя к слою?

Да, обобщаются. Если на входе допустим, 100 баров, на выходе надо две команды: покупать или продавать.

Задача не в том, что бы нейросеть вмещала в себя много данных, а в том, что бы соответствовала количеству данных, которым ее обучают. Если сеть слишком большая, а данных мало, она обучится легко, но не будет способна обобщать другие данные. То есть количество нейронов должно быть как можно меньше. Больше трех слоев, вроде как нет необходимости. В первом слое количество нейронов соответствует размеру паттерна исходных данных, в последнем - количеству результирующих вариантов. А в промежуточном как можно меньше, но не меньше, чем в выходном.

 
Igor Makanu:

код простой, но наши входные данные то не совсем подходят:

Вики энтропия: "....меры отклонения реального процесса от идеального. ... Математически энтропия определяется как функция состояния системы, определённая с точностью до произвольной постоянной."

и?

что на фин.ВР может быть идеальным рынком? - да фиг его знает, ОК пусть это первое допущение, идеальный рынок = синусоиде!

в качестве входных данных у нас как минимум 3 цены хай, лоу, клоуз - и кого будем использовать? - ОК, пусть это второе допущение, медианная цена рулит!

откуда и до куда измерять? - начало дня? недели? день экспирации? торговая сессия? - ОК, начало дня, пусть это будет третье допущение....

итого 3 вопроса, 3 раза предполагаем, что мы правы? тут задача сведется к комбинаторике: сколько раз мы выдвенем правильную начальную гиппотезу и сколько раз наше дальнейшие изыскания приведут к правильной оценке рынка... на истории )))


энтропия красиво звучит, но копал я эту тему несколько лет назад, с позиции информационной энтропии, вывод один - если начинает формироваться или ближайший на истории повтор свечных комбинаций (паттерн) - он не сработает, ибо то что очевидно всем не работает на рынке, так же и с закономерностями и с корреляциями, только они становятся очевидными - они перестают появляться )))), обычно в таких случаях я себе говорю - не один ты самый умный, таких умны полмира у мониторов сидит )))

не, смотри, эта энтропия оценивает кол-во информации в ВР. Чем ниже энтропия тем больше инфы (проявленнее циклы). Т.е. мера относительная, и использовать ее относительно, например, других состояний. Где она ниже там и торговать - груб. пример

ну и аналогия с Херстом, измерять в ск. окне
 
Andrey Dik:

если в слое нейронов меньше чем в предыдущем - происходит сжатие информации, и, "распаковка" - если нейронов больше чем в предыдущем.

Ок. Спс. Пока буду экстраполировать полученную инфу. Потом ещё специалистов здесь поспрашиваю. ))
 

Про энтропию:

https://habr.com/ru/post/305794/

Введение в понятие энтропии и ее многоликость
Введение в понятие энтропии и ее многоликость
  • habr.com
Как может показаться, анализ сигналов и данных — тема достаточно хорошо изученная и уже сотни раз проговоренная. Но есть в ней и некоторые провалы. В последние годы словом «энтропия» бросаются все кому не лень, толком и не понимая, о чем говорят. Хаос — да, беспорядок — да, в термодинамике используется — вроде тоже да, применительно к сигналам...
 
Dmitry Fedoseev:

Да, обобщаются. Если на входе допустим, 100 баров, на выходе надо две команды: покупать или продавать.

Задача не в том, что бы нейросеть вмещала в себя много данных, а в том, что бы соответствовала количеству данных, которым ее обучают. Если сеть слишком большая, а данных мало, она обучится легко, но не будет способна обобщать другие данные. То есть количество нейронов должно быть как можно меньше. Больше трех слоев, вроде как нет необходимости. В первом слое количество нейронов соответствует размеру паттерна исходных данных, в последнем - количеству результирующих вариантов. А в промежуточном как можно меньше, но не меньше, чем в выходном.

Ок. Нужно обдумать. Позже отпишусь.
 
Dmitry Fedoseev:

.... Больше трех слоев, вроде как нет необходимости. В первом слое количество нейронов соответствует размеру паттерна исходных данных, в последнем - количеству результирующих вариантов. А в промежуточном как можно меньше, но не меньше, чем в выходном.

да и в трёх слоях нет необходимости. доказано математически (встречал где то в книгах доказательство), что сеть с одним внутренним слоем может аппроксимировать любую непрерывную функцию, а сеть с двумя слоями - и функции с разрывами. таким образом исходя их этого доказательства следует, что в слоях в количестве больше 2х нет практического смысла и приводит лишь к переобучению.

зы. т.е. необходимо (а во многих случаях достаточно и одного) максимум 2 внутренних слоя.
 
Maxim Dmitrievsky:

не, смотри, эта энтропия оценивает кол-во информации в ВР. Чем ниже энтропия тем больше инфы (проявленнее циклы). Т.е. мера относительная, и использовать ее относительно, например, других состояний. Где она ниже там и торговать - груб. пример

ну и аналогия с Херстом, измерять в ск. окне

Максим ну ты прав, но в теории

вот график, что мы можем принять за кол-во информации? 1 бар? - не серьезно, взять группу баров - получили некий период, тогда чем наш подход лучше оценки текущего состояния рыка с помощаю РСИ, стохастика, блохастика? - то же самое как ни крути, имхо


то что применение ТС нужно завязывать на контекст рынка - да, но контекст очень слабо формализуем, кто пытается в качетве контекста брать текущий боковик и торговать флет, кто то рисует трендовую линию и ждет пробой.... а кто прав?

 
Igor Makanu:

Максим ну ты прав, но в теории

вот график, что мы можем принять за кол-во информации? 1 бар? - не серьезно, взять группу баров - получили некий период, тогда чем наш подход лучше оценки текущего состояния рыка с помощаю РСИ, стохастика, блохастика? - то же самое как ни крути, имхо


то что применение ТС нужно завязывать на контекст рынка - да, но контекст очень слабо формализуем, кто пытается в качетве контекста брать текущий боковик и торговать флет, кто то рисует трендовую линию и ждет пробой.... а кто прав?

а, ну понятно.. ск. окно оптимизировать, посмотреть на изменение энтропии, пообучать модель с разными окнами, позырить сделать выводы. Понятно что она показывает прошлое, но если уменьшить горизонт прогнозирования, а МОшкой добить эти интервальчики, извлечь инфу

я типа про это

рси не скажет тебя явно есть нем периодические циклы или нет, через энтропию оценить можно. Не говорю что получится, говорю что датамайнить надо.

 
Maxim Dmitrievsky:

а, ну понятно.. ск. окно оптимизировать, посмотреть на изменение энтропии, пообучать модель с разными окнами, позырить сделать выводы. Понятно что она показывает прошлое, но если уменьшить горизонт прогнозирования, а МОшкой добить эти интервальчики, извлечь инфу

я типа про это

рси не скажет тебя явно есть нем периодические циклы или нет, через энтропию оценить можно. Не говорю что получится, говорю что датамайнить надо.

все не спрошу, а читать что то уже устал... насколько корректно обучать НС в скользящем окне?

- если мы ищем периодическую информацию - да корректно, НС найдет скрытые циклы и сама подстроит свои весовые коэффициенты

- если мы НС учим распознаванию, да это НС обучится

- на рынке нет периодических циклов, где то был у меня ЗЗ который время формирования вершин ЗЗ рисовал, при любой настройке ЗЗ, никогда не бывает периодических повторов, нет такого что следующий излом ЗЗ будетв барах  как 5,11,7,3....5,11,7,3.... - будут все возможные комбинации но только не повторы


если мы обучаем НС в скользящем окне непериодической информации, что там творится с весовыми коэффициентами? - насколько я помню, то однослойную сеть не получится даже обучить на евре, только многослойную - можно скользящее окно для таких вещей применять? сомнения у меня


ЗЫ: датамайнить - да, если получится фильтровать данные которые будут нести информацию - тогда Грааль у тебя ;) 

 
Igor Makanu:

все не спрошу, а читать что то уже устал... насколько корректно обучать НС в скользящем окне?

- если мы ищем периодическую информацию - да корректно, НС найдет скрытые циклы и сама подстроит свои весовые коэффициенты

- если мы НС учим распознаванию, да это НС обучится

- на рынке нет периодических циклов, где то был у меня ЗЗ который время формирования вершин ЗЗ рисовал, при любой настройке ЗЗ, никогда не бывает периодических повторов, нет такого что следующий излом ЗЗ будетв барах  как 5,11,7,3....5,11,7,3.... - будут все возможные комбинации но только не повторы


если мы обучаем НС в скользящем окне непериодической информации, что там творится с весовыми коэффициентами? - насколько я помню, то однослойную сеть не получится даже обучить на евре, только многослойную - можно скользящее окно для таких вещей применять? сомнения у меня


ЗЫ: датамайнить - да, если получится фильтровать данные которые будут нести информацию - тогда Грааль у тебя ;) 

Они не обязательно должны быть строго периодическими, но должны быть не шумом. Картина же вероятностная а не строгая. Скользящее окно имеется в виду как для индикатора энтропии, так и кол-ва признаков для обучения, их можно оптить.

если сэмплы противоречивые то ничего не получится, поэтому у многих ошибка 50\50. А цикл не может быть противоречивым, он либо есть либо его нет, в любом виде. Если ты добавишь много разных циклов то они друг другу не противоречат.

Цикл/не цикл - относительное понятие в рамках энтропийной метрики