Нейро-прогнозирование фин.рядов (на основе одной статьи) - страница 6

 
nikelodeon:

Вообщета это перетренировака. Удивляюсь Что имменно Вы этого не знаете. Принято считать что сеть пертренирована когда она начинает работать также как вчера. Тоесть она не выделяет ключевые моменты во входных данных, а начинает выдавать такойже сигнал как и вчера.....

Нонсенс, или как по другому такая чушь называется?

Если сеть учили, что 2*2=4, то что она должна отвечать, если ей зададут вопрос: "2*2=?"?

2*2=4 было вчера, и будет завтра. Будет, по крайней мере, странно, если сеть станет давать разные ответы на одни и те же вопросы.

 

Вообще, как я погляжу, многие, кто на этом форуме практиковался в работе с сетями, считают, что нейронные сети это нечто похожее на калькулятор - вводишь данные и сеть выдает результат. Так и есть - сетки это калькулятор.

Но доскональное знание устройства сетей и их архитектур не даёт и не может дать представления об их свойствах. Это "узкое" понимание работы ANN.

Так, замечательный нейрохирург не может знать, на что способен человеческий мозг. Об этом могут знать только психологи и психотерапевты (не путать с психиатрами) вместе с философами и, возможно, социологами. Это вопросы не "физиологии" сетей, а Интеллекта - а это уже совершенно иной уровень понимания ANN (и человеческого мозга).

Только с таким подходом возможно чего то добиться от ANN. Тупое скармливание котировок сетям ничего никогда не давало путного раньше, и ничего не даст в будущем. Но автор статьи, на мой первый "диагональный" взгляд (а на второй доскональный взгляд у меня пока времени нету) смотрит на прогнозирование с помощью ANN под правильным углом, с точки зрения Интеллекта - это использование индикаторов, неких "производных" от котировок.

Но, чисто интуитивно, сомневаюсь в возможности прогнозирования на уровне 98%. 80% - наверное да, но не 98%. Может быть автор немного притянул "за уши" результаты исследований - я вполне допускаю это. Но что бы проверить эти результаты, нужно провести те же эксперименты, что и у автора - только тогда можно будет утверждать что то "стопудово".

 

Integer:



Тоже очень удивляюсь, как можно иметь какое-то мнение, не имея для этого оснований.
Свое мнение про термин "переученность", "перетренерованность" где-то высказывал уже здесь. Термин совершенно не отражает сути явления, возможно неправильный перевод. Какое английское слово так переведено? Скорее подойдет термина "зазубрившаяся" (от "зубрить") или "заучившаяся". Явление подобно явлению зубрилкина или заучкина с пустой головой, который ничего не понимает, но зазубрил параграф слово в слово. Явление происходит при обучении объемной сети малым количеством образцов. На обучающие образцы сети реагирует правильно, а пользы от нее нет, потому что она может вместить в себе возможность обучиться намного большему количеству образцов, т.е. это просто пустая голова. Результат она дает какой попало, а не вчерашнего дня. Так-что, что у вас за такой вчерашний день мне не понятно, чудеса какие-то, волшебная перереобученность.
Это как на программерских формух, чуть что - втирают про утечку памяти, по любому поводу. Так и при разговорах про сети - переученность, переученность, а мало кто понимает что это такое.


Впринципе ка ен назови. Просто в некоторых учебниках встречал такое явление, что сеть выдаёт сигналы "Также как вчера" это не значит что она постоянно выдаёт один и тоже сигнал. Нет, но суть и смысл сигналов не меняется. Они не работают в будущем. вообще поиск параметров тренировки сети, самая сложная задача, которую можно решить путём долгих статистических исследований.

Предположим сеть выдала 100 вариантов настройки своих параметров. И только несколько из них правильные. Остальные сольют в будущем. Да взять хотябы сеть на машках. Веть она очень хорошо перетренировываетсья на любом участке. Сам хотел попробовать в деле эту теорию, но видать не мудьба. Так что может кому и понадобиться.

Имеем 2 участка тренировки

1. Тренируем сеть на 2 участке. Получаем профит (сеть на машках на любом участке тренировки получит профит).

2. Смотрим как сеть торговала на участке 1.

3. Тренируем сеть на участке 1 так чтобы получить тоже самый результат какой мы получили при тренировке на участке 2.

Тоесть целевая функция для тренировки будет уже не максимальный баланс, а совсем другое. Так вот с помощью статистики как раз таки и нужно вычислить что же это самое другое есть гуд.

Я просто в НШ гонял сети, а там с выбором целей для тренировки скудновать както.

В итоге набрав статистику можно прийти к выводу, что цель тренировки максимальный баранс не всегда хорошо. Но тут возникнет немного другой вопрос, как найти ту самую цель, чтобы НС работала хорошо в будущем. Тут как грица есть только один вариант.

Запускаем сеть и следим за её торговлей, делая вывод, работает сеть сейчас или нет... Как то так.....

В итоге получаеться что прибыльные настройки сети при тренировке выглядят вот так. Тоесть натренируй сеть для такого баланса, и она наберёт в будущем. Но тут возникает ахилесова пята, как узнать какой баланс должен быть.... а уж натренировать ТС в НШ так не получиться. Там сложно с целевыми функциями тренировки. Если только в другой проге опробовать....

 

Или вот так, в обоих случаях кривая баоанса на оптимизируемом участке крайне не похожи, и уж тем более не в плюсе. Однако это не остановила сеть в будущем. Итог плюс....

Тоесть мне кажеться что если собрать статистику, для участков сети, то можно будет вывести некое общее сходство необходимых нам балансов, чтобы вывести некую закономерность. Тем самым тренируя сети не на максимальный профит на данном участке. а нахождение скрытых сигналов, которые будут работать в будущем. Но не сейчас. Тоесть во в чём прикол. Заставитьс еть найти такие параметры, которые сейчас не работают, но в будущем смогут оказать полезное влияние на сеть..... Очень много нужно собрать статистики, и она далеко не тривиальна......

 

Во всяком случае решив эту проблему (выбора результатов оптимизации) хотябы на 60%, можно получить инструмент для торговли и совсем даже не плохой.

Я незнаю как в других пакетах, Но при оптимизации в НШ выдаёться несколько результатов, начиная с отрицательного баланса на участке оптимизации. Если бы в Нш была возможность получить все результаты оптимизации. А потом из них уже выбирать, чисто визульно по балансу. То можно было бы отсеивать бесполезнае результаты на удачю. Ставить сеть вработу и следить, за тем какая из них начнёт наливать. Та которая начнёт сливать выключаетсья... Ну или как то ещё..... Вот просто облом в НШ нет такой возможности. Хотябы сохранять параметры индикатора в файл во время оптимизации....

Опять же не факт что при оптимизации на 1 участке вы получите те значения которые получили при оптимизации 2-го участка. Тоесть тут много не решённых вопросов......

 
nikelodeon:

Тоесть во в чём прикол. Заставитьс еть найти такие параметры, которые сейчас не работают, но в будущем смогут оказать полезное влияние на сеть..... Очень много нужно собрать статистики, и она далеко не тривиальна......


так она и будет помнить после тренировки что они не работают... в нш в тс не сети а га...
 
Vizard:

так она и будет помнить после тренировки что они не работают... в нш в тс не сети а га...

Согласен.... там вроде свобода много, а вот что нужно не подкрутишь....
 
joo:

Но автор статьи, на мой первый "диагональный" взгляд (а на второй доскональный взгляд у меня пока времени нету) смотрит на прогнозирование с помощью ANN под правильным углом, с точки зрения Интеллекта - это использование индикаторов, неких "производных" от котировок.

Но, чисто интуитивно, сомневаюсь в возможности прогнозирования на уровне 98%. 80% - наверное да, но не 98%. Может быть автор немного притянул "за уши" результаты исследований - я вполне допускаю это. Но что бы проверить эти результаты, нужно провести те же эксперименты, что и у автора - только тогда можно будет утверждать что то "стопудово".


это иллюзия... Интегер правильно сразу сказал - участок левый выбран для прогноза...

в реалии все проверяется на примитивном примере... треним любым способ - хоть из второй статьи хоть из третьей )))

если берем об выборку до первой желтой верт линии то получаем 90-95% те же...двигаем до следушей...треним...получаем меньше... последний участок (рост) сеть не спрогнозирут никогда...

все это для прогноза на несколько шагов на 1 вр (входа из него же) разумеется... если выделять пики впадины (цикличность) то еще может и рост ухватить в принципе...

 
nikelodeon:

Согласен.... там вроде свобода много, а вот что нужно не подкрутишь....

черный ящик эта нш...
 
Vizard:


просто цикличность некая есть ( динамика ) ... так вот если эта динамика попадает в модель (нс,регрессии или др...по большому счету без разници ) и потом продолжается какое то время...то в шоколаде..если меняется то слив... причины смены динамики 2...рынок и фильтры дц...


Да, соглашусь с Вами.

Это второе объяснение результатов работы: для тестирования сознательно был выбран такой период, на котором сеть локально успешно показала ошеломительный результат. Кстати, странно, что длина тестового периода 150 точек, а не 200 или, например, 451. Получается, латентная подгонка.