Нейроторговцы, не проходите мимо :) нужен совет - страница 6

Новый комментарий
 

Уже знаю, какие пары буду тестить дальше :)

 
TheXpert:

Уже знаю, какие пары буду тестить дальше :)

попробуйте не пары тестить, а ДЦ ...

;)

 
alexeymosc:

А как Вы работаете с проблемой переобучаемости нейросети? Как формируете тестовую выборку?

А никак. При определенном соотношении весов и паттернов эта проблема перестает возникать. Про выборку было ранее.

Очевидно, что система хорошо обучается и на тестовых отрезках аппроксимирует паттерны, а на валидационных отрезках иногда проваливается. Может есть смысл по-другому тестовую выборку формировать...
Если бы все так просто было... Смысл наверное есть... Только вот как по-другому?
 

У самого сейчас на уме, как говорится, такие варианты:


- тестовая выборка всегда составлена из самых свежих данных, предшествующих валидационному отрезку (принимаем во внимание "The Time Series Recency Effect ", хотя это тоже одно из априорных предположений исследователя, но попробовать можно);


- тестовая выборка случайно перемешана с обучающей;


- тестовая выборка перемешана с обучающей не случайным образом, а типа 000100010001, то есть, покрывает пространство примеров равномерно.



И для каждого случая попробовать разный размер тестовой выборки. Варианты:


- равную валидационному отрезку;


- расчитанную исходя из ошибки выборки, то есть, доверительный интервал скажем 5%, доверительный уровень 95%.

 

Так я понял, что Вы вообще не используете тестовую выборку... А просто обучаете сеть и вперед, то есть, тестируете ее сразу. А если сеть обучать на одних данных (обучающая выборка) а качество обучения оценивать на тестовой выборке? А потом - OOS.

ИМХО - тестовая выборка для контроля обучения сети необходима.

 

Согласен с alexeymosc. Уж если в нервосетки лезть, то вооруженным как следует.

Кажись, это так и называется:

  • выборка с обучающими данными (отрезок данных А; оценка ошибки на нем не имеет никакого смысла),
  • валидационная (оценивает ошибку на другом отрезке данных, В; отрезок В неявно участвует в обучении, т.к. В определяет окончание обучения по минимуму ошибки)
  • и тестовая, С (данные совсем неизвестны).
 
joo:

Теория Перетекающих Паттернов ....


Вы так уверенно говорите про некие перетекающие паттерны. А меж тем ни Яндех, ни Гугля про них даже не слышали (ну либо у них тоже поиск не работает:)). И хотя наверно я пониманию о чем идет речь, по возможности хотелось бы чего-то хоть мало-мальски более подробного.

TheXpert:

Уже знаю, какие пары буду тестить дальше :)


А почему пары?) Попробуйте какие-нибудь индексы, золотишко... Интересно что там получится.

З.Ы. И на мой взгляд все эти картинки пока говорят что ТС с такими настройками на текущий момент работать не будет. Вот с 2001 по 2005 там ништяк) Надо вносить какие-то правки.

 
Figar0:


1) Вы так уверенно говорите про некие перетекающие паттерны.

2) А меж тем ни Яндех, ни Гугля про них даже не слышали (ну либо у них тоже поиск не работает:)). И хотя наверно я пониманию о чем идет речь, по возможности хотелось бы чего-то хоть мало-мальски более подробного.

.....

1) Ну а как же иначе то? Это ж плод моей фантазии как никак.

2) Не очень то эта теория пока известна, видимо. :) Подробнее что могу сказать? - лишь то, что уже говорил, можете поискать по форуму. Возможно, как нибудь соберу в кучу все посты и сделаю некую "выжимку" сути, и самому полезно будет.

 

Может банальный вопрос, но всё же.

Скажите пожалуйста, так обучать НС можно или нет?

Или ошибочно обучать повторно но с разной целью показателя, и надо вот так?:

Если что, использую NeuroSolutions.

 
Summer:

Скажите пожалуйста, так обучать НС можно или нет?

Не вижу ни одной веской причины, чтобы сказать нет. Почему нет? данные новые? да.

Обучая методом окна (т.е. по сути получая рекуррентную формулу) именно так и учат.

1234567891011121314
Новый комментарий