Как Вы работаете с нейросетями? - страница 4

 
Большое человеческое спасибо!
 
alexjou:

- число слоёв определяется размерностью входного вектора, т.е. сеть генерируется автоматически определением и инициализацией/чтением рабочих массивов;

- количество нейронов в скрытом слое прогрессивно уменьшается с увеличением номера слоя N по закону 1/(2^N)("решающие кристаллики") либо 1/N ("запоминающие кристаллики");


Вроде доказано, что трёх слоёв достаточно для аппроксимации любой функции. У Вас, похоже, их предполагается больше. Из каких соображений?


Вообще замысел очень близок к моим мыслям, правда в плане знакомства с НС я видимо нахожусь на существенно более ранней стадии. Было бы интересно пообщаться. Можете дать здесь свой мейл? Или написать мне - likh на yandex ru.

 
Здесь несколько иная задача.

Речь идёт не об аппроксимации функций. Об упоминаемом Вами доказательстве мне ничего не известно (т.к. с проекционными сетями никогда не возникало нужды работать), однако соображения общего характера наводят на мысль, что при аппроксимации произвольных функций гораздо большую роль играют тип базисных функций и размерность самого базиса, нежели "слойность" сети; впрочем, это верно для проекционных методов вообще.

Указанную конфигурацию сети выбрал опять же из наводящих соображений: вероятно, именно так устроен мозг живых существ и именно так происходит его "обучение" -- путём адаптивного запоминания и классификации входной информации. (Замучил почти насмерть знакомых биологов и врачей своими дурацкими вопросами, однако ничего определённого, кроме "нафиг тебе это нужно" и "разрежь да и попробуй сам", они сказать не могли.) Отсюда и выбор правила Ойа для подстройки весов -- в этом случае нельзя сказать определённо, происходит ли "обучение с учителем" либо "без учителя" (мне подобное разделение понятий всегда почему-то казалось чрезмерно искусственным). Интересно, что начиная с некоторого момента подстройки весов, такая сеть перестаёт быть предсказуемой, иначе говоря, начинает "вести себя", хотя речь идёт пока всего об одном таком "кристаллике".

Короче говоря, сеть вместе с методикой подстройки её весов строилась почти целиком из эвристических соображений. В конце концов, на бирже, кою мы все тут пытаемся одолеть, подобные соображения, скорее всего, играют далеко не последнюю роль. Мыло: alex-jou Hund rambler Punkt ru (только очень большая просьба -- во избежание спама не добавляйте его в свой контакт-лист. Вообще и всех к этому призываю -- пользы от этого сервиса почти что ноль, а вред громадный.)
 
Candid:

Вроде доказано, что трёх слоёв достаточно для аппроксимации любой функции. У Вас, похоже, их предполагается больше. Из каких соображений?

К этому доказательству не прилагаются сигмоиды, о которых в нем упоминается. А посему доказана лишь теоретическая возможность аппроксимации трехслойным перцептроном любой непрерывной функции. В прикладной области, к сожалению, результаты бывают намного хуже.
 
а про такой пакет PolyAnalyst кто нибудь что нибудь толком знает?
 
sayfuji:
Собственно сабж. Как Вы работаете с нейросетями: реализуете лишь средствами mql4(тот же Artifical Intelligence), пользутесь программами типа MatLab или специальными нейропакетами(Neuro Shell Day Trader, NeuroSolutions и т.п.), присоединяя к коду советника dll. Какой Ваш подход и каковы его преимущества перед другими(помимо прибыльности)?

В каждом из подходов есть свои достоинства и недостатки:

1. Разрабатывая свою нейросеть имеешь дело не с черным ящиком, если конечно же не просто взял исходники и скомпилировал, а что-то где-то допилил конкретное под соответствующую задачу.

2. Приобретая фирменную сетку получаешь: черный ящик за деньги, но вместе с ним: поддержку, готовые решения и фирменные отбеливатели входов.


Проще говоря, если например, приобретен универсальный пакет для прогнозирования временных рядов, то пользователю не надо задумываться, а что там подается на входы. Потому что в пакете на входы подается сам временной ряд как есть. А уже в самом пакете, он предварительно подготавливается для подачи на входы сети, т.е. прежде чем сетка запустится на обучение, произойдет отбеливание:

1. Фильтрация и сглаживание входных данных, чтобы сделать их более предсказуемыми и менее шумными

2. Нормировка

3. Процеживание и устранение менее значимых входов

4. Устранение корреляций между входными данными

5. Устранение линейности из входных данных

6. Подбор адекватных сигмоидов под нормированные данные

И т.д. и т.п.


После этого сеть обучается. Потом данные на выходе восстанавливаются. Например, если устраняли линейность на входах, пакет ее восстановит на выходах. Из дерьма на входах получается конфетка на выходах. Вполне не исключено, т.к. имеем дело с черным ящиком, что вместо нейросети в фирменном пакете будет задействован генетический алгоритм, а может быть какая нибудь регрессия или еще какой метод экстраполяции.

-+++------------------------------------------------------------------------------------------------------------------------------------------+++-

- Поэтому для тех пользователей, которые собираются баловаться нейросеткой, но термин "нормировка" непонятен, желательно приобрести универсальный пакет для прогнозирования временных рядов в котором максимум, что будет запрашиваться помимо самого временного ряда (котировок) - это размерность лага.

- Более продвинутым пользователям, которые знают особенности нейросетевых архитектур, т.е. изучили достоинства и недостатки, необходимо приобретать пакеты более специализированные. Такие пакеты не подходят для баловства, т.к. под конкретную задачу придется самостоятельно подбирать соответствующую архитектуру. И метод "научного" тыка, типа подай на входы всякую фигню, здесь уже не годится, т.к. на выходах с высокой вероятностью будет тоже фигня.

- Всё остальное, т.е. сборка сетей из самостоятельно допиленных или вообще написанных с нуля исходников, подходит лишь для тех, кто имеет реальный опыт подготовки входных данных перед обучением сети и восстановления данных на выходах после обучения.

Т.е. принцип выбора нейросетевого пакета до неприличия прост: не можешь ходить по большому - не мучай анус. Если Вы приорели крутой пакет и у Вас возникли вопросы по его использованию на которые самостоятельно ответить не в состоянии с помощью прилагающихся к нему мануалов, то это значит только одно: не по Сеньке шапка, т.е. приобретайте что нибудь менее крутое для более тупых.

 

Проблема с нейросетями собсна одна, в прочем как и с другими ТС-ками, которые не используют нейросети - нейросеть всегда найдёт закономеность на любом заданном отрезке времени(участке тренировки или оптимизации), далее возникает один и тот же вопрос - будет ли эта найденная закономерность работать(приносить прибыль) в будущем?

 

Reshetov:

Из дерьма на входах получается конфетка на выходах.

Никогда.

Вполне не исключено, т.к. имеем дело с черным ящиком, что вместо нейросети в фирменном пакете будет задействован генетический алгоритм, а может быть какая нибудь регрессия или еще какой метод экстраполяции.

Как соотносится ГА с НС и регрессией?

НС -- это способ.

ГА -- это метод.

"Задействовать вместо НС ГА" -- звучит дико. Всё равно что "вместо сердца поставим анализатор выхлопных газов".

Извините.

 
LeoV:

.......далее возникает один и тот же вопрос - будет ли эта найденная закономерность работать(приносить прибыль) в будущем?

Допустим, чисто гипотетически, что будет найден, или уже найден, способ, позволяющий дать ответ на этот вопрос - "Нет". Причем, для любых ТС. Какой из этого можно было бы сделать вывод?

Трейдеры перестанут торговать? Просто интересно однако.

ЗЫ. Будут ли трейдеры покупать достоверную информацию, подтверждающую, что ответ "Нет"? Или предпочтут не знать ответ на этот вопрос? (риторика, если что)

 
joo:

Допустим, чисто гипотетически, что будет найден, или уже найден, способ, позволяющий дать ответ на этот вопрос - "Нет". Причем, для любых ТС. Какой из этого можно было бы сделать вывод?

Трейдеры перестанут торговать? Просто интересно однако.

ЗЫ. Будут ли трейдеры покупать достоверную информацию, подтверждающую, что ответ "Нет"? Или предпочтут не знать ответ на этот вопрос? (риторика, если что)

Чистая схоластика, если что.