Нейронная сеть в виде скрипта - страница 10

Новый комментарий
 

Распишите пожалуйста обозначения в формуле S[j] = Sum(i)(y[i]*w[i,j] - t[j]). Как я понял:

t[j] - вес порога (он умножается на сигнал равный -1)

y[i]*w[i,j] - вход умноженный на свой вес

S[j] - результат до применения логистической функции

А что такое Sum(i)?

 
sergeev писал (а) >>

Распишите пожалуйста обозначения в формуле S[j] = Sum(i)(y[i]*w[i,j] - t[j]). Как я понял:

t[j] - вес порога (он умножается на сигнал равный -1)

y[i]*w[i,j] - вход умноженный на свой вес

S[j] - результат до применения логистической функции

А что такое Sum(i)?

Sum[i] это сумма по i. Формулы здесь не умею писать.


t[j] - пороговое значение нейрона

y[i]*w[i,j] - выход пред. слоя умноженный связывающий вес

S[j] - взвешенная сумма до применения логистической функции

 
TheXpert писал (а) >>

Sum[i] это сумма по i. Формулы здесь не умею писать.

Я в принципе так сразу и подумал, что это сумма.

--------------

Дело в том, что порог добавляется не на каждое значение входа а в конце к общей сумме перед подачей на сигмоид. То естьэто порог для всего выхода в целом а не для каждого входа в отдельности.

Такая формула:

S[j]=Sum{y[i]*w[i,j]} - t[j]

Вот как у Юрия

for(i=0;i<NUM_INP;i++) // входной слой
    { 
        sum=0;
        for(j=0;j<NUM_INP;j++) sum+=ipl_W[i,j]*Input[j];
        ipl_Out[i]=Sigmoid(sum+ipl_Threshold[i]);
    }

и в принципе я с этим согласен, так как видел такую запись в литературе.

 
sergeev писал (а) >>

Я в принципе так сразу и подумал, что это сумма.

--------------

Дело в том, что порог добавляется не на каждое значение входа а в конце к общей сумме перед подачей на сигмоид.

то есть такая формула

S[j]=Sum{y[i]*w[i,j]} - t[j]

Вот как у Юрия

и в принципе я с этим согласен, так как видел такую запись в литературе.



Тьфу, конечно же Вы правы, я неправильно расставил скобки.

 

2 TheXpert

Из ваших постов я понял, что вы человек сведущий в НС. Не могли бы вы посоветовать начинающему с чего начать анализировать в НС для ознакомления с принципом ее работы..

И еще хорошее ли дело - использование обратной связи в сетях. Насколько она была эффективна в вашей практике?

 
sergeev писал (а) >>

2 TheXpert

Из ваших постов я понял, что вы человек сведущий в НС. Не могли бы вы посоветовать начинающему с чего начать анализировать в НС для ознакомления с принципом ее работы..

И еще хорошее ли дело - использование обратной связи в сетях. Насколько она была эффективна в вашей практике?


Честно говоря, даже не знаю, что сказать. У нас было 2 курса по НС в университете, начинали мы с азов: базовая модель нейрона, классификация сетей, методов обучения и т.д., затем персептрон, линейный и нелинейный, затем Кохонен, Хопфилд, Хемминг, рециркуляционные, рекуррентные сети....



Насчет рекуррентных сетей -- на практике не использовал, ИМХО, ее плюс и одновременно минус в том, что она зависит от предыдущих своих состояний, т.е. по определению подходит для биржи.

НО, опять же ИМХО, я считаю, что аналогичные результаты можно получить персептроном без обратных связей, если обучать по принципу скользящего окна. В этом также есть свой плюс -- метод скользящего окна позволяет оценить устойчивость\стохастичность (см. теория хаоса) полученного прогноза малой кровью, что может существенно помочь в условиях большой волатильности рынка и непредсказуемости результата.

 
Какова зависимость размерности и "слоистости" сети от количества шаблонов (патернов)?
 
Andy_Kon писал (а) >>
Какова зависимость размерности и "слоистости" сети от количества шаблонов (патернов)?

Саймон Хайкин в своей книге "Нейронные сети" на стр. 282 приводит теорему об универсальности НС с ОДНИМ скрытым слоем. Вот следствие:

А вот, какой смысл Вы вкладываете в словосочетание "размерность сети" я не понял. Это число нейронов в скрытых слоях или число входов НС?

Если число входов, то произведение числа входов на размер обучающей выборки (количество паттернов) должен быть равен квадрату весов НС.

Если это число нейронов в скрытых слоях, то их количество определяется сложностью поставленной задачи и находится экспериментально.

 

размерность и "слоистость"

1. Размерность - количество нейронов в слое(ях).

2. "Слоистость" - количество слоёв.

3. Из этого вытекает следующий вопрос, измение нейронов в слоях, от слоя к слою?

4. Количество циклов обучения от количества слоёв, размерности и количества шаблонов (патернов) - (оптимально)?
 

Что такое " измение нейронов в слоях", это процесс модификации синаптических весов нерона (нейронов) во время обучения НС, или поиск оптимальной архитектуры НС путём постепенного изменения числа неронов в слоях во время оптимизации?

Ну, а количество циклов обучения определяется достижением минимума ошибки обобщения и напрямую к числу слоёв (и прочему) не привязывается, хотя и слабо-нелинейно зависит от числа нейронов и количества слоёв. Это зависит от "изрезанности" многомерной поверхности признаков, которую строит НС для поиска её глобального минимума. Если сеть работает правильно, то достаточно 50-100 эпох обучения по методу Обратного Распространения Ошибки. Правда, чтобы было так, придётся изрядно попыхтеть.

1...34567891011121314
Новый комментарий