Распределенные вычисления. Проект Volvox. - страница 4

Новый комментарий
 
Давайте попробуем.
 
sergeev:
Давайте попробуем.

ICQ 213-878-996 или почта vinin(собака)mail.ru. Как удобнее. Отвечу не раньше воскресения.
 

по поводу параллельных вычислений:

NVidia уже выпустила пакет для работы с NVidia GPU. http://www.nvidia.ru/object/IO_39959.html

А Элкомсофт успешно его использовали для взлома паролей :-) - http://news.ferra.ru/hard/2007/10/25/74628/

Расчеты ускорились в 25(!) раз. И это все делается на одном компутере(!) а в хай-енд материнку можно воткнуть и 4 карты.

 

sergeev писал(а) >>

Но все таки я так и не понял можно ли распаралелить вычисления при обучении нейросетей?


Можно, но далеко не все алгоритмы обучения.

Если интересно, можете почитать про систолические нейропроцессоры.

Но на практике распределенные по сети вычисления реализовать эффективно будет очень непросто.

Возможно три варианта распараллеливания:

1. выделение в отдельный блок нейрона.

2. выделение в блок слоя сети

3. распределение шагов обучения (прямое распространение, обратное распространение сигнала) для входов

Возможно, есть еще варианты.


1. -- неэффективно при медленной связи между нейронами.

2 и 3 накладывают существенные ограничения на применяемые алгоритмы обучения.

1234
Новый комментарий