"Новый нейронный" - проект Open Source движка нейронной сети для платформы MetaTrader 5. - страница 80

 
Urain:

По поводу разреженности (писал выше) можно на основе маски создавать индексный массив для каждого нейрона, который после подсчёта будет указывать куда раскладывать выходы

Вроде логичнее было бы откуда брать входы, а выходы пусть берет кто хочет.
 

Да!!! тема очень интересна. Хочется не много обхватить тему оптимизации нейросетки при помощи естественных алгоритмов на примере оптимизации роя пчел или еще как его называют роя частиц. Когда я прочел статью про этот метод, у меня возникла мысль на что это похоже, так это не что иное, как OpenCL только уже непосредственно применительно к нейронке так по чему бы не попробовать реализовать это при помощи дополнительных графических DDL  OpenGL к примеру, тем более  что тестр позволяет. Если кому то интересно могу  дать ссылку на одну интересную статью там же есть ссылка на исходник. 

 
MetaDriver:
Но.  Такой подход даже не содержит зародыша для попыток генетического скрещивания топологий.

Я о таком не слышал. Неужели скрещивание разных топологий приведёт к чему-то лучшему чем эволюция одной и той же топологии?

 

 
gpwr:

Я о таком не слышал. Неужели скрещивание разных топологий приведёт к чему-то лучшему чем эволюция одной и той же топологии?

Мулы и лошаки для некоторых видов деятельности более пригодны, нежели ослы и лошади.  Это так, мысли вслух.  Идее ещё зреть и зреть.
 
gpwr:

Я о таком не слышал. Неужели скрещивание разных топологий приведёт к чему-то лучшему чем эволюция одной и той же топологии?

Бывает. Например кохонен с персептроном.
 
her.human:
Вроде логичнее было бы откуда брать входы, а выходы пусть берет кто хочет.

Можно и так, сути модели это не меняет. Хотя нужно проверять на скорость какой из вариантов будет быстрее.

gpwr:
Слоя нужны так как в некоторых сетях разные слои имеют разную обработку входов и разные подсоединения нейронов между собой внутри слоя.  Вообще-то мне непонятна практичность цели построения универсальной сети. Существуют много сетей с их нюансами (функциями нейронов в разных слоях, их подсоединением, тренеровкой весов, и т.д.). Описание их всех одной моделью мне кажется невозможным или неэффективным. Почему бы не создать библиотеку разных сетей?

Каждый нейрон можно определить своим типом (не говоря уже о слое), который будет задаваться расширяемым функционалом потомков базового класса CProcessing. Кстати я идею продумывал, а вот реализацию лепил что называется на коленках. Хотелось обсудить, а потом что то уже продуманное реализовывать. Думал что будет понятно что в CProcessing должна быть функция Trening, и для каждого типа нейрона она может быть своя зависит от производной и ещё бог знает от чего. Причём могут быть Trening как прямого распространения так и обратного.

Получаем наряду с универсальной топологией универсальную схему обучения, что нужно делать с нейроном для того чтоб он учился описано в самом нейроне а процессинг обучения это единое стандартизованное продвижение по сетке.

Вы видели где нибудь чтоб например в MLP были вкраплены радиально базисные нейроны и при этом это всё нормально училось?, да у программмиста крышу сорвёт когда он захочет это запрогать. А тут это реализуемо.

 

Идея универсального описания (включающего исчерпывающее описание топологии) перспективна хотя бы тем, что можно будет (наконец то!) абстрагироваться от того самого "типа сетки" - довольно искусственного понятия, если разобраться.

Я не против того, щёб некоторым конкретным топологиям давать конкретные имена (чисто для удобства). Но только до тех пор, пока эти имена не начинают гипнотизировать и создавать барьеры восприятия сути, и мешать скрещивать идеи между собой.  А это на каждом шагу наблюдаемо во всех областях жизнедеятельности.

 

Читая ваши коментарии по теме пришел к выводу - Хочется увидить бету проекта когда она будет? и статью с детальным описанием.

 
Urain:
...
То есть, могут иметься, кое где, обратные связи?
 
GKS:

Читая ваши коментарии по теме пришел к выводу - Хочется увидить бету проекта когда она будет? и статью с детальным описанием.

Пока рабочее обсуждение, время покажет.

MetaDriver:

Идея универсального описания (включающего исчерпывающее описание топологии) перспективна хотя бы тем, что можно будет (наконец то!) абстрагироваться от того самого "типа сетки" - довольно искусственного понятия, если разобраться.

Я не против того, щёб некоторым конкретным топологиям давать конкретные имена (чисто для удобства). Но только до тех пор, пока эти имена не начинают гипнотизировать и создавать барьеры восприятия сути, и мешать скрещивать идеи между собой.  А это на каждом шагу наблюдаемо во всех областях жизнедеятельности.

Можно будет сделать загрузочные шаблоны под именами, например шаблон "MLP" прописывает типы всех нейронов "персептронами".