"Новый нейронный" - проект Open Source движка нейронной сети для платформы MetaTrader 5. - страница 74

 
Urain:
Давайте поставим експеримент, создайте сетку на 1000 нейронов по 100 связей на нейрон, и опубликуйте размер файла

~6 МБайт

Сеть 100х1000х1 - полносвязная

Прикрепил ))

А теперь расскажите, плз, как Вы ее собираетесь обучать ??? 

Я знаю только один вид сетей, которые могут иметь размеры похожего порядка, но они не обучаются и хранить их не надо - они формируются за один проход по обучающей выборке и тупо ее запоминают

Обучить такую сеть с помощью ГА не смогут все компьютеры всех фантастических фильмов вместе взятые: размерность пространства поиска 100 000

Вернее так - я уверен, что такая сеть просто запомнит обучающую выборку и Вы получите вместо обобщения скриншот всей истории 

Надо аккуратнее подходить к выбору архитектуры )) 

Файлы:
UrainTask.zip  93 kb
 
yu-sha:

~6 МБайт

Прикрепил ))

А теперь расскажите, плз, как Вы ее собираетесь обучать ??? 

Да обучать как раз не проблема, я же писал выше что для UGA 100 000 параметров вполне приемлемая задача, не скажу что плёвая но посильная.

А вот размер вполне нормальный, больше по этому поводу можно не заморачиваться, как говорится вопрос закрыт.

 
Urain:

Да обучать как раз не проблема, я же писал выше что для UGA 100 000 параметров вполне приемлемая задача, не скажу что плёвая но посильная.

А вот размер вполне нормальный, больше по этому поводу можно не заморачиваться, как говорится вопрос закрыт.

Даже, если дискретность каждого параметра выставить 0.1, то число сочетаний всевозможных комбинаций полного перебора - это 10^100000

У Вас сильно радужные представления о ГА 

 
yu-sha:

Даже, если дискретность каждого параметра выставить 0.1, то число сочетаний всевозможных комбинаций полного перебора - это 10^100000

У Вас сильно радужные представления о ГА 

У меня не радужные представления, а практические знания об использовании этом алгоритма, UGA это не бинарный алгоритм которому нужно разбивать пространство поиска на графы.

UGA ведёт параллельный поиск по всем измерениям одновременно, постепенно уменьшая шаг автоматически, что даёт ему возможность за приемлемое время достигать робастого результата, а больше для обучения сетки и не нужно, дальше будет переобучение. Обычно за 10000-50000 ФФ результат достигается не зависимо от количества параметров.

 
yu-sha:

~6 МБайт

Сеть 100х1000х1 - полносвязная

Прикрепил ))

А теперь расскажите, плз, как Вы ее собираетесь обучать ??? 

Я знаю только один вид сетей, которые могут иметь размеры похожего порядка, но они не обучаются и хранить их не надо - они формируются за один проход по обучающей выборка и тупо ее запоминают

Обучить такую сеть с помощью ГА не смогут все компьютеры всех фантастических фильмов вместе взятые: размерность пространства поиска 100 000

Вернее так - я уверен, что такая сеть просто запомнит обучающую выборку и Вы получите вместо обобщения скриншот всей истории 

Надо аккуратнее подходить к выбору архитектуры )) 

Понятно, что такая сеть никому не нужна (бесполезна). Поэтому речь идет о свободной архитектуре (наращиваемой).

Ради эксперимента, попробую обучить c помощью ГА на своей маленькой железке с N450. Чему учить, сколько примеров, ошибка и т.д.?   

 

P.S. Пока будет обучаться, буду изучать ваши коды. 

 
her.human:

Понятно, что такая сеть никому не нужна (бесполезна). Поэтому речь идет о свободной архитектуре (наращиваемой).

Ради эксперимента, попробую обучить c помощью ГА на своей маленькой железке с N450. Чему учить, сколько примеров, ошибка и т.д.?   

А каким ГА собираешься учить?
 
Urain:

У меня не радужные представления, а практические знания об использовании этом алгоритма, UGA это не бинарный алгоритм которому нужно разбивать пространство поиска на графы.

UGA ведёт параллельный поиск по всем измерениям одновременно, постепенно уменьшая шаг автоматически, что даёт ему возможность за приемлемое время достигать робастого результата, а больше для обучения сетки и не нужно, дальше будет переобучение. Обычно за 10000-50000 ФФ результат достигается не зависимо от количества параметров.

Подтверждаю. Выделенное жирным - робастый результат (не обязательно абсолютный максимум).

Главное - есть возможность обучать сетки огромных размеров. А нужны ли эти огромные размеры сеток - это уже на совести каждого конкретного узверя. :)

 
joo:

Подтверждаю. Выделенное жирным - робастый результат (не обязательно абсолютный максимум).

Главное - есть возможность обучать сетки огромных размеров. А нужны ли эти огромные размеры сеток - это уже на совести каждого конкретного узверя. :)

Ну чтоб не рисовать полностью радужные перспективы, нужно добавить, что хоть количество запусков ФФ почти не растёт (для достижения робастого решения) время нахождения результата всё же увеличивается, так как алгоритму приходится гонять на порядки большие массивы (те фактически операций он выполняет больше), но во первых время растёт линейно, а во вторых во время тестов главной спотыкалкой всегда была скорость ФФ и в частности скорость НС как части ФФ, с серьёзным ускорением НС на GPU ожидается и ускорение времени нахождения решения в целом для ГА.

Документация по MQL5: Стандартные константы, перечисления и структуры / Константы индикаторов / Стили рисования
Документация по MQL5: Стандартные константы, перечисления и структуры / Константы индикаторов / Стили рисования
  • www.mql5.com
Стандартные константы, перечисления и структуры / Константы индикаторов / Стили рисования - Документация по MQL5
 
Urain:
А каким ГА собираешься учить?

Суть не в том - каким. Просто интересно, потянет ГА с такой слабенькой железкой?

Облегченная версия алгоритма joo. 

 
her.human:

Суть не в том - каким. Просто интересно, потянет ГА с такой слабенькой железкой?

Облегченная версия алгоритма joo. 

Как то думал написать тестилку для обучения маленькой сеточки Тестерным ГА, типа той что выше рисовал, 6 весов 3 нейрона, задача XOR, да всё руки не доходят :)