Рыночный этикет или правила хорошего тона на минном поле - страница 19
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Вот еще в кассу:
1. Еще один вариант заражение системы - введение дополнительного рандомного входа в нейрон или группу нейронов - орган.
2. "Орган" может быть представлен как специализированная группа нейронов, обладающих одной всеобщей обратной связью - т.е. каждый нейрон органа "знает" что на выходе любого другого нейрона из его группы( органа или семьи), а каждая группа осведомлена о том, что на выходе организма. Такая НС будет спсобна к динамической самонастройке и потребность в обучении станет для нее одной из доминант - т.е. система сможет целенаправленно и самомотивированно искать и обобщать нужные ей знания. Наша задача сведется к тому, чтобы понастроить для нее препятствий и разбросать то тут то сям кусочки знаний -:)
Гиблый номер -- если все сделано правильно (в организации и обучении сети), То после определенного количества итераций обучения орган будет изолирован.
Другое дело -- "заражать" процесс обучения если ввести относительно малую рандомную составляющую в дельта-правило, это позволит в некоторых случаях увеличить скорость обучения, а также эффективно выходить из локальных минимумов. Это уже проверенный способ.
Гиблый номер -- если все сделано правильно (в организации и обучении сети), То после определенного количества итераций обучения орган будет изолирован.
А не надо правильно делать...
Орган на то и орган, чтобы печень не вмешивалась в функции селезенки. Сеть не станет изолировать все органы, поскольку для нее это критическое уменьшение энтропии - "смерть".
Ну если что и отпадет - значит было лишним.
Основную тему этой ветки я уже успел оценить! -:) Ты гений и я не шучу!
Есть идейка. Вполне возможно - свежая. Вчера ночью у меня произошло "КЗ"... на всех уровнях персональной нейросети -:)
Дело в том, что я всю жизнь изучал человека, и не только в контексте его социальной и личной реализации - ибо все это "поверхность", а как целостный феномен бытия и "сосуд сознания". И вот сегодня, в одну ночь, все что было накоплено за много лет систематизировалось(самоорганизовалось) в из просто упорядоченного набора фактов и предположений в самостоятельную целостность.
Я не могу скрыть своего восторга! Ну, ладно... это было лирическое отступление.
Идея простая:
Чтобы повысить робастность НС любого масштаба и назначения нужно попробовать их... заразить. Вирус - весчь безусловно смертельная для детерминированной логики машины тьюринга - для НС и искуственного интеллекта, при грамотном, "дозированном" применении может оказаться просто "живой водой". Теперь обо всем по-порядку:
1. Все живые организмы - суть нейросети. Утверждение может показаться слишком смелым, однако это феноменологический факт.
2. Все живые организмы помещены в агрессивную среду с целью обучения - мы называем его эволюцией. Надо лишь помнить о том, что наряду с эволюцией форм, происходит непрекращающаяся эволюция индивидуальных сознаний, воплощенных в эти формы. Само же сознание - эффект сложности системы(нейросети), а его эволюционная "Планка" -:), предполагаю - есть отношение сложности системы к энтропии системы.
3. Системы, энтропия которых упала ниже определенного предела, вымирают, т.к. не способны к дальнейшей эволюции, однако же системы, энтропия которых выросла выше определенного предела тоже саморазрушаются. Отсюда вывод: Для того, чтобы система успешно эволюционировала, её энтропия должна периодически, на некоторое время достигать предельно допустимых, в данной системе, величин. Такое положение дел мы называем "болезнью". Говоря слово "болезнь" я имею его в виду в довольно широком смысле - т.н. вполне здоровый с виду преступник - это больной человек. Только болеет не его тело, а его сознание и боль он получает, по-большей части не ввиде температуры и гриппа, а в виде т.н. "тяжелого креста", "судьбы" и так далее. Однако и эта "социальная" боль, получаемая таким человеком - есть один из видов обучающего воздействия эволюционного континуума - повышение энтропии этого существа до едва выносимых пределов. Тут встает философический вопрос об учителе и его целях... который, однако, выходит далеко за рамки нашей форумной беседы -:)
4. Те, кто выживают - выработали иммунитет - в самом широком смысле - т.е. не только против болезнетворных микробов и социальный, но что еще более важно для эволюции - транзакционный внешний и транзакционный внутренний.
5. В любой живой системе присутствуют такие "микроорганизмы" которые непременно убьют её при достаточно сильном ослаблении иммунитета. Зачем природа это сделала? А вот как раз затем, чтобы за счет постоянной внутренней "тренировки" системы на выживание увеличить способность этой же ситстемы к сопротивлению факторам внешней среды, а следовательно иметь больше возможностей(времени) на продолжение индивидуальной эволюции.
6. Предположим, что задачей эволюционирующей системы является выработка иммунитета(во всех смыслах). Тогда получается интерсная весчь: количество входов живых НС а так же число выходов(выходов еще меньше) смехотворно мало по сравнению с количеством их нейронов и связей! Т.е. берем и резко увеличиваем число нейронов в промежуточном слое(если слоя три - входной, скрытый и выходной), а теперь можно попробовать "заразить" НС. Сделать это можно посредством внесения дозированной рандомизированной ошибки во время коррекции весов! А если шагнуть чуть дальше, то возможно альтернативное обучение НС путем увеличения или уменьшения частоты или амплитуды этой рандомизированной ошибки.
Для примера можно попробовать перед коррекцией весов добавлять к корректору небольшую ошибку с помощью функции, которая(случайно) один раз из 1000 обращений к ней возвращала бы некоторую случайную величину из определенного (напр. +0,01/ -0,01 ) диапазона. Неизвестно когда и какой нейрон получит небольшое ошибочное приращение. Чем чаще такие приращенияя будут случаться - тем выше энтропия системы. Тогда, для сохранения работоспособности НС будет вынуждена учитывать... собственную ошибку!
Вот еще в кассу:
1. Еще один вариант заражение системы - введение дополнительного рандомного входа в нейрон или группу нейронов - орган.
2. "Орган" может быть представлен как специализированная группа нейронов, обладающих одной всеобщей обратной связью - т.е. каждый нейрон органа "знает" что на выходе любого другого нейрона из его группы( органа или семьи), а каждая группа осведомлена о том, что на выходе организма. Такая НС будет спсобна к динамической самонастройке и потребность в обучении станет для нее одной из доминант - т.е. система сможет целенаправленно и самомотивированно искать и обобщать нужные ей знания. Наша задача сведется к тому, чтобы понастроить для нее препятствий и разбросать то тут то сям кусочки знаний -:)
+5
Сам думал о подобном. Куча интересных и не тривиальных зависимостей открывается при работе с ИИ.
К примеру, не так давно я понял зачем нам нужны сны... Оказывается, во сне наш мозг переживая ранее увиденное, тренирует синапсы, устраняя таким образом неизбежгную их дистрофию (это биологический объект, в котором постоянно идут обмененые процессы и накапливаются ошибки) и если бы не сон, мы бы через год потеряли все когнетивные навыки и долгосрочную память! - Превратились бы в простейших, которые помнят только то, что видят. Сильные переживания (связанные с событиями изменяющими жизнь) преследуют нас во сне всё время, закрепляя таким образом полезное знание топором.
Сильные переживания (связанные с событиями изменяющими жизнь) преследуют нас во сне всё время, закрепляя таким образом полезное знание топором.
Ну это поравимо. Контекст обучения не обязательно должен быть отрицательным. Для системы, которая "вкурила" чего от нее ждут и "приняла" эту цель как свою собственную(как свое основное назначение = смысл жизни) сны перестают носить отпечаток кошмаров и в снах обучение может быть продолжено на очень высоких скоростях.
Neutron, я все же хотел бы поговорить о выбеливании входов, и насчет распространения ошибки на следующие уровни тоже
Привет, paralocus.
Я сейчас вожусь с Маткадовским Зиг-Загом - (где-то у меня в голове глюкнуло) и паралельно занимаюсь нормализацией входных данных для НС. Вот, что по-последней теме получается: Пусть у нас имеется входные данные с произвольным распределением приращений, определённых на всей числовой прямой. Нужно найти алгоритм отображения этого распределения в диапазон +/-1 с полочкообразным распределением плотности вероятности (ПВ).
Для примера возьмём ряд EURUSD 1m построим график распределения ПВ разности d[i]=Open[i]-Open[i+1] рис. слева:
Добротное такое экспоненциальное распределение получилось, его и будем превращать в единичную полочку. Для этого построим ФР ПВ просто найдя коммулятивную сумму от ПВ (рис. справа) и отнормировав каждую ветвь до 1 с учётом знака ветви (предварительно сместив кривую на соответственное её значение в "ноль" в максимуме распределения ПВ). Получилось подобие сигмоиды. Теперь, берём исходный ряд приращений и воздействуем на каждое нашей сигмоидой как оператором, который и отобразит их в еденичную полочку. Я для этого просто подставлял значение приращения d[i] в качестве аргумента полученной сигмоиды:
Получилось что-то не совсем полочкообразное, но близко к этому. Сравни с исходным распределением. Разрежение в центре полученного распределения неизбежно, ведь нам приходится где-то растягивать, что бы где-то натолкать погуще. Думаю, для НС это идеальный коктейль на входе.
P.S. Вот интересно, почему не получилось идеальной полочки. Это принципиально невозможно и является ограничением метода, или я чего-то упускаю в построениях?
Щас, врублюсь в то, что ты написал - отвечу
P.S. Вот интересно, почему не получилось идеальной полочки. Это принципиально невозможно и является ограничением метода, или я чего-то упускаю в построениях?
Я тоже над этим думал вчерась... (конечно не так математично как ты - так я просто не умею) вобщем, есть у меня подозрение, что сие неспроста! Т.е. ничего ты не упускаешь.
Что-то есть особенное в свойствах d[i]=Open[i]-Open[i+1]. Имеется интуитивная догадка, что мы в данном случае имеем на входе фрактальный ВР, на который аккуратно воздействуем непрерывным оператором(напр. th(x) или сигмоида), поэтому идеальной полочки не получиться - распределение вероятностей Open[i]-Open[i+1] скорее всего Херстово. У меня сделано более грубо, поэтому середина - 0 вообще пропадает. Кстати, а почему ты берешь Ореn?
Не люблю возиться с чем-то не сформировавшимся. Это привычка из Маткада, там "заглянуть" в не нарочно будущее при тестировании ТС - как два пальца об асфальт! Единственная гарантия от этого - сформировавшиеся бары, или цены отркрытия. Уж они точно не скачут.
Ты намекни, что за проблема у тебя с корреляцией входных сигналов. Что подаёшь на вход, и почему решил что проблема существует. Ведь, чем её решать, легче убедиться в её отсутствии:-)