Обсуждение статьи "Третье поколение нейросетей: "Глубокие нейросети"" - страница 4
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
vlad1949:
... разработка одиночки (возможно талантливого программиста) еще не доведенная до практической реализации
Уже доведённая. Первая версия опубликована на code.google.com. Проект называется libvmr
Пока только на Java. Позже буду портировать и на другие языки, включая mql5.
vlad1949:
...
Предложение такое: Тему Решетова обсуждать в его блоге или в отдельной ветке (если он ее организует).
Здесь приветствуются мнения и соображения по теме статьи - "Глубокие нейросети".
Можно и по глубокому обучению.
Например, для того чтобы улучшить классификацию, скажем для изображений, то обучать автоэнкодеры с помощью инвариантности. Например, нам нужно различать изображения двух классов. Пусть это будут чарты финансовых инструментов с изображением тезнических индикаторов. Первый класс - чарт перед ростом котировок вверх. Второй класс - чарт перед ростом котировок вниз. В таком случае при обучении автоэнкодеров нужно подавать на входы для первого класса изображения без изменений, а для второго инверсные, т.е. негативные.
Также, уже готовые автоэнкодеры, обученные с помощью алгоритма обратного распространения можно собрать в каскад и на выходе поставить нейрон уже обученный с помощью VMR.
Reshetov:
Если ты прав твой "глубокий" интеллект прошедший тест тьюринга уже должен поработить интернет и управлять миром.
Если честно заколебал ты свой безапелляционностью.
Если ты прав твой "глубокий" интеллект прошедший тест тьюринга уже должен поработить интернет и управлять миром.
Андрюха, ты шибко не шуми тут. А то санитары услышат про Тьюринга, проснутся и тогда захват мирового господства накроется медным тазом.
Если честно заколебал ты свой безапелляционностью. .
Прими успокоительного и всё будет чики-пуки. После порабощения интеллектом, получишь десятую часть вселенной, ежели не будешь громко бузить.
Уже после написания статьи натолкнулся на драфт книги одного из ведущих исследователей в области «Глубокого обучения» Yoshua Bengio и др. http://www.iro.umontreal.ca/~bengioy/dlbook/
Много математики, но вместе с тем даны ясные определения и основные понятия по теме, от основных до перспективных.
Ниже несколько выдержек свободного перевода.
В разделе 10. «Unsupervised and Transfer Learning” авторы считают, что не смотря на то, что обучение с учителем было рабочей лошадкой последних промышленных успехов глубокого обучения, ключевым элементом будущих достижений может быть обучение представлениям (образам?) без учителя (unsupervised learning of representations.). Идея в том, что некоторые представления могут быть более полезными (например при классификации объектов из изображений или фонем из речи) чем другие. Как утверждается там, это предполагает обучение представлений для того, чтобы выбрать самые лучшие на систематической основе, т. е. за счет оптимизации функции, которая отображает необработанные данные их представлениями.
В статье мы рассматривали некоторые из основных строительных блоков для неконтролируемого обучения представлений ( АвтоЭнкодер и RBM) и очень успешные рецепты для их объединения, с тем чтобы сформировать глубокие представления (Stacked AutoEncoder and Stacked RBM) обучаемые жадно послойно без учителя (greedy layerwise unsupervised pre-training,).
В последующем при обучения глубоких сетей с учителем (fine tuning), мы обучаем представления с целью выбора одного, которое лучше всего подходит к задаче предсказания цели, представленной входами .
А что, если вместо одной задачи у нас есть много задач, которые могли бы иметь общие представления или их часть? (this is multi-task learning, )
“Transfer Learning and Domain Adaptation «
Передача знаний и адаптация домена относятся к ситуации, когда то, что было
изучено в одних условиях (т.е., распределение P1) использовано для улучшения обобщение в других условиях (скажем, распределения Р2)
В случае передачи знаний, мы считаем, что задачи различны, но многие из
факторов, которые объясняют распределение P1 имеют отношение к изменениям, которые должны быть захвачены для изучения P2. Это, как правило, понимается в контексте контролируемого обучения, в котором входы те же самые, но цель может быть различной природы, например, узнать о зрительных категориях, которые являются различными в первом и втором случае. Если есть гораздо больше данных в первой выборке (взятой из P1), то это может помочь узнать представления, которые являются полезными для быстрого обобщения, при обработке примеров из Р2 .
Например, многие визуальные категории имеют общие понятия низкого уровня( ребра и визуальные формы), эффекты геометрических изменений, изменения в освещении и т.д.
В общем, передача знаний, многозадачное обучение и адаптация домена может быть достигнуто благодаря обучению представлений, когда существуют функции, которые могут быть полезными для различных настроек или задач, т.е. есть общие основные факторы.
В случае адаптации домена мы считаем, что решаемая задача та же самая, но входные наборы различны. Например, если мы прогнозируем настроения (положительные или отрицательные), связанные с текстовыми комментариями в Интернете, первой выборкой может быть ссылка на потребительские комментарии о книгах, видео и музыке, в то время как второй набор может относиться к телевидению или другим продуктам.
В то время как многозадачное обучение , как правило, рассматривается в контексте обучения с учителем, более общее понятие передача знаний (transfer learning) применяется для неконтролируемого обучения и обучения с подкреплением.
Экстремальной формой передача знаний является обучение «с одного взгляда» (one-shot learning) или даже обучение «не глядя» (zero-shot learning) , когда даны один или ни одного примера новой задачи.
Коротко два важных вывода.
Для глубокого обучения нейросетей с претренингом бессмысленно говорить о важности отдельных предикторов. Важно наличие внутренней структуры в наборе. Это даст возможность на этапе обучения без учителя извлечь глубокие представления (образы) а на этапе обучения с учителем определить насколько хорошо они соответствуют решаемой задаче.
Побочным положительным эффектом претренинга является то, что извлекаются представления отлично подходящие для решения нейросетью другой задачи, не той которой мы учили её на втором этапе.
Конкретней. Если Вы внимательно читали статью, то обратили внимание на то, что мы обучали нейросеть классифицировать входы предъявляя сигналы ЗигЗаг. По итогу результаты Accuracy не впечатляющие. Но зато результаты суммарного баланса, полученные по предсказанным сигналам обученной нейросети, выше чем по сигналам ЗигЗага! Для оценки эффективности предсказания я ввел коэффициент К. Это средний прирост в маленьких пунктах на один бар графика. Для ZZ он равен например 17 а по предсказаниям сети от 25 до 35 в зависимости от инструмента ( на ТФ М30).
Это и есть передача знаний (transfer learning ) - когда обучаясь на одном наборе данных мы получаем решения по нескольким различным задачам.
Чрезвычайно перспективная и развивающаяся тема.
Чтобы закончить начатую в статье работу в следующем посте приведу пример оптимизации параметров DN SAE с помощью эволюционного (в простонародии генного) алгоритма.
Не рассматривал использование DN SRBM. В моей практике не показала стабильных результатов.
Успехов
Уже после написания статьи натолкнулся на драфт книги одного из ведущих исследователей в области «Глубокого обучения» Yoshua Bengio и др. http://www.iro.umontreal.ca/~bengioy/dlbook/
Много математики, но вместе с тем даны ясные определения и основные понятия по теме, от основных до перспективных.
Вот честно скажу, когда прочитал статью, впечатление сложилось какое-то странновато- мутное, но списал что ли на изложение по принципу "все в кучу". Потом почитал книжку по ссылке. Практически все, что представлено в этом произведении - увы, давно пережеванные идеи, кем-то представляемые как нечто новое и удивительное. И теперь математик и инженер-исследователь говорят во мне лишь одно: эта тематика предназначена для выбивания денег из госбюджетов, увы.
Кстати, математики (какой-то своей, а не переписанной из учебника) - в книжке нет. Заклинания какие-то в виде формул только... Не вижу я в общем научных перспектив, по крайней мере, до тех пор пока в этом направлении не появится какая-то действительно новая идея. Но для этого нужны, прежде всего, теоретические исследования (которые никто! не проводит), а не практическая магия. Пока же ребята, видимо, и сами не особо понимают, что хотят.
То бишь вы хотите запретить прикладное применение ГО и натравить на него ботанов-теоретиков?
Там и без ботанов понятно, что через автоэнкодеры или МБ просочится только наиболее чёткий сигнал, а всё остальное размажется и станет незаметным.
То бишь вы хотите запретить прикладное применение ГО и натравить на него ботанов-теоретиков?
Да нет, конечно. Я всего лишь в меру возможностей борюсь с попытками заменять науку, неважно, прикладную или теоретическую, шаманизмом. А именно это творится в области НС, которая на самом деле застряла и в прикладном, и в теоретическом уже лет десять как.
А в чём проблема для науки? Кто запрещает теоретизировать на тему машинного обучения?
Другой компот, что вся эта теоретизация вмиг может быть опровергнута, т.к. есть открытые репозитории с выборками из прикладных областей и есть готовые пакеты для исследований, типа R или Weka, с помощью которых любой желающий может запросто опровергнуть любые теоретические гипотезы.
В том то и отсутствие проблем, что машинное обучение выросло из коротких штанишек, когда были одни только голые теории, но практические результаты в области обобщающей способности алгоритмов не подымались выше плинтуса. Как только вычислительные ресурсы стали общедоступны, прикладники вытеснили ботанов-теоретиков из этой области.
А в чём проблема для науки? Кто запрещает теоретизировать на тему машинного обучения?
Другой компот, что вся эта теоретизация вмиг может быть опровергнута, т.к. есть открытые репозитории с выборками из прикладных областей и есть готовые пакеты для исследований, типа R или Weka, с помощью которых любой желающий может запросто опровергнуть любые теоретические гипотезы.
В том то и отсутствие проблем, что машинное обучение выросло из коротких штанишек, когда были одни только голые теории, но практические результаты в области обобщающей способности алгоритмов не подымались выше плинтуса. Как только вычислительные ресурсы стали общедоступны, прикладники вытеснили ботанов-теоретиков из этой области.
В чем мы несогласны вообще? Прикладники, вытесняющие ботанов, - это, естественно, хорошо. К тому же с доступностью вычислительных ресурсов стали разрешимы многие проблемы, над которыми раньше приходилось думать теоретически. Но это не значит, что вычислительные ресурсы решат все проблемы. Экстенсивный путь не вечен, и его возможности уже подходят к концу. Поэтому рано или поздно придется вернуться к ботанизму.