Dmitriy Gizlyk / Профиль
- Информация
10+ лет
опыт работы
|
0
продуктов
|
0
демо-версий
|
134
работ
|
0
сигналов
|
0
подписчиков
|
![Нейросети — это просто (Часть 49): Мягкий Актор-Критик (Soft Actor-Critic)](https://c.mql5.com/2/56/Neural_Networks_are_Easy_Part_49_avatar.png)
Мы продолжаем рассмотрение алгоритмов обучения с подкреплением в решении задач непрерывного пространства действий. И в данной статье предлагаю познакомиться с алгоритмом Soft Аctor-Critic (SAC). Основное преимущество SAC заключается в способности находить оптимальные политики, которые не только максимизируют ожидаемую награду, но и имеют максимальную энтропию (разнообразие) действий.
![JimReaper JimReaper](https://c.mql5.com/avatar/2023/9/650d3819-17e6.jpg)
![Shah Yahya Shah Yahya](https://c.mql5.com/avatar/2023/5/646ca470-5368.jpg)
![Нейросети — это просто (Часть 48): Методы снижения переоценки значений Q-функции](https://c.mql5.com/2/56/NN_part_48_avatar.png)
В предыдущей статье мы познакомились с методом DDPG, который позволяет обучать модели в непрерывном пространстве действий. Однако, как и другие методы Q-обучения, DDPG склонен к переоценки значений Q-функции. Эта проблема часто приводит к обучению агента с неоптимальной стратегией. В данной статье мы рассмотрим некоторые подходы преодоления упомянутой проблемы.
![Нейросети — это просто (Часть 47): Непрерывное пространство действий](https://c.mql5.com/2/55/Neural_Networks_Part_47_avatar.png)
В данной статье мы расширяем спектр задач нашего агента. В процесс обучения будут включены некоторые аспекты мани- и риск-менеджмента, которые являются неотъемлемой частью любой торговой стратегии.
![Tanaka Black Tanaka Black](https://c.mql5.com/avatar/2021/2/601F61A4-E18C.jpg)
![Нейросети — это просто (Часть 46): Обучение с подкреплением, направленное на достижение целей (GCRL)](https://c.mql5.com/2/55/Neural_Networks_Part_46_avatar.png)
Предлагаю Вам познакомиться с ещё одним направлением в области обучения с подкреплением. Оно называется обучением с подкреплением, направленное на достижение целей (Goal-conditioned reinforcement learning, GCRL). В этом подходе агент обучается достигать различных целей в определенных сценариях.
![Нейросети — это просто (Часть 45): Обучение навыков исследования состояний](https://c.mql5.com/2/55/Neural_Networks_Part_45_avatar.png)
Обучение полезных навыков без явной функции вознаграждения является одной из основных задач в иерархическом обучении с подкреплением. Ранее мы уже познакомились с 2 алгоритмами решения данной задачи. Но вопрос полноты исследования окружающей среды остается открытым. В данной статье демонстрируется иной подход к обучению навыком. Использование которых напрямую зависит от текущего состояния системы.
![Нейросети — это просто (Часть 44): Изучение навыков с учетом динамики](https://c.mql5.com/2/55/Neural_Networks_are_Just_a_Part_Avatar.png)
В предыдущей статье мы познакомились с методом DIAYN, который предлагает алгоритм изучения разнообразных навыков. Использование полученных навыкает может быть использовано различных задач. Но подобные навыки могут быть довольно непредсказуемы, что может осложнить из использование. В данной статье мы рассмотрим алгоритм обучения предсказуемых навыков.
![Нейросети — это просто (Часть 43): Освоение навыков без функции вознаграждения](https://c.mql5.com/2/54/NN_Simple_Part_43_avatar.png)
Проблема обучения с подкреплением заключается в необходимости определения функции вознаграждения, которая может быть сложной или затруднительной для формализации, и для решения этой проблемы исследуются подходы, основанные на разнообразии действий и исследовании окружения, которые позволяют обучаться навыкам без явной функции вознаграждения.
![Нейросети — это просто (Часть 42): Прокрастинация модели, причины и методы решения](https://c.mql5.com/2/54/NN_Simple_Part_42_procrastination_avatar.png)
Прокрастинация модели в контексте обучения с подкреплением может быть вызвана несколькими причинами, и решение этой проблемы требует принятия соответствующих мер. В статье рассмотрены некоторые из возможных причин прокрастинации модели и методы их преодоления.
![Нейросети — это просто (Часть 41): Иерархические модели](https://c.mql5.com/2/54/NN_Simple_Part_41_Hierarchical_Models_Avatars.png)
Статья описывает иерархические модели обучения, которые предлагают эффективный подход к решению сложных задач машинного обучения. Иерархические модели состоят из нескольких уровней, каждый из которых отвечает за различные аспекты задачи.
![Нейросети — это просто (Часть 40): Подходы к использованию Go-Explore на большом объеме данных](https://c.mql5.com/2/54/neural_networks_go_explore_040_avatar.png)
В данной статье обсуждается применение алгоритма Go-Explore на протяжении длительного периода обучения, так как стратегия случайного выбора действий может не привести к прибыльному проходу с увеличением времени обучения.
![Нейросети — это просто (Часть 39): Go-Explore — иной подход к исследованию](https://c.mql5.com/2/54/NN_39_Go_Explore_Avatar.png)
Продолжаем тему исследования окружающей среды в моделях обучения с подкреплением. И данной статье мы рассмотрим ещё один алгоритм Go-Explore, который позволяет эффективно исследовать окружающую среду на стадии обучения модели.
![Нейросети — это просто (Часть 38): Исследование с самоконтролем через несогласие (Self-Supervised Exploration via Disagreement)](https://c.mql5.com/2/54/self_supervised_exploration_via_disagreement_038_avatar.png)
Одной из основных проблем обучения с подкреплением является исследование окружающей среды. Ранее мы уже познакомились с методом исследования на базе внутреннего любопытства. Сегодня я предлагаю посмотреть на ещё один алгоритм — исследование через несогласие.
![Нейросети — это просто (Часть 37): Разреженное внимание (Sparse Attention)](https://c.mql5.com/2/53/Avatar_NN_part_37_Sparse_Attention.png)
В предыдущей статье мы познакомились с реляционными моделями, в архитектуре которых используются механизмы внимания. Одной из особенностей указанных моделей является повышенное использование вычислительных ресурсов. В данной статье будет предложен один их механизмов уменьшения количества вычислительных операций внутри блока Self-Attention. Что позволит увеличить производительность модели в целом.
![Нейросети — это просто (Часть 36): Реляционные модели обучения с подкреплением (Relational Reinforcement Learning)](https://c.mql5.com/2/52/Neural_Networks_Made_036_avatar.png)
В рассмотренных ранее моделях обучения с подкреплением мы использовали различные варианты сверточных сетей, которые способны идентифицировать различные объекты в исходных данных. Основное преимущество сверточных сетей в способности идентифицировать объекты вне зависимости от их расположением. В тоже время, сверточные сети не всегда справляются с различными деформациями объектов и шумом. Но эти проблемы способна решить реляционная модель.
![Нейросети — это просто (Часть 35): Модуль внутреннего любопытства (Intrinsic Curiosity Module)](https://c.mql5.com/2/50/Neural_Networks_Made_035_avatar.png)
Продолжаем изучение алгоритмов обучения с подкреплением. Все ранее рассмотренные нами алгоритмы требовали создания политики вознаграждения таким образом, чтобы агент мог оценить каждое свое действие на каждом переходе из одного состояния системы в другое. Но такой подход довольно искусственный. На практике же между действием и вознаграждением существует некоторый временной лаг. В данной статье я предлагаю Вам познакомиться с алгоритмом обучения модели, способным работать с различными временными задержками от действия до вознаграждения.
![Нейросети — это просто (Часть 34): Полностью параметризированная квантильная функция](https://c.mql5.com/2/50/Neural_Networks_Made_Easy_quantile-parameterized_avatar.png)
Продолжаем изучение алгоритмов распределенного Q-обучения. В предыдущих статьях мы рассмотрели алгоритмы распределенного и квантильного Q-обучения. В первом мы учили вероятности заданных диапазонов значений. Во втором учили диапазоны с заданной вероятностью. И в первом, и во втором алгоритме мы использовали априорные знания одного распределения и учили другое. В данной статье мы рассмотрим алгоритм, позволяющей модели учить оба распределения.
![Нейросети — это просто (Часть 33): Квантильная регрессия в распределенном Q-обучении](https://c.mql5.com/2/50/Neural_Networks_Made_Easy_q-learning_avatar.png)
Продолжаем изучение распределенного Q-обучение. И сегодня мы посмотрим на данный подход с другой стороны. О возможности использования квантильной регрессии в решение вопрос прогнозирования ценовых движений.
![Нейросети — это просто (Часть 32): Распределенное Q-обучение](https://c.mql5.com/2/50/Neural_networks_are_simple-32_Avatar.png)
В одной из статей данной серии мы с вами уже познакомились с методом Q-обучения. Данный метод усредняет вознаграждения за каждое действие. В 2017 году были представлены сразу 2 работы, в которых большего успеха добиваются при изучении функции распределения вознаграждения. Давайте рассмотрим возможность использования подобной технологии для решения наших задач.
![Abdulrahman F Abdulrahman F](https://c.mql5.com/avatar/2021/8/61112558-99B2.jpg)
![Нейросети — это просто (Часть 31): Эволюционные алгоритмы](https://c.mql5.com/2/50/Neural_networks_made_easy_021__1.png)
В предыдущей статье мы начали изучение безградиентных методов оптимизации. И познакомились с генетическим алгоритмом. Сегодня мы продолжаем начатую тему. И рассмотрим ещё один класс эволюционных алгоритмов.
![Нейросети — это просто (Часть 30): Генетические алгоритмы](https://c.mql5.com/2/49/Neural_networks_made_easy_024.png)
Сегодня я хочу познакомить Вас с немного иным методом обучения. Можно сказать, что он заимствован из теории эволюции Дарвина. Наверное, он менее контролируем в сравнении с рассмотренными ранее методами. Но при этом позволяет обучать и недифференцируемые модели.