Приемы повышения сходимости нейронных сетей

В предыдущих главах книги мы уже познакомились с базовыми принципами построения и обучения нейронных сетей. Вместе с тем были обозначены и некоторые проблемы, возникающие в процессе обучения нейронных сетей. Мы увидели локальные минимумы, которые могут остановить обучение до достижения желаемых результатов. Упоминали о проблемах угасающих и взрывающихся градиентов. Кроме того, существует проблема совместной адаптации нейронов, переобучение и многие другие, о которых поговорим чуть позже.

Но на пути развития прогресса человечество стремится к совершенству орудий труда и технологий. Это относится и к алгоритмам обучения нейронных сетей. Давайте поговорим о методах, которые позволяют если не решить некоторые проблемы обучения нейронных сетей, то хотя бы минимизировать их влияние на конечный результат обучения.