Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3315

Новый комментарий
 
lynxntech #:

похоже на смену пола

Действительно, похоже, но в МО этот график показывает и означает другое.))
 
Andrey Dik #:
Ты прекрасно знаешь ответ, но не скажешь вслух, потому что ответ перечеркнёт многое, что ты говорил ранее.
В душе не чаю, опять какая-то бредятина
Тебе же уже другие подтвердили, кто МО занимается, что ты вообще не о том думаешь.
Сколько можно ходить по кругу?
 
Maxim Dmitrievsky #:
В душе не чаю, опять какая-то бредятина
Тебе же уже другие подтвердили, кто МО занимается, что ты вообще не о том думаешь.
Сколько можно ходить по кругу?

Ну что же ты заёрзал, заметался?

Зелёная линия - это трейн, красная - это валидация. А отметка красным кружком - место, где график ошибки на валидации сменяет падение на рост, это Глобальный Экстремум! - это место, где нужно остановить обучение. Вот видишь, простой ответ же на мой вопрос? Любое обучение есть суть оптимизации с поиском глобально экстремума. Любой метод МО сводиться именно к этому, оптимизации некоей оценочной функции на глобальный экстремум (минимизация функции потерь или максимизация функции оценки). Но ты же не оптимизаторщик, как так то? Даже если ты не делаешь это умышленно - за тебя это делают методы МО.

 
Maxim Dmitrievsky #:
Некорректную трактовку Саныча, что Учитель - это синоним меток, все подтверждают?

Нет, это не одно и тоже, не синонимы.

Хотя метки могут выступать в роли учителя, зависит от задачи. Но однозначного равенства между ними ставить нельзя.

 
Andrey Dik #:

Ну что же ты заёрзал, заметался?

Зелёная линия - это трейн, красная - это валидация. А отметка красным кружком - место, где график ошибки на валидации сменяет падение на рост, это Глобальный Экстремум! - это место, где нужно остановить обучение. Вот видишь, простой ответ же на мой вопрос? Любое обучение есть суть оптимизации с поиском глобально экстремума. Любой метод МО сводиться именно к этому, оптимизации некоей оценочной функции на глобальный экстремум (минимизация функции потерь или максимизация функции оценки). Но ты же не оптимизаторщик, как так то? Даже если ты не делаешь это умышленно - за тебя это делают методы МО.

Это график переобученной модели, в твоём случае
И после точки останова, увеличение сложности ведет к увеличению переобучения, о чем и шла речь.
 
Valeriy Yastremskiy #:

Во гпт выдает)))

чем отличается в машинном обучении обучение с учителем и без учителя
ChatGPT

Обучение с учителем (Supervised Learning) и обучение без учителя (Unsupervised Learning) - это два основных подхода в машинном обучении, и они отличаются по нескольким ключевым аспектам:

  1. Наличие меток (таргетов):

    • Обучение с учителем: В этом типе обучения данные имеют метки (таргеты), которые представляют собой правильные ответы или целевые значения. Модель обучается на этих данных, чтобы научиться предсказывать целевую переменную.
    • Обучение без учителя: В отличие от обучения с учителем, в обучении без учителя данные не имеют меток. Здесь модель старается найти структуру в данных без предварительно известных правильных ответов.

  2. Цель:

    • Обучение с учителем: Основная цель - предсказать или классифицировать целевую переменную на основе входных данных. Этот тип обучения используется, когда необходимо выполнить задачу, такую как классификация, регрессия или обнаружение аномалий.
    • Обучение без учителя: Основная цель - выявить скрытые структуры или паттерны в данных. Этот тип обучения используется для кластеризации данных, снижения размерности, ассоциативного анализа и других задач, связанных с изучением структуры данных.

  3. Примеры задач:

    • Обучение с учителем: классификация, регрессия, прогнозирование, определение мошенничества, обнаружение объектов, машинный перевод и др.
    • Обучение без учителя: кластеризация, снижение размерности (PCA, t-SNE), ассоциативное правило, визуализация данных и многие другие.

  4. Оценка модели:

    • Обучение с учителем: Модель оценивается на основе того, насколько хорошо она способна делать прогнозы или классификации, сравнивая их с известными метками. Оценки могут включать точность, F1-меру, среднеквадратическую ошибку и другие метрики.
    • Обучение без учителя: Оценка более сложна, так как нет известных меток для сравнения. Оценка может основываться на визуальной проверке качества кластеризации, сравнении с другими алгоритмами или анализе, проводимом экспертом.

Оба типа обучения имеют свои применения в машинном обучении, и выбор между ними зависит от конкретной задачи и доступных данных. Иногда также применяются гибридные методы, комбинирующие обучение с учителем и без учителя для достижения лучших результатов.

Явно что то случилось.

Вернулись к определениям.

P.Z.

Так и до конца, недалеко.

Гы. Кого то Осенило!

 
Andrey Dik #:
Действительно, похоже, но в МО этот график показывает и означает другое.))

я подумал, если б каким то образом ты был в курсе этого)

 
Maxim Dmitrievsky #:
Это график переобученной модели, в твоём случае
Почему в "моём"? У всех так. Если будешь продолжать обучение после красного кружка, то получишь переобученную модель. Поэтому ждут несколько итераций, пока валидэйт не начнет расти в течении нескольких итераций, останавливают обучение и выбирают результат где красный круг - глобальный экстремум. Некоторые могут брат результат за 2, 3, 4, и более итераций ДО, но это сути не меняет, для этого всё равно нужно найти этот самый глобальный экстремум.
 
Andrey Dik #:
Почему в "моём"? У всех так. Если будешь продолжать обучение после красного кружка, то получишь переобученную модель. Поэтому ждут несколько итераций, пока валидэйт не начнет расти в течении нескольких итераций, останавливают обучение и выбирают результат где красный круг - глобальный экстремум. Некоторые могут брат результат за 2, 3, 4, и более итераций ДО, но это сути не меняет, для этого всё равно нужно найти этот самый глобальный экстремум.
Ты и до кружка получил переобученную модель.
 
Maxim Dmitrievsky #:
...
И после точки, увеличение сложности ведет к увеличению переобучения, о чем и шла речь.

Это график трейна и валидации. Сложность тут никаким боком. Речь идёт о том, что что бы ты не делал в МО - ты ищешь глобальный экстремум, ты - оптимизаторщик, как бы этого не отрицал.

1...330833093310331133123313331433153316331733183319332033213322...3510
Новый комментарий
Причина обращения: