Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1957

 
Aleksey Vyazmikin:

Вот теперь всё правильно поняли!

Случайные леса на то и случайные, что там и мусора полно, и не соблюдаются обязательно описанные условия, хотя и могут быть похожие ситуации, а возможно, что именно при похожих разлажениях и получается удачная модель. Здесь же будет более контролируемый процесс.

Веса каждого сплита в листе взвесим конечно, а может и дадим одинаковые коэффициенты, на той же истории можно и коэффициенты подобрать. Сейчас я так и делаю в общем при сборе модели из листьев.

Я не понял финальный шаг, - какой из 5-ти сплитов выбрать?
 
elibrarius:
Я не понял финальный шаг, - какой из 5-ти сплитов выбрать?

Надо учитывать показания всех 5 сплитов, за счет этого и увеличивается устойчивость.

Допустим лучшему сплиту даем вес 0,6 , а оставшимся четырем по 0,1 , и если сумма дает 0,8 или иной показатель, определяемый по выборке, то считаем, что в листе ответ true "1" или иной класс, который ожидается в листе.

Нужна ещё проверка на Recall , т.е. сколько отзывов имеют сплиты на этой подвыборке.
 
Aleksey Vyazmikin:

Вот про данные я как раз не понимаю, это условно говоря, каждая инструкция имеет напрямую доступ к памяти и результатам вычисления без конвеера?

там нет 'данных', есть только электорны, ток которых управляется транзисторами и проч. Сама архитектура НС напечатана на плате, а не в цифровом виде. Давно уже делают в виде сопроцессоров такие аналоговые нейросети, например в айфонах.

В статье нет ничего нового.
 
Maxim Dmitrievsky:

там нет 'данных', есть только электорны, ток которых управляется транзисторами и проч. Сама архитектура НС напечатана на плате, а не в цифровом виде. Давно уже делают в виде сопроцессоров такие аналоговые нейросети, например в айфонах.

В статье нет ничего нового.

А я то понял так, что речь идет о динамических расчетах, а не статичных, заранее предопределенных.

 
Aleksey Vyazmikin:

А я то понял так, что речь идет о динамических расчетах, а не статичных, заранее предопределенных.

например, сигнал с матрицы камеры айфона подается сразу в аналоговую НС, минуя оцифровку. НС делает предобработку изображения для улучшения кач-ва (фильтрует шумы и т.п.)

а потом это преобразуется в цифровые фотАчки

 
Aleksey Vyazmikin:

А я то понял так, что речь идет о динамических расчетах, а не статичных, заранее предопределенных.

Грубая аналогия задвижки электронные и компрессорные. Конечно приборчики в ячейках статичны, но их много и доступ к ним параллельный) И расчеты могут быть и динамическими, если мы изменяем входной сигнал, получаем на выходе динамический показатель на выходе.

 
Aleksey Vyazmikin:

Надо учитывать показания всех 5 сплитов, за счет этого и увеличивается устойчивость.

Допустим лучшему сплиту даем вес 0,6 , а оставшимся четырем по 0,1 , и если сумма дает 0,8 или иной показатель, определяемый по выборке, то считаем, что в листе ответ true "1" или иной класс, который ожидается в листе.

Нужна ещё проверка на Recall , т.е. сколько отзывов имеют сплиты на этой подвыборке.
Самый чистый сплит смешаем с менее чистыми. Т.е. ухудшим результат на трейне, в принципе он нам не важен. Но и не факт, что это улучшит результат на тесте, т.е. обобщающую способность. Надо кому-то попробовать... лично я не думаю, что обобщение будет лучше случ. лесов.

Гораздо проще ограничить глубину дерева и не делать последний сплит, остановившись на предыдущем. В итоге получим такой же менее чистый лист, чем если бы мы дополнительный сплит сделали. Ваш вариант даст что-то среднее между тем делали мы сплит или нет. Т.е. например вы усредните своим способом лист на 7 уровне глубины. Он будет чуть чище листа 6-го уровня глубины. Думаю обобщение от этого не сильно изменится, а работы много, чтобы проверить идею. Еще можно усреднить несколько деревьев с глубиной 6 и 7 - получим примерно то же, что получится по вашей методике.
 
Aleksey Vyazmikin:

Некие действия с волнами по сути? Входящие данные преобразуют в полином, а потом полином в волну и волны как то "сталкивают/сливают"?

ну да.

попытки построения аналоговых компьютеров предпринимались и раньше, но были либо очень медлительными, либо энергозатратными

 
Maxim Dmitrievsky:

Так что ты там намутил с своими сезонностями?

 

Врать не буду, но убил пол дня на комплексную метрику которая показывает очень важный эффект. Улучшение показателей тренировки и теста, приводит гарантированно к улучшению показателья на контрольном участке. Раньше обобщающая способность контрольного участка прыгала не зависимо от результатов обучения, то вверх то вниз. Сейчас же идёт синхронное увеличение обобщающей способности как на обучающем-тестовом участке, так и на контрольном.

Формула комплексной метрики если кому интересно.

Генеральная обобщающая способность - ККМ+ Fscore Не благодарите!!!!

Лучшая метрика для оценки точности классификационных моделей | DataReview.info
Лучшая метрика для оценки точности классификационных моделей | DataReview.info
  • datareview.info
Оценка качества классификационных моделей — сложная и трудоемкая задача. Сперва аналитик оценивает робастность классификационной модели с помощью таких средств, как AIC-BIC, площадь под ROC-кривой, критерий согласия Колмогорова-Смирнова и др. Следующим логическим шагом является оценка точности модели. Чтобы понять, почему эта задача является...