Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1703

 
Реter Konow:
Возможно, мое понимание ИИ хромает. Но, в целом, ИИ - это именно взаимодействующая с человеком система. Если ИИ не взаимодействует с человеком, предоставляя ему удобный голосовой и визуальный интерфейс, и работает в скрытом режиме, то он просто программа. Разве нет?

ДА!!!!!

Именно это я и говорю!




Интеллект — самоизменяющийся, самонастраивающийся алгоритм выбора, преобразования информации, в результате действия которого возникают информационные модули, ранее субъекту не известные и в готовом виде в него извне не поступавшие



Это не разум, это единственно известий способ мышления, а вы все путаете это с разумом

Те путаете седло от велосепеда с самим велосипедом, и хотите чтобы оно - седло , ездило !

 
Mihail Marchukajtes:

Тут немного другое. Когда Вы допускаете ошибку при обучении то Вы по сути начинаете её учить тому о чём сами не подозреваете. Напоминаю НС как ребёнок, ей нужно всё рассказать досконально что вы от неё хотите. Ведь полученный результат вы будете интерпретировать в рамках своих представлений об обучении, а реально они оказали смазаными, как вариант.

Совет дня. Размещайте входные вектора в виде шара от начала системы координат это позволяет добиться однозначнеости и невилирует противоречивость.

Ок. Я знаю, что НС обучают улавливанию повторяющегося инварианта в данных. По сути, это статистический подход. Почему же малая,  одноразовая погрешность имеет столь существенное влияние при обучении? Человек не заметит и забудет, а обучение сети сломается?
 
Реter Konow:
Ок. Я знаю, что НС обучают улавливанию повторяющегося инварианта в данных. По сути, это статистический подход. Почему же малая  одноразовая погрешность имеет столь существенное влияние при обучении? Человек не заметит и забудет, а обучение сети сломается?

Ошибка ошибке рознь. Маленькая ошибка может иметь большое влияние. 

И НС просят не улавливать повторяющиеся данные. Её просят выявить скрытые закономерности для получения правильного результата при отсутствии повторяющихся данных. Понитие обощённости. Когда мы имеет конечную область данных, но имеет только 50% этих данных. Сеть обучается и выявить закономерность может построить остальную часть данных, которые она не видела. Это как восстановлени старых видеозаписей с остсутствующими пикселями, которые сеть дорисовывает самостоятельно.

 
mytarmailS:

ДА!!!!!

Именно это я и говорю!




Интеллект — самоизменяющийся, самонастраивающийся алгоритм выбора, преобразования информации, в результате действия которого возникают информационные модули, ранее субъекту не известные и в готовом виде в него извне не поступавшие



Это не разум, это единственно известий способ мышления, а вы все путаете это с разумом

Те путаете седло от велосепеда с самим велосипедом, и хотите чтобы оно - седло , ездило !

Я не путаю. Я четко разделил программу на обычных алгоритмах, на нейросетях, ИИ и Разум. 

ИИ, в отличии от закрытой программы на нейросетях, напрямую взаимодействует с человеком и им программируется по ходу этого взаимодействия. А прога на НС, пашет в закрытом режиме и ограничена в восприятии внешних данных.

Определение Интеллекта верное. 
 
Aleksey Vyazmikin:

Вероятно обходит, но там, в конкурсах, выборка стационарна, нет особо мусорных фичей, т.е. условия не те, с которыми работаем мы, а я как раз и думаю, как лучше подготовить данные с учетом этих особенностей. (Решения пока нет в окончательной форме, но это важная задача).

Разные модели построения деревьев это хорошо, но выгрузить их в отдельный файл пока нельзя, а значит нельзя вшить в советник, что плохо.

Я же давал ссылку на просмотр сплитов из JSOТ данных. Там как раз выгрузка полной модели в файл и происходит. Потом из него и считываются сплиты.

Aleksey Vyazmikin:

В бустинге мне не нравится отсутствие постобработки - когда по завершению обучения происходит упрощение модели за счет выкидывания слабых деревьев. Не понимаю, почему этого не делают.

В бустинге по определению все деревья важны. Каждое последующее уточняет все предыдущие. Если вы одно дерево в середине выкините, то все что после будут работать с неправильными данными - их надо переобучать, без учета выкинутого дерева. При этом первое же дерево очень близко повторит выкинутое.

Aleksey Vyazmikin:

Листья отдельных деревьев в бустинге слабы - малая полнота - менее 1% и плохо, что этот параметр нельзя регулировать,

Да. Отдельные листья в бустинге неполноценны, т.к. дополняются ответами листьев из других уточняющих деревьев. И только совокупность ответов, например, 100 деревьев дает правильный ответ.
Пытаться получить что-то достоверное из одного листа бустинговой модели - невозможно.
В бустинге все 100 ответов от 100 деревьев суммируются, каждое дает например по 0,01 в сумме = 1. Значение 1 листа =0,01 - что вы от него хотите получить? Ничего в нем нет. Только сумма из 100 листьев даст правильный ответ.
На самом деле там 1-е дерево сильное, и дает например 0,7, остальные приближают сумму к 1. Если и рассматривать отдельно то только листья первого дерева, но думаю они слабее любого дерева из случайного леса, за счет меньшей глубины.
В случайном лесе находится среднее, например каждый лист  из 100 деревьев =1, среднее тоже =1. В нем лисья полноценны, но со случайными отклонениями. Но толпа из 100 ответов, дает среднее, как достаточно точный ответ.

 

Я как настоящий трейдун получив два лося переобулся и заставил переобуться свою модель. Трейдинг не благодарное дело :-)


 
Реter Konow:
Я не путаю. Я четко разделил программу на обычных алгоритмах, на нейросетях, ИИ и Разум. 

ИИ, в отличии от закрытой программы на нейросетях, напрямую взаимодействует с человеком и им программируется по ходу это взаимодействия. А прога на НС, пашет в закрытом режиме и ограничена в восприятии внешних данных.

Я сдаюсь ...

 
В обще то взаимодействие человека и машины называется интерфейс, который разрабатывается по правилам эргономики, но это уже другой лес.....
 
Mihail Marchukajtes:

Ошибка ошибке рознь. Маленькая ошибка может иметь большое влияние. 

И НС просят не улавливать повторяющиеся данные. Её просят выявить скрытые закономерности для получения правильного результата при отсутствии повторяющихся данных. Понитие обощённости. Когда мы имеет конечную область данных, но имеет только 50% этих данных. Сеть обучается и выявить закономерность может построить остальную часть данных, которые она не видела. Это как восстановлени старых видеозаписей с остсутствующими пикселями, которые сеть дорисовывает самостоятельно.

Ну так это статистический подход! Например, у меня есть 20 фотографий разных треугольников. На 21-ой, у треугольника отсутствует гипотенуза. Я могу легко опредилить, что это - недорисованный треугольник, на основе собранной статистики - (на каждом фото треугольник). То есть, ошибка в рисунке треугольника не критична, потому что статистика в целом у меня уже есть. Разве с НС этот принцип не работает?
 
Реter Konow:
Ну так это статистический подход! Например, у меня есть 20 фотографий разных треугольников. На 21-ой у треугольника отсутствует гипотенуза. Я могу легко опредилить, что это недорисованный треугольник на основе собранной статистики - на каждом фото треугольник. То есть, ошибка в рисунке треугольника для меня не критична, потому что статистика в целом у меня уже есть. Разве с НС этот принцип не работает?
Ну примерно, если не считать что на 21 фотографии у Вас нарисован просто угол и о треугольнике там речи нет...