Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1955

 
Aleksey Vyazmikin:

"Исходный ряд" - это цены или выборка? Сбросьте выборку.

приращения бидов.

Файлы:
sabparse.zip  1495 kb
 

на память

"если трейн и тест получены из разных распределений (условно). То есть того сигнала, который выучила модель на трейне — в тесте просто нет. Как бороться — простейший вариант попробовать другие схемы валидации, по времени, по различным группам, и т.д. Более сложный — это т.н. adversarial validation, когда мы сначала строим модель, чтобы отличить трейн от теста, а потом используем в качестве валидационного сета тот кусок трейна, который наиболее похож на тест."

 
Rorschach:

на память

"если трейн и тест получены из разных распределений (условно). То есть того сигнала, который выучила модель на трейне — в тесте просто нет. Как бороться — простейший вариант попробовать другие схемы валидации, по времени, по различным группам, и т.д. Более сложный — это т.н. adversarial validation, когда мы сначала строим модель, чтобы отличить трейн от теста, а потом используем в качестве валидационного сета тот кусок трейна, который наиболее похож на тест."

На память скидываю себе в блог. Тут потом замучаешься искать свои памятки.

Прочитал статью - идея интересная. Но думаю в результате будет подгонка не под трейн, а под тест. Если дальнейшие новые данные будут отличаться - опять получим 50/50

 
elibrarius:
На память скидываю себе в блог. Тут потом замучаешься искать свои памятки.

Прочитал статью - идея интересная. Но думаю в результате будет подгонка не под трейн, а под тест. Если дальнейшие новые данные будут отличаться - опять получим 50/50

Хотел подметить, что не данные будут отличаться, а исход, но сейчас вот подумал, а что если действительно добавлять информацию об окружающих данных в выборки, которые неучаствовали при построении модели? Если просто на примере дерева, то перед последним сплитом смотрим статистику по другим предикторам, выявляем те, что показывают статистически положительный вариант классификации и смотрим, что б на общей выборке эти предикторы не коррелировали с предиктором в последнем сплите, тогда у нас есть дополнительная информация о состоянии рынка, которая не учитывается при выборе последнего сплита. Деревья же строются по принципу жадности и на последнем сплите конкурс среди предикторов уж точно  обычно проводиться.

Тогда у нас сплит будет не просто A>X, а  A>X1 &&  B>X2 &&  C>X3 - т.е. учтем информацию об окружении.

 
Что за аналоговые вычисления в статье - кто понял?
GlobalFoundries собралась делать аналоговые ИИ-процессоры, которые на порядки эффективнее обычных
GlobalFoundries собралась делать аналоговые ИИ-процессоры, которые на порядки эффективнее обычных
  • 3dnews.ru
Некоторые наши читатели скептически отнеслись к недавней заметке о том, что заводы GlobalFoundries могут стать кузницей терминаторов, а зря. Компания GlobalFoundries снова спешит удивить глубиной интереса к теме искусственного интеллекта и производства кремниевых «мозгов». На этот раз вместе с бельгийскими разработчиками. Совместным...
 
Aleksey Vyazmikin:
Что за аналоговые вычисления в статье - кто понял?

не буду утверждать, но подозреваю, что аналоговое число - это сразу величина, а цифровое нужно преобразовать в это число.

только вот процессор греется и боюсь, что аналоги у них со временем поплывут(дадут погрешность) и будет в добавок куча помех

 
Renat Akhtyamov:

не буду утверждать, но подозреваю, что аналоговое число - это сразу величина, а цифровое нужно преобразовать в это число.

только вот процессор греется и боюсь, что аналоги у них со временем поплывут(дадут погрешность) и будет в добавок куча помех

Немного не так, цифровые компьютеры работают с информацией в виде 0 и 1. Есть ток в проводнике или нет формируя массивы более высоких уровней. Аналоговый сигнал может быть преобразован в цифровой посредством дескритизации. Но тут думаю происходит сложение и математические операции не с самим фактом присутствия тока в проводнике или его отсутствия, а с уровнем напряжения в данном проводнике, которое и является тем аналоговым сигналом который они каким то образом научились складывать. Ну тупо если вам нужна цифра пять то это 5 вольт на ножке процессора, если нужна цифра 8.345354346346, то это то же самое количество вольт.

Как я говорил в своём видео существует две ахилесовы пяты которые на данный момент не реализованы по отношению к биологическому нейрону. Первое это возможно обрывать и  устанавливать связи между нейронами и второе это работа в цифровом формате, где существует дескритизация в виде размерности порядка числа после запятой. В аналоговом мире эти разрядности значительно больше и я так думаю индивидуальны для каждого нейрона, то есть аналоговый сигнал имеет бесконечную разрядность, когда мы можем уточнять число на бесконечное количество цифр после запятой. Мир вещественных чисел он такой :-)

Если я правильно понял и процессор будет работать с аналоговыми сигналами то это реально прорыв где одна пятка ахилеса уже сничтожена.... Ведь внутри наших с Вами головок нейрончики как раз таки и передают между собой сигналы в аналоговом виде.

 
Aleksey Vyazmikin:
Что за аналоговые вычисления в статье - кто понял?

что то типа ламповых транзисторов, похоже, только очень маленьких.

 

Кстати кто был на вебинаре УИИ???? Я скидывал ссылку на него ранее???

Прикольно, они хотят к декабрю разработать устройство и софт для набора текста мыслью. В целом мне понравилось о чём они говорили и было интерессно!!!!! Кто был???

 
Renat Akhtyamov:

не буду утверждать, но подозреваю, что аналоговое число - это сразу величина, а цифровое нужно преобразовать в это число.

только вот процессор греется и боюсь, что аналоги у них со временем поплывут(дадут погрешность) и будет в добавок куча помех

как раз аналоговые вычисления и позволяют свести погрешности и шум к 0.

простой пример - хай энд аудиотехника как раз таки ламповая, что бы избежать дискретизации и, как следствие, потере точности.

Причина обращения: