Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2807
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
наводка: нужно ли использовать вектора в 100 000 наблюдений чтобы посмотреть корреляцию между ними?
при том что ищуться высококоррелированые вектора т.е. с корреляцией больше 0,9Ваш скрипт работает уже больше суток, ещё ни одного файла не создал по результатам отсева. Даже не знаю, может пора выключать?
Зависит от жеkеза и объема выборки. ЕСли проц многоядерный, распараллельте выполнение. Внизу вариант параллельного выполнения
По сравнению с последовательным в 4 раза быстрей. Железо и софт
Удачи
все там есть. На скорости скажется катастрофически. Датафреймы это самые медленные звери с большим оверхедом.
речь не про видеокарты, а про понимание что через датафреймы такое не считается в трезвом состоянии
Что подразумевается под "датафреймы" - поясните не ведающему в этом языке.
наводка: нужно ли использовать вектора в 100 000 наблюдений чтобы посмотреть корреляцию между ними?
при том что ищуться высококоррелированые вектора т.е. с корреляцией больше 0,9Вот не знаю, нужно или нет - надо экспериментировать. Выборка же не стационарная - на пол выборки не было корреляции, а потом бац и появилась.
К тому же, я перебрал все коэффициенты с шагом 0,1.
Незачто
Это крик души?
Зависит от жеkеза и объема выборки. ЕСли проц многоядерный, распараллельте выполнение. Внизу вариант параллельного выполнения
По сравнению с последовательным в 4 раза быстрей. Железо и софт
Удачи
Так параллеленье не приведет к росту потребления ОЗУ?
Код mytarmailS хоть и прожорлевей по ОЗУ, но раз в 50 быстрей, может есть какие то ограничения у используемых Вами библиотек - скрипт отработал более 30 часов и ниодного файла не создал.
Спасибо за какие то сложные примеры кода - в R я скорей просто потребитель, мне не сообразить что править в основном скрипте.
Ты имеешь в виду что под каждый тип данных должен быть метод по расчёту корр?
matrix это же встроенный в R тип данных, у него же есть что-то типа matrix.corr() векторная
Что подразумевается под "датафреймы" - поясните не ведающему в этом языке.
скорее было послание к писунам на R :) это таблицы для удобного отображения данных и некоторых типовых манипуляций с ними типа извлечения подвыборок (как в sql)
не предназначены чтобы гонять их в циклах на таких больших данных как у вас, будет медленнее чем массивы раз в 20-100. По памяти вы уже поняли сами.
тут вроде нормально:
не знаю насколько быстрый built-in type "matrix", но используется карет, которая тоже может тормозить. У встроенного типа нет векторной операции посчитать корреляцию что ли.
Откуда такие мысли
зачем левой либой тормозишь встроенный тип, у которого должен быть собственный расчет Корр, максимально быстрый для него