Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2806

 
Vladimir Perervenko #:

Ваш скрипт работает уже больше суток, ещё ни одного файла не создал по результатам отсева. Даже не знаю, может пора выключать?

 
mytarmailS #:

конкретней можно?

Поменял местами и нормально вроде стало

df <- cbind.data.frame(df,not_used_vars_df)
 
Aleksey Vyazmikin #:

Поменял местами и нормально вроде стало

.

 
mytarmailS #:

.

Ваш скрипт поедает почти 9 гигабайт на моей выборке ОЗУ, но вроде как работает, файлы сохраняются. Даже не знаю, куда расходуется там память, тогда как выборка занимает чуть больше гигабайта.

 
mytarmailS #:

.

Ещё неприятность обнаружилась - заголовки в таблице (название столбцов) сохраняются в кавычках - как это отключить?

 

а че этот код делает-то? Для скоRости надо пRивести все столбцы к одному типу данных (float 32, 16 - не надо, будет медленней) и чеRез быстRые массивы посчитать коRR

если речь о реальном исправлении каRмы

 
Aleksey Vyazmikin #:

Ваш скрипт поедает почти 9 гигабайт на моей выборке ОЗУ, но вроде как работает, файлы сохраняются. Даже не знаю, куда расходуется там память, тогда как выборка занимает чуть больше гигабайта.

и что?

Р плохой наверное)

Aleksey Vyazmikin #:

Ещё неприятность обнаружилась - заголовки в таблице (название столбцов) сохраняются в кавычках - как это отключить?

что ты делал чтобы решить проблему?

 
mytarmailS #:

и что?

Р плохой наверное)

что ты делал чтобы решить проблему?

Плохой\хороший - слишком критическое суждение.

Явно, что код пакета не эффективно работает с памятью, зато может быстро, или скрипт много раз копирует всю таблицу\выборку.

А что сделал - нашел проблему и сообщил профессионалу в надежде на помощь.

 
Maxim Dmitrievsky #:

а че этот код делает-то? Для скоRости надо пRивести все столбцы к одному типу данных (float 32, 16 - не надо, будет медленней) и чеRез быстRые массивы посчитать коRR

если речь о реальном исправлении каRмы

На сколько я понял, в R вообще нет понятия разных типов данных (int, float и т.д.). И, это уменьшит объем памяти, но на скорости не скажется особо. На видеокартах - там да - будет прирост.

 
Aleksey Vyazmikin #:

На сколько я понял, в R вообще нет понятия разных типов данных (int, float и т.д.). И, это уменьшит объем памяти, но на скорости не скажется особо. На видеокартах - там да - будет прирост.

все там есть. На скорости скажется катастрофически. Датафреймы это самые медленные звери с большим оверхедом.

речь не про видеокарты, а про понимание что через датафреймы такое не считается в трезвом состоянии

Причина обращения: