Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3230

[Renat Fatkhullin]

mytarmailS #:

Скажыте пожалуйста, с портом R уже все?

В смысле можно не ждать.

Пока нет.

[Forester]

mytarmailS #:

Скажыте пожалуйста, с портом R уже все?

В смысле можно не ждать.

А зачем он вам? Когда с R экспериментировал - использовал dll-ку заказанную CанСанычем. Прекрасно работает и возможностей больше, т.к. передает любые данные в обе стороны, а не только котировки (как было в первом порте R). Плюс мне удалось даже мультипоточную оптимизацию запускать через неё.

[mytarmailS]

Forester #:
А зачем он вам? Когда с R экспериментировал - использовал dll-ку заказанную CанСанычем. Прекрасно работает и возможностей больше, т.к. передает любые данные в обе стороны, а не только котировки (как было в первом порте R). Плюс мне удалось даже мультипоточную оптимизацию запускать через неё.

Официальная поддерждка как мне кажеться может дать хороший толчек /хайп и для Р и для МКЛ ..

Новые статьи по всем странам, новые идеи, новые люди с которыми можно что то обговорить, новые алгоритмы...

[mytarmailS]

Есть сайт на котором фиксируються публикации новых пакетов Р...

Мне всегда было интересно скачать эти данные и агрегировать по времени (сколько новых пакетов загружаеться в день) , ну чтобы понять что твориться с языком..

Но всегда откладывал, не знал как делать, думал что это долго и сложно...

Сегодня решил таки это сделать, потратил  около 5-ти минут на осознание как это сделать и 30 секунд на сам код))

вот и весь код

library(rvest)
library(xts)
url <- "https://cran.r-project.org/web/packages/available_packages_by_date.html"

tb <- url |> read_html() |> html_table() |> _[[1]] |> {\(.) .[nrow(.):1,]}()

tb$Date |> rle() |> _$lengths |> xts(as.POSIXct(r$values)) |> plot(main="количество новых пакетов",col=4)

скачивание данных с сайта + агрегирование по дням + визуализация

2008-09-08                                           1
2008-10-28                                           1
2010-06-25                                           1
2010-07-07                                           1
2011-08-18                                           1
2011-09-07                                           1
2011-12-01                                           1
2011-12-28                                           1
2012-01-28                                           1
2012-03-01                                           1
       ...                                            
2023-09-01                                          44
2023-09-02                                          35
2023-09-03                                          37
2023-09-04                                          32
2023-09-05                                          72
2023-09-06                                          84
2023-09-07                                          58
2023-09-08                                          45
2023-09-09                                          26
2023-09-10                                          27

получаеться в день где то в среднем появляеться 40-50 новых пакетов

=========================================================================

А вот тот же код на хваленном питоне, который типа лучший для парсинга и вообще

import pandas as pd
import requests
from bs4 import BeautifulSoup
import matplotlib.pyplot as plt

url = "https://cran.r-project.org/web/packages/available_packages_by_date.html"

response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
table = soup.find_all('table')[0] 
df = pd.read_html(str(table))[0]
df = df.iloc[::-1]

df['Date'] = pd.to_datetime(df['Date'])
df_grouped = df.groupby('Date').size()

df_grouped.plot(title="количество новых пакетов")
plt.show()

Date
2008-09-08     1
2008-10-28     1
2010-06-25     1
2010-07-07     1
2011-08-18     1
              ..
2023-09-06    84
2023-09-07    58
2023-09-08    45
2023-09-09    26
2023-09-10    29
Length: 2807, dtype: int64

===========================================================

на R   7 строк кода , на питоне 18 строк кода...

[Aleksey Vyazmikin]

Renat Fatkhullin #:

По существу все будет, как проработаем условия соревнования - это огромный труд.

Будем ждать детальные условия.

Однако, большинство наработок у людей свои, которые нельзя подогнать под стандарты/шаблоны для всех. А самым ценным являются не модели, а предикторы.

Если предикторы представляют из себя фиксированный набор, то задача обучения сведётся к отбору значимых. Но, если можно будет крутить какие либо настройки этих предикторов, то будет уже веселей.

[fxsaber]

Andrey Dik #:

ЗЗЫ**. "вечер перестаёт быть томным" - очень интересно что из этого получится, всё таки Вам не плевать, fxsaber, так ведь? - как и мне)))

Наверное, одна из самых глупых вещей - попытаться переубедить другого человека. Никакие аргументы не работают. Поэтому другое слово на "П" - проехали.

[mytarmailS]

fxsaber #:

Наверное, одна из самых глупых вещей - попытаться переубедить другого человека. Никакие аргументы не работают. Поэтому другое слово на "П" - проехали.

их конкурс == их условия

с этим глупо спорить..

[Maxim Dmitrievsky]

Придется увеличить кол-во усилий, чтобы успевать устанавливать пакеты с ускорением

import requests, pandas as pd, matplotlib.pyplot as plt
from bs4 import BeautifulSoup

df = pd.read_html(requests.get("https://cran.r-project.org/web/packages/available_packages_by_date.html").text, flavor='bs4')[0].iloc[::-1]
df.groupby('Date').size().plot(title="количество новых пакетов")
plt.show()

Уже в который раз в просак, просто размазал строчки по экрану и выдал это за истину. 

[mytarmailS]

Maxim Dmitrievsky #:

Придется увеличить кол-во усилий, чтобы успевать устанавливать пакеты с ускорением

Уже в который раз в просак, просто размазал строчки по экрану и выдал это за истину. 

Если сжимать таким не юзабельным способом как ты сделал то у меня тогда будет 2 строки всего вместе с объявлением библиотек.. 

Так что и тут ты в пролете

[Maxim Dmitrievsky]

mytarmailS #:
Если сжимать таким не юзабельным способом как ты сделал то у меня тогда будет 2 строки всего вместе с объявлением библиотек.. 

Так что и тут ты в пролете

Абсолютно юзабельный способ и прекрасный понятный синтаксис, а ты учи дальше алфавит хищника, чтобы писать код закорючками, которых даже на клавиатуре нет ))

в итоге на других языках даже цикл без ошибок написать не в состоянии, ибо привык к иероглифам