вопрос со скачиванием страницы с MQL5

 
Нужно скачать страницу с сайта, пробую с использованием WebRequest и внешними Wget, не получается, все упирается в запрос логина и пароля, дальше не идет, есть ли какие-то возможности/альтернативы для того чтобы скачать страницу, и почему не получается, что за защита?
 
Eugeny Kotovschikov:
Нужно скачать страницу с сайта, пробую с использованием WebRequest и внешними Wget, не получается, все упирается в запрос логина и пароля, дальше не идет, есть ли какие-то возможности/альтернативы для того чтобы скачать страницу, и почему не получается, что за защита?

если не секрет, что за раздел сайта где без авторизации никак ? статьи,сигналы,маркет,форум точно открыты и индексируемы..

 
Maxim Kuznetsov:

если не секрет, что за раздел сайта где без авторизации никак ? статьи,сигналы,маркет,форум точно открыты и индексируемы..

да нет, я авторизоваться не против, но не могу.... качается только страница авторизации, если использовать пример webrequest, тоже не работает... раздел сигналы
 
Eugeny Kotovschikov:
да нет, я авторизоваться не против, но не могу.... качается только страница авторизации, если использовать пример webrequest, тоже не работает... раздел сигналы

imho там авторизации требует только информация по текущим сделкам

рядовая инфа по сигналу должна легко браться wget`ом - ограничьте глубину, чтобы он внутрь не лез. Или используйте curl по одной странице чтобы было легче разбирать ошибки

ах да! таймауты ещё надо выдерживать - частые запросы могут приводить к разнообразным последствиям :-)

 
Maxim Kuznetsov:

imho там авторизации требует только информация по текущим сделкам

рядовая инфа по сигналу должна легко браться wget`ом - ограничьте глубину, чтобы он внутрь не лез. Или используйте curl по одной странице чтобы было легче разбирать ошибки

ах да! таймауты ещё надо выдерживать - частые запросы могут приводить к разнообразным последствиям :-)

и нужна информация по тек.сделкам)))) минута не слишком часто?)
 
Eugeny Kotovschikov:
минута не слишком часто?)
10 секунд норм - проверял.
 
fxsaber:
10 секунд норм - проверял.
все-таки подскажите пилюлю как качнуть страницу с тек.сделками и авторизоваться?
 
Eugeny Kotovschikov:
все-таки подскажите пилюлю как качнуть страницу с тек.сделками и авторизоваться?

Стейты сигналов содержатся в CSV. Так что никаких страниц закачивать не нужно. Проблема авторизации появилась недавно.

Решение предложено такое

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

функция WebRequest возвращает ошибку.

Sergey Dzyublik, 2016.09.20 14:12

Если WebRequest адекватно возвращает redirect - то можно реализовать рабочую версию и под текущую структуру сайта.

1) Перенос алгоритма генирации аnti-CSRF cookies при авторизации из javascript в mql.
2) Переход по redirect, получение auth cookie.
3) Парсинг аnti-CSRF token для публикации на пользовательской стене.

Для меня это китайская грамота.

 
fxsaber:

Стейты сигналов содержатся в CSV. Так что никаких страниц закачивать не нужно. Проблема авторизации появилась недавно.

Решение предложено такое

Для меня это китайская грамота.

блин, я тоже через раз понял((((
 
fxsaber:

Стейты сигналов содержатся в CSV. Так что никаких страниц закачивать не нужно. Проблема авторизации появилась недавно.

Решение предложено такое

Для меня это китайская грамота.

2) Переход по redirect, получение auth cookie.

вкратце: http вам вернул код - редирект и направил на форму авторизации где предлагается ввести логин+пароль и если всё ок, то получите cookie с которым можно ходить по страницам.(то есть надо будет его цеплять с каждым запросом к сайту)

вообще стоит прежде чем идти в защищённую область самому (роботом) посетить эту страницу (auth_login если память не изменяет) и авторизоваться

то есть протокол http таки придётся изучить :-) а не просто тыкать WebRequest

 
Maxim Kuznetsov:

2) Переход по redirect, получение auth cookie.

вкратце: http вам вернул код - редирект и направил на форму авторизации где предлагается ввести логин+пароль и если всё ок, то получите cookie с которым можно ходить по страницам.(то есть надо будет его цеплять с каждым запросом к сайту)

вообще стоит прежде чем идти в защищённую область самому (роботом) посетить эту страницу (auth_login если память не изменяет) и авторизоваться

то есть протокол http таки придётся изучить :-) а не просто тыкать WebRequest

Раньше так и авторизовывался. Сейчас - что-то сломалось. Не копал тему.