системное, про лимиты

 

для пользователей и программистов это скорее тема к обсуждению, возможно ли такое на прикладном уровне.

А к разработчикам MT - возможно ли подобное вообще

Есть и всегда существует проблема - хранение любых данных требует наличия места. И если с тайм-фреймами объём и темп поступления предсказуем, можно выделить всё заранее, то с тиками отнюдь нет

В эксплуатации крайне важно знать сколько выделить ресурсов и ограничить их потребление. 

Как можно задать терминалу "не хранить тики (все или конкретного символа) глубже 1 месяц (к примеру) и не занимать более N гигов"  или как-то информировать что все hcc в сумме стали слишком много весить.

.

 

Никто не в курсе ? 

Важный вопрос, потому что аппетиты у терминала будь-здоров :-)

Хотя-бы как посчитать сколько выделить объём HDD под Custom символ ??

C историей котировок более-менее понятно, хранятся минуты и за год их 530 тысяч штук, грубо по 100 байт = 53 Mb

А как быть с тиками ?

Сколько времени они хранятся и как посчитать требуемый объём

 

Тоже задавался этим вопросом, но ответа так и не нашел.
Как то Ренат говорил, что некие клиенты пользуют по 10ТВ диски.

Терминал сохраняет всё что приходит, настроек ограничения нет.
По этому прошу разработчиков обратить внимание на вопрос.
Есть предложение, ввести настройку ограничения, за какой крайний период времени терминал хранил тики.
Задали в настройках 1 день, храниться за предыдущий день.
Задали 30, хранится последний месяц.
Не задали не чего, хранится вся история.
Это очень актуально для арендованных серверов и VPS, так как ресурсы там ограничены. 
Учитывая что обзор рынка может вмещать 5000 символов, и получать по ним тики.
Приходится задумываться как автоматизировать, копирование тиковых файлов куда нибудь в хранилище, а те что в терминале удалять.

 
Roman:

Тоже задавался этим вопросом, но ответа так и не нашел.
Как то Ренат говорил, что некие клиенты пользуют по 10ТВ диски.

Терминал сохраняет всё что приходит, настроек ограничения нет.
По этому прошу разработчиков обратить внимание на вопрос.
Есть предложение, ввести настройку ограничения, за какой крайний период времени терминал хранил тики.
Задали в настройках 1 день, храниться за предыдущий день.
Задали 30, хранится последний месяц.
Не задали не чего, хранится вся история.
Это очень актуально для арендованных серверов и VPS, так как ресурсы там ограничены. 
Учитывая что обзор рынка может вмещать 5000 символов, и получать по ним тики.
Приходится задумываться как автоматизировать, копирование тиковых файлов куда нибудь в хранилище, а те что в терминале удалять.

Странно, они что с Африки, где интернет подают раз в месяц на 2 часа и нужно скачать на диск как можно больше и всё подряд?

Сейчас мир современных технологий, когда всю информацию можно и нужно хранить в облаке, а не на машине, а что нужно, всегда можно скачать с интернета.

Кончилось время динозавров, когда были гонки за объёмом диска, сейчас 256 GB более чем предостаточно.

 
Vitaly Muzichenko:

Странно, они что с Африки, где интернет подают раз в месяц на 2 часа и нужно скачать на диск как можно больше и всё подряд?

Сейчас мир современных технологий, когда всю информацию можно и нужно хранить в облаке, а не на машине, а что нужно, всегда можно скачать с интернета.

Кончилось время динозавров, когда были гонки за объёмом диска, сейчас 256 GB более чем предостаточно.

Вы серьёзно? 256GB для тиковой истории?
Возможно вы не уловили смысл о 10 Терабайт дисках.
А если и уловили, то я тоже не сторонник облачных хранилищ.
Объем исторической информации всегда только растёт.
Используя облако, вы заведомо для себя увеличиваете ваши расходы на содержание информации.

 

Выставляйте глубину в барах, прямо контролируйте количество символов и арендуйте большего размера диски.

Обьем накапливаемых тиков из обзора рынка практически незаметен. Если у вас много тиков на диске, значит вы точно запускали глубокое тестирование на реальных тиках, что привело к выкачке больших обьемов тиков.

Понятно, что это совсем не случай VPS с диском на 30 гб.


Мы не будем убивать технологическую инфраструктуру брокеров, где некоторые трейдеры/сервисы устраивают дос атаки из-за своих позиций:

  • Я считаю, что надо все окружение стирать под ноль на старте
  • Это же новый век, все можно и должно скачиваться
  • У меня лично стоимость интернета нулевая, все включено в тариф впс
  • Меня не волнуют чужие мильтиплицированные расходы и технические условия

Всегда учитывайте интересы всех игроков, и в особенности тех, кто обеспечивает поставку. Тем более, если идет речь о мультипликаторах в сотни и тысячи.

Наша стратегия - это всемерное кеширование максимума данных. Все данные платформы МТ5 построены на транзакционности, умной докачке и механизмах точной проверки синхронизированности. Только этот способ позволяет справиться с новым масштабом обьема данных.

При этом, сам терминал активно управляет локальными данными:

  • стирает устаревшие логи тестера
  • стирает неиспользуемые долгое время исторические данные

 
Renat Fatkhullin:


  • стирает неиспользуемые долгое время исторические данные

О как. То есть всё таки стирает.
А как контролировать этот момент?
Через какое время он может потереть данные?
Интересуюсь потому, что планировал написать свой сборщик локальных тиков, и хранить в формате мт5.
Но как вы говорите что не используемые долгое время файлы можно потерять?
Что порекомендуете в данном случае?
Как мне видится, каждый тиковый файл за месяц куда нибудь копировать, верно мыслю?

 
Roman:

О как. То есть всё таки стирает.
А как контролировать этот момент?
Через какое время он может потереть данные?
Интересуюсь потому, что планировал написать свой сборщик локальных тиков, и хранить в формате мт5.
Но как вы говорите что не используемые долгое время файлы можно потерять?
Что порекомендуете в данном случае?
Как мне видится, каждый тиковый файл за месяц куда нибудь копировать, верно мыслю?

Если данные символа не обновляли и не пользовались более 60 дней, то его исторические данные стираются с диска.

Если вы строите свои собственные данные, то лучше всегда иметь их копию вне зависимости от любых условий.

 
Renat Fatkhullin:

Если данные символа не обновляли и не пользовались более 60 дней, то его исторические данные стираются с диска.

Если вы строите свои собственные данные, то лучше всегда иметь их копию вне зависимости от любых условий.

добавьте простую проверку что время не может быть 0 (или иное разумное ограничение).

В процессе отладки случайно проскочило - в кастомный символ был добавлен бар с временем открытия 0 и терминал лихо забрал весь имевшийся на VDS диск (под кеш наверное)