Page 1 of 1

Не оптимизирована загрузка истории в IB

Posted: 07 Jul 2015
by TCust
МЧ смотрите, идет подключение к тикеру, нужно загрузить историю за несколько месяцев.

Идет первоначальный запрос на один день, потом неделя, и потом стнова на один день и так подряд. Вот эти запросы на один день потом переодически всплывают,и обалденно вываливают адаптер на pacing violation, уменьшая общее количество полезных запросов.

Вторая ошибка которая вылазит боком, в случае загрузки истории, и если TWS теряет соединение и реконектится в этот момент, МЧ считает что загрузка полностью завершена. Поэтому у меня иногда и портится база, где вам уже неоднократно на Англоязычном форуме показывал.

И МЧ будьте людьми, сделайте загрузку/перезагрузку исторических данных в QM, чтоб поставил его и занимался своими делами, ну невозможно работать нормально и базу содержать которой доверяешь !

Re: Не оптимизирована загрузка истории в IB

Posted: 08 Jul 2015
by Henry MultiСharts
МЧ смотрите, идет подключение к тикеру, нужно загрузить историю за несколько месяцев. Идет первоначальный запрос на один день, потом неделя, и потом стнова на один день и так подряд. Вот эти запросы на один день потом переодически всплывают,и обалденно вываливают адаптер на pacing violation, уменьшая общее количество полезных запросов.
Пожалуйста, пришлите логи с конкретным символом, мы разберем ситуацию.
Вторая ошибка которая вылазит боком, в случае загрузки истории, и если TWS теряет соединение и реконектится в этот момент, МЧ считает что загрузка полностью завершена. Поэтому у меня иногда и портится база, где вам уже неоднократно на Англоязычном форуме показывал.
Пожалуйста, пришлите логи для данной ситуации и эспорт испорченного инструмента, в котором дырка на support@multicharts.com. Опишите как именно TWS дисконнектится (Сам по себе/ время рестарта/ закрываете его вручную).
И МЧ будьте людьми, сделайте загрузку/перезагрузку исторических данных в QM, чтоб поставил его и занимался своими делами, ну невозможно работать нормально и базу содержать которой доверяешь !
Как ранее говорилось по поводу упомянутой функциональности - в будущем мы планируем реализовать механизмы, которые бы удовлетворили Ваши пожелания.

Re: Не оптимизирована загрузка истории в IB

Posted: 09 Jul 2015
by TCust
1. Это происходит на всех тикерах, у меня к примеру акции, смотрите скриншот загрузки. Просто открываете любой пустой тикер акции и смотрите как он у вас будет грузить историю минуток за несколько месяцев, если хотите IB лучше сделать.

Т.е. другими словами у вас идет загрузка данных за 1 день, потом за 5, и дальше запрос на 1 день постоянно чередуется, расходуя общее количество полезных запросов, повидимому не оптимальный алгоритм или разбивка периодов для загрузки дальнейших данных.

2. Происходит когда TWS перелогинивается к серверам IB, т.е. повидимому когда происходит обрыв интернета или соединения. Если в этот момент МЧ находится в ожидании окончания pacing violation, то считает что история полностью слита в итоге на всем оставшемся промежутке образуется дырка. Если в этот момент не было pacing violation то хз, внимание не обращал что будет может тоже самое.

Я просто уже вручную на 200 тикеров историю перезалил и перезакачал, так что сами эксперементируйте тем более для релиза 9.1, это все элементарно воспроизвести, как и обрыв инета.

Re: Не оптимизирована загрузка истории в IB

Posted: 09 Jul 2015
by TCust
Я кстати вам ОЧЕНЬ рекомендую сделать опцию в IB адаптере или реестре, какой длины выполнять первый исторический запрос, 1 день или 5 дней для минуток.

С текущими скоростями инета это не суть важно, но например у меня бы стояло 5 дней ( или сколько там можно), чтобы запрос попросту не расходовался, и перезаливалась история за предыдущие дни, таким бы образом ! заметно улучшилось ! общее качество истории в базе IB.

1 день или текущий ( по умолчанию ), например могут использовать те кто, корректирует историю или перезаливает ее например с других источников.

Чек бокс On/Off - First day data download extend.

-----------------

С другой стороны, если не качественный данные уже лежат за текущую сессию, то никаких запросов не будет и они так и останутся в базе, так что у вас все > проблемы с качеством < из-за отсутствия этой самой элементарной перезагрузки истории за период в QM. Делайте ее в 9.1, а то на всякую мелочь внимание обращаете, а на то что фундоментально поменяет общее состояние продукта нет !

Re: Не оптимизирована загрузка истории в IB

Posted: 14 Jul 2015
by Henry MultiСharts
TCust,

Первая проблема у нас не воспроизвелась.
Вторая проблема слишком обширная, чтобы попытаться ее проверить. К тому же не до конца понятно, где именно образуется "дырка".
Для дальнейшего изучения данного поведения, пожалуйста, пришлите запрошенную информацию.