На ряде сайтов (вроде hh.ru, olx.ua, drom.ru) продолжают ставить палки в колеса парсерам :-). Теперь выдумали лимит на количество данных в сутки (в рамках аккаунта). Ранее мы реализовали обход ограничения через кучу неимоверных костылей.
Сейчас (благодаря крутым возможностям новой 64-битной версии Datacol) мы создали плагин, который умеет парсить сайт сразу через несколько аккаунтов. За каждым аккаунтом закрепляется его “личная” прокся. Для сайта источника все выглядит, как-будто, разные пользователи заходят на сайт с разных компьютеров. И чем больше аккаунтов с прокси — тем больше таких “виртуальных” пользователей и тем больше можно собрать данных!!! (с минимальным риском блокировки). Вам остается только:
- указать в настройке данные авторизации для аккаунтов;
- задать качественные прокси, незабаненные сайтом (количество проксей НЕ МЕНЬШЕ количества аккаунтов)
Мы уже протестировали работу плагина для olx.ua и готовы предоставить его вместе с инструкциями по установке и настройке для владельцев активной лицензии на программу Datacol. Вскоре ожидаются плагины для других аналогичных сайтов. Для запроса плагина и инструкции, пожалуйста, обратитесь к нам по форме обратной связи (или любым другим удобным образом). Туда же шлите свои хотелки, если нужен такой же плагин под ваш конкретный сайт-источник.
