Парсинг с использованием нескольких аккаунтов

На ряде сайтов (вроде hh.ru, olx.ua, drom.ru) продолжают ставить палки в колеса парсерам :-). Теперь выдумали лимит на количество данных в сутки (в рамках аккаунта). Ранее мы реализовали обход ограничения через кучу неимоверных костылей.

Сейчас (благодаря крутым возможностям новой 64-битной версии Datacol) мы создали плагин, который умеет парсить сайт сразу через несколько аккаунтов. За каждым аккаунтом закрепляется его “личная” прокся. Для сайта источника все выглядит, как-будто, разные пользователи заходят на сайт с разных компьютеров. И чем больше аккаунтов с прокси — тем больше таких  “виртуальных” пользователей и тем больше можно собрать данных!!! (с минимальным риском блокировки). Вам остается только:

  • указать в настройке данные авторизации для аккаунтов;
  • задать качественные прокси, незабаненные сайтом (количество проксей НЕ МЕНЬШЕ количества аккаунтов)

Мы уже протестировали работу плагина для olx.ua и готовы предоставить его вместе с инструкциями по установке и настройке для владельцев активной лицензии на программу Datacol. Вскоре ожидаются плагины для других аналогичных сайтов. Для запроса плагина и инструкции, пожалуйста, обратитесь к нам по форме обратной связи (или любым другим удобным образом). Туда же шлите свои хотелки, если нужен такой же плагин под ваш конкретный сайт-источник.