Можно ли парсить более 500 резюме с hh.ru в день?

Типичный вопрос пользователей парсера

Возможно ли с помощью Datacol спарсить базу более 500 резюме с hh в день?

Ответ

На сайте hh.ru существует ограничение на просмотр объявлений — не более 500 в день. Вы можете настроить очередь и историю, чтобы продолжить сбор резюме на следующий день, либо использовать несколько аккаунтов для сбора резюме.

Скорость сбора данных с помощью Datacol зависит в первую очередь от ресурсов, доступных пользователю, а также от интенсивности блокировок сайта, данные которого собираются.

Что влияет на скорость сбора данных?

Скорость интернета, который использует пользователь;
Ресурсы компьютера, который использует пользователь: оперативная память и мощность процессора;
Количество потоков, которые указаны в настройках программы;
Задержка между загрузками 2-х страниц в одном потоке;
Блокировка пользователя со стороны сайта, при интенсивном парсинге.

Перед парсингом рекомендуем изучить условия использования ресурса, во избежание санкций со стороны администрации.