Если настроенная кампания собирает меньше данных, чем ожидалось, или не собирает ничего вообще, две основные причины - это блокировка со стороны сайта или неверные настройки сбора ссылок.
Шаги диагностики и решения
1. Проверьте логи кампании на предмет ошибок загрузки, особенно таймауты или ошибки 403, которые указывают на блокировку по IP.
2. Настройте прокси в формате IP:port или IP:port:логин:пароль, чтобы обойти блокировку.
3. Включите кеширование страниц - это поможет увидеть именно то, что реально загрузил Datacol, при диагностике проблемы.
4. Задайте регулярное выражение для валидных страниц, которое соответствует содержимому, появляющемуся только на корректно загруженных страницах - это позволяет заново ставить в очередь заблокированные страницы.
5. Настройте максимальное число повторов (например 20) и максимальное число ошибок до остановки - равным количеству используемых прокси, чтобы корректно обрабатывать заблокированные прокси.
6. При необходимости попробуйте переключиться со стандартного загрузчика на браузерный.
Важно
Правила валидации особенно важны при работе с прокси, так как часть из них может быть в чёрном списке целевого сайта.