Дополнительно

Вкладка Дополнительно позволяет настроить загрузчик Datacol так, чтобы серфинг по сайту стал как можно более естественным. Благодаря этому можно избежать всевозможные блокировки сайтов, направленные против роботов.

User-Agent. Список юзер агентов (каждый с новой строки). Для загрузки каждой последующей страницы источника парсер выбирает (Случайно или По порядку) один из приведенных в списке юзер агентов.

Referer. Список рефереров для перехода на страницы из списка начальных URL. Для загрузки каждой последующей страницы из списка начальных URL парсер выбирает (Случайно или По порядку) один из приведенных в списке рефереров. В дальнейшем при загрузке страниц сайта, которые найдены уже в процессе парсинга реферером назначается предыдущая страница, на которой найдена ссылка на текущую.

Created with the Personal Edition of HelpNDoc: Easily create CHM Help documents