Дополнительно

Вкладка Дополнительно позволяет настроить загрузчик Datacol так, чтобы серфинг по сайту стал как можно более естественным. Благодаря этому можно избежать всевозможные блокировки сайтов, направленные против роботов.

User-Agent. Список юзер агентов (каждый с новой строки). Для загрузки каждой последующей страницы источника парсер выбирает (Случайно или По порядку) один из приведенных в списке юзер агентов.

Referer. Список рефереров для перехода на страницы из списка начальных URL. Для загрузки каждой последующей страницы из списка начальных URL парсер выбирает (Случайно или По порядку) один из приведенных в списке рефереров. В дальнейшем при загрузке страниц сайта, которые найдены уже в процессе парсинга реферером назначается предыдущая страница, на которой найдена ссылка на текущую.

HTTP коды успешной загрузки. HTTP коды статуса загрузки вебстраницы, при получении которых Datacol считает страницу успешно загруженной (по аналогии со стандартным кодом 200). Каждый код указывается в качестве числового значения с новой строки. Данный функционал работает ТОЛЬКО при выборе стандартного загрузчика или браузера Cefsharp.

Created with the Personal Edition of HelpNDoc: Easily create CHM Help documents