Стартовые URL

На вкладке Стартовые URL определяется набор ссылок, которые будут поставлены в Очередь в начале процесса парсинга.

Url из списка - набор начальных URL задается настройкой Список начальных URL. Если URL получаются из списка, то при этом может использоваться опция Генерировать начальные URL, которая позволяет генерировать набор начальных URL на базе формул. В блоке URL из списка присутствует следующий набор кнопок:

Тест - протестировать формирование набора начальных URL. Это стоит делать, когда включена опция.

Кодировать - закодировать для передачи в URL выбранную в поле Список начальных URL строку.

Декодировать - декодировать выбранную в поле Список начальных URL строку.

Очистить - очистить Список начальных URL.

Формулы - задать формулы для генерации начальных URL.

Переменные (кнопка) - открыть блок генерации URL с помощью переменных.

Блок Переменные позволяет задавать набор начальных URL с помощью базовой строки и переменных, которые задаются в настройке Список начальных URL. Более подробно использование данного блока описано здесь. Сейчас только отметим, что благодаря использованию данного блока можно например задавать Список начальных URL в виде перечня ключевых запросов.

Url из файла - набор начальных URL получается из файла (путь к файлу указывается соответствующей настройкой).

Плагин для обработки начальных URL - плагин, который используется для обработки начальных URL (полученных из списка или из файла) перед передачей их в очередь.

Подробнее о механизме работы плагинов можно почитать в данном разделе.

Created with the Personal Edition of HelpNDoc: Generate EPub eBooks with ease