Переменные

Чаще всего блок Переменные используется для задания Списка начальных URL в виде списка запросов.

Допустим, вы хотите парсить выдачу Google по нескольким разным запросам. Например, возьмем следующий список запросов:

строительство

экономика

государство

политика

культура

Адрес выдачи гугла для определенного запроса имеет следующий вид:

https://www.google.com.ua/search?num=100&start=0&q=НАШ_ЗАПРОС

Если у нас имеется около 1000 запросов, то задать нужные URL для них не так уж и просто. Но Datacol позволяет это сделать максимально удобно и быстро. В Базовой строке НАШ_ЗАПРОС заменяется на специальную строку {VAR}. В настройке Список начальных URL задается список значений, подставляемых вместо {VAR}. Собственно это и будут наши запросы. Обратите внимание, что перед подстановкой вместо {VAR} - строка запроса автоматически кодируется (для передачи в URL). Чтобы увидеть результат подстановок (который и будет в конечном итоге набором начальных URL), нажмите кнопку Тест.

Created with the Personal Edition of HelpNDoc: Full-featured Documentation generator