Урок №18. Сценарий с выбором параметров
В этом видео я покажу как получать выдачу сайта по параметрам с помощью сценария. Для лучшего понимания вопроса, рекомендую предварительно посмотреть видео о работе с альтернативными входными данными.
Посмотрев эту видеоинструкцию вы научитесь создавать сценарий с выбором параметров. Особенно это видео актуально для тех, у кого возникают сложности при выборе параметров поиска при стандартном парсинге сайтов объявлений.
Для демонстрации создадим кампанию парсинга сайта объявлений о продаже автомобилей.
Напомним, что в Datacol Вы так-же найдете уже готовые парсера:
Для сбора контента: |
Для работы с соц. сетями: |
Для SEO: |
Текст видео (если Вам проще воспринимать информацию после прочтения) »
На вход подается список интересующих марок. На выходе нужно получить отчет с важными для нас параметрами существующих на рынке предложений. Выбираем Браузер в качестве загрузчика. Создадим сценарий, который будет задавать нужные параметры поиска в результате чего получим страницу с выдачей актуальных объявлений. Добавим действие для загрузки вебстраницы, на которой необходимо ввести параметры поиска. Протестируем действие и одновременно загрузим страницу.
Далее создадим действие для выбора нужной марки в выпадающем списке. Напомним, что марка задается в качестве входного значения. Однако есть важный момент. Включим режим браузера и посмотрим на значения в выпадающем списке. Они содержат не только названия марки, но и количество предложений в скобках. Это значит, что при поиске значения для выбора нельзя использовать метод точного совпадения. Чтобы искать значени по шаблону (другими словами по маске) включим опцию Сравнивать по регулярному выражению. Тестируем. Все хорошо!
Аналогично создадим действие для выбора интересующего нас региона. В режиме браузера изучаем значения выпадающего списка. Здесь нет изменяющихся составляющих, поэтому при выборе значения можно производить поиск четкого совпадения, соответственно нет необходимости использовать сравнение по регулярному выражению. Выключим режим браузера, чтобы создать действией.
Теперь выбираем, чтобы отображались объявления только с фото. Это можно сделать с помощью действия SELECT.
Однако при тестировании мы видим, что опция не выбирается. Причиной тому верстка данного сайта. Тогда пойдем другим путем — для выбора опции просто эмулируем клик на вебэлементе. Теперь все нормально. Осталось реализовать клик на кнопке Поиск. Готово! Тестируем.
Выдача успешно загрузилась. Заметим, что для загрузки потербовалось какое то время, поэтому после клика по кнопке стоит добавить еще событие ожидания. Чтобы выдача наверняка прогрузилась, желательно, чтобы ожидание длилось около трех секунд. Протестируем весь сценарий. Все отлично отработало!
Поскольку мы используем альтернативные входные данные, добавляем условие повторения INPUT_IS_NOT_URL. Сценарий готов.
Настроим сбор ссылок на объявления и проход по пагинации. Осталось настроить сбор интересующих нас данных. Закрываем мастер. Для ускорения работы отключаем загрузку изображений в браузере. Переходим к тестированию.
Видим, что сценарий успешно выполняется. Заметим, что цена, содержит пробелы. Для корректировки настройки остановим парсинг. Удалим пробелы с помощью замен. Запустим парсинг повторно. Как видим, пробелы исчезли.
После завершении работы кампании все выгруженные данные будут сохранены в Excel файл. По умолчанию он генерируется в папке Мои документы.
