Видеоурок

Парсинг с прокруткой страницы

Как собрать данные, которые подгружаются на странице при прокрутке вниз - на примере каталога интернет-магазина.

Задача

Чтобы браузер осуществлял прокрутку страницы, создаётся простой сценарий имитации действий пользователя с помощью встроенного браузера Datacol.

Условие остановки

Повтор прокрутки настраивается через условие WEB_ELEMENT_COUNT_DIFFERENCE - оно продолжает прокручивать страницу, пока не перестанут появляться новые товары; для подсчёта элементов используется отдельное XPath-выражение на ссылки товаров.

Сбор данных

После проверки сценария прокрутки настраивается переход по ссылкам товаров и сбор данных, а результат экспортируется в Excel с сохранением изображений.

Ко всем видеоурокам