Обновление Datacol 7.08 (Easy Action)

Мы рады сообщить о выходе новой версии Datacol 7.08 (Easy Action). Ниже приведен структурированный перечень обновлений/корректировок:

Архитектура процесса парсинга

Доработали возможность парсить данные (товары, объявления) со страниц, у которых нет собственной страницы. Их описание обычно открывается во всплывающем окне. Таким образом, еще больше интернет магазинов, сайтов объявлений и других вебресурсов можно спарсить с помощью Datacol.

кликните на изображении для увеличения

В действиях клика (CLICK) и ввода текста (SET_VALUE) появилась опция Реальное событие. Теперь мы по максимуму исключим случаи, когда с помощью сценария не получается кликнуть по вебэлементу или ввести текст в поле.
Действие SEND_KEY. Теперь можно будет отправлять в браузер нажатия клавиш DELETE, BACKSPACE, CTLR+A и т.п.
Действие GO_BACK — переход на предыдущую загруженную страницу.

Добавили параметр командной строки , который позволяет задать путь к файлу, в котором находится набор стартовых URL. Таким образом мы переопределяем набор стартовых URL. Теперь с помощью Datacol стало проще создавать программные “комбайны”, состоящие из нескольких кампаний, а также интегрировать в качестве модуля в ваш бизнес процесс. Например, параметры командной строки могут выглядеть следующим образом: starting-url-file=»C:\Users\Alex\Documents\source.txt» config=»demo.par» autolaunch. Это значит, что при запуске программы, будет автоматически стартовать кампания demo.par, при этом ее настройки начальных URL будут переопределены данными из файла C:\Users\Alex\Documents\source.txt. Параметр autolaunch указывает на то, что Datacol необходимо автоматически закрыть после завершения кампании.
Добавили опцию обрезания поля данных по количеству символов.

кликните на изображении для увеличения

Доработали загрузку изображений со страницы через ту же прокси, что была загружена сама страница.
В механизм подбора Xpath добавили автоопределение атрибутов микроразметки, в частности itemprop.
По просьбам трудящихся, сделали обновление настроек не автоматическим, а по кнопке.