Браузер

Использовать Cefsharp - задействовать в качестве загрузчика браузерный компонент Cefsharp, вместо компонента Gecko (который использовался по умолчанию в предыдущих версиях). Благодаря Cefsharp 99% сайтов грузятся программой также быстро и стабильно, как в обычном браузере.

Для CEFsharp доработана защита от отключения интернета. Если в процессе парсинга пропадает интернет, браузер продолжит попытки повторного подключения к сайту до появления интернета или ручной остановки(паузы) работы настройки. Ранее собранные данные, очередь и история при этом сохраняются.

Отображать окно браузера - позволяет включить/выключить отображение окна браузера при парсинге.

Отключить загрузку изображений - для ускорения работы можно отключить загрузку изображений в браузере.

Отключить Javascript - для ускорения работы можно отключить Javascript.

Не ждать полной загрузки

Не загружать если та же страница - не производить повторную загрузку, если из очереди пришла страница с URL, аналогичным тому, который уже загружен в браузере.

Окно во весь экран - позволяет запускать сайт в полноэкранном режиме браузера. В некоторых случаях от размера браузера зависит версия (мобильная или десктопная) сайта, которую загружает программа. Для разных версий сайта верстка может отличаться, что скажется на работоспособности настройки парсинга.

Запускать плагин до загрузки - вызывать плагин, выбранный на вкладке "Загрузка->Плагин" перед загрузкой страницы. При вызове плагину передается значение поля "Конфигурация плагина" (аналогично как при стандартном запуске плагина загрузки страницы. Настройка актуальна только, когда установлена опция "Использовать Cefsharp".

Информация для разработчиков. При вызове передается тип плагина "before_load_page_plugin". Возвращаемое значение плагина - строка. Если строка непустая - стандартный функционал загрузки страницы - игнорируется, включая запуск плагина после загрузки (следующая опция), а возвращенная строка используется в качестве загруженного кода страницы (из которого впоследствии собираются ссылки и/или данные). Если строка пустая - запускается стандартный функционал загрузки страницы. Исходники заготовки для реализации и тестирования плагина доступны на Github.

Запускать плагин после загрузки - вызывать плагин, выбранный на вкладке "Загрузка->Плагин" после загрузки страницы. При вызове плагину передается значение поля "Конфигурация плагина" (аналогично как при стандартном запуске плагина загрузки страницы. Настройка актуальна только, когда установлена опция "Использовать Cefsharp".

Информация для разработчиков. При вызове передается тип плагина "after_load_page_plugin". Возвращаемое значение плагина - строка. Если строка непустая - она добавляется к исходному коду загруженной страницы (из которого впоследствии собираются ссылки и/или данные). Исходники заготовки для реализации и тестирования плагина доступны на Github.

Выполнять сценарий - опция, позволяющая создать сценарий для имитации действий пользователя.

Ручная очистка кэша браузера Cefsharp удаляет ранее сохраненные данные сессии и куки, которые использовались для сбора данных. Это может потребоваться в ситуации парсинга с использованием прокси и авторизации, когда при смене аккаунта прокси использует данные авторизации из предыдущего сеанса парсинга.

Редактировать сценарий - редактирование сценария с помощью Datacol Picker.

Параметры сценария - в данном поле можно задать параметры сценария (к примеру данные для авторизации).

Created with the Personal Edition of HelpNDoc: Full-featured Documentation generator