Обработка ошибок и логи

Parent Previous Next


Regex валидных. Список регулярных выражений, которым должен соответствовать код загруженной страницы. Если он не соответствует хотя бы одному из этих выражений, то считается, что страница загружена с ошибкой. Данную настройку удобно использовать, когда сайт может блокировать парсер либо когда вы используете непроверенные прокси.


Regex невалидных.  Список регулярных выражений, которым должен НЕ соответствовать код загруженной страницы. Если он соответствует хотя бы одному из этих выражений, то считается, что страница загружена с ошибкой. Данную настройку удобно использовать, когда сайт может блокировать парсер либо когда вы используете непроверенные прокси.


Максимум ошибок до остановки. При достижении заданного этой настройкой количества последовательных ошибок (то есть ошибок загрузки, между которыми не было URL, загруженных успешно), процесс парсинга завершается.


Возвращать ошибки в очередь. Если эта опция включена, то при неудачной загрузке URL возвращается в Очередь. Опция Максимум возвратов в очередь задает максимально допустимое количество раз, которое определенная страница может возвращаться в Очередь. Если она равна нулю, то данное ограничение не действует (любая страница может быть возвращена в очередь любое количество раз).


Сохранять лог в файл. Данная опция включает сохранение лога в файл, расположенный в папке Мои документы. Имя файла формируется следующим образом: Logs_Dataco5_ОТНОСИТЕЛЬНЫЙ_ПУТЬ_К_КАМПАНИИ_В_ДЕРЕВЕ_КАМПАНИЙ.csv.


Максимум записей в логе. Данная опция ограничивает максимально допустимое количество записей в логе. Если она равна нулю, то ограничение не действует.

Created with the Personal Edition of HelpNDoc: Free CHM Help documentation generator