Более полугода напряженной работы ушло на создание новой версии программы — Datacol 7.50X (перед установкой ОБЯЗАТЕЛЬНО ПРОЧИТАТЬ!!!).
Скачать Демо-версию Datacol 7.50X
Что нового в программе?
- 64-битная архитектура. Новая версия полностью переведена на 64-х битную архитектуру. Программа сможет использовать ресурсы Вашего компьютера на полную мощность и собирать внушительные объемы данных.
- Новый загрузчик Cefsharp!!! В программу интегрирован новый полноценный загрузчик на базе Google Chrome. Теперь 99% сайтов грузятся программой также быстро и стабильно, как в обычном браузере. А еще — вам больше не нужно обновлять ChromeDriver (если знаете что это — помните как это было мучительно)))
- Ротация списков прокси. Теперь список прокси можно загружать по ссылке. Кроме того, если в списке больше нет рабочих проксей — Datacol может переключаться на следующий список прямо в процессе работы кампании. Итого — вы получаете более стабильную загрузку сайтов, которые постоянно блокируют парсинг. Как работает:
- Вы можете задать несколько списков прокси. Каждый список по URL.
- У списков можно задать очередность (случайно или по порядку).
- Если в списке не осталось рабочих прокси, то подгружается следующий список.
- Данный функционал работает при выборе стандартного загрузчика или браузера Cefsharp.
- Новый движок и логика работы. Мы переписали код с использованием новых технологий и он стал более быстр и устойчив. Это как мотор перебрать в автомобиле: вроде ничего кардинально не изменилось, но все стало работать лучше и быстрее.
- Копирование результатов при тесте. При тестировании загрузки данных полученные результаты теперь можно сохранить в буфер обмена. А из буфера скопировать в любой файл — это дело пары секунд. Лайфхак: тестирование загрузки ссылок — это самый простой способ спарсить только ссылки сайта по заданным параметрам.
- Уникализация названия Excel файла с результатами. Добавив текущую дату и время к названию, вы сможете избежать перезаписи файла результата при каждом следующем запуске настройки парсера.
-
- Аварийное сохранение результатов. Если вдруг в процессе сбора или экспорта данных произойдет критическая ошибка (приводящая к аварийному завершению или зависанию парсинга), то теперь собранные данные можно “спасти”. Кликните правой кнопкой по настройке и выберите опцию “Резервное сохранение данных”. Также аварийное сохранение происходит автоматически при ошибках сохранения в Excel.
На одном и том же компьютере вы можете одновременно запускать как старую, так и новую версию Datacol. Их настройки и плагины расположены в разных директориях. Они используют одну и ту же лицензию. Если у вас есть настройки и плагины, которые работали в старой версии, вы сможете их постепенно перевести в новую версию, без простоя бизнес-процессов.
Внимание!!!
- При установке новой 64-х битной версии программы на компьютер с ранее установленной 32-х битной версией история парсинга существующих настроек не переносится.
- Ранее заказанные у нас настройки с плагинами в новой версии работать не будут (нужно перекомпилировать плагины для версии 64х). Но новая версия программы может работать параллельно со старой (как указано выше).
- При установке новой версии убедитесь, что конфигурация вашего компьютера соответствует минимальным системным требованиям:
- ОС Windows 7 и выше 64-х разрядная,
- Оперативная память от 4Гб,
- Свободное дисковое пространство от 2Гб.
