Обход блокировки сайта: можно ли без прокси?

Стандартный вариант обхода блокировок сайтов при парсинге — использование прокси. Однако у этого варианта есть два здоровенных минуса:

  • качественные прокси найти очень сложно;
  • качественные прокси кусаются по цене (обычно от 100 рублей в месяц за одну хорошую проксю);

Справедливый вопрос — есть ли способ обхода блокировки сайта БЕЗ прокси? (далее…)

В нашу службу поддержки часто поступают просьбы о разработке новых парсеров. Ряд из них мы реализуем и переносим в базовые настройки программы, что-то откладываем на будущее.

Добавляя новый парсер, мы хотим быть уверены в том, что он будет полезен для наших пользователей. Именно поэтому на сайте появились новые страницы — парсера в разработке. Теперь вы можете заранее узнать о новых парсерах, которые в скором времени появятся в базовых кампаниях и даже — ускорить их выпуск!

Вот список новых парсеров, которые находятся в разработке:

Для ускорения разработки отправьте нам запрос по форме обратной связи. В запросе напишите какой именно парсер вас заинтересовал. В течение нескольких часов мы свяжемся с вами и уточним, когда сможем реализовать интересующую вас кампанию.

Также напомним, что о новых парсерах и других важных новостях всегда можно узнать в наших официальных группах ВКонтакте, Facebook, Google+, Twitter.

Минус 25% на первый месяц использования

Если Вы читаете эту новость, то наверняка знакомы с программой Datacol Easy Action. Возможно, уже посмотрели видеоинструкции, почитали справку и размышляете подойдет ли она для ваших задач. Мы предлагаем Вам просто попробовать!

Для всех новых клиентов мы снижаем стоимость первого месяца лицензии на 25%! Всего 900 рублей и у вас будет целый месяц для изучения всех возможностей платной версии парсера Datacol Easy Action.

Пожалуйста, перейдите на страницу с акцией по данной ссылке.

Минус 25% на первый месяц использования

Пакетная продажа Datacol!

Здравствуйте! По многочисленным просьбам мы изменили ценообразование Datacol. Теперь программа продается временными пакетами сроком от 1 месяца до года. С подробной информацией о доступных тарифных планах можно ознакомиться здесь. Выгоды для:

НОВЫХ покупателей:

1. Для новых покупателей тест полной версии программы стал в 3 раза дешевле, чем ранее стоила лицензия!
2. Если вы временно не пользуетесь программой, то вы можете не оплачивать очередной месяц, а оплатить тогда, когда она станет для вас актуальной.
3. Оптовым покупателям — как всегда скидки:
а. Скидка до 60% в годовом пакете — месяц лицензии всего 459 руб/мес.;
б. Для пакетов от полугода действуют промокода.

СУЩЕСТВУЮЩИХ покупателей (вечных лицензий):

1. Ваши вечные лицензии навсегда останутся вечными!
2. Если вам понадобится временно использовать Datacol еще на нескольких компьютерах, вы сможете купить лицензии в 3 раза дешевле!

Обновление Datacol 7.07 (Easy Action): Динамические плагины!

Мы рады сообщить о выходе новой версии Datacol 7.07 (Easy Action). В данной версии мы наконец внедрили долгожданную (вами и нами) технологию динамических плагинов!!!

(Если лень читать, можно посмотреть более подробное видео о динамических плагинах)))

Напомним что такое плагины и зачем они нужны. Зачастую нашим покупателям не хватает базового функционала программы Datacol. В таких случаях для расширения возможностей программы на разных этапах работы можно прибегать к использованию плагинов. Обычный плагин – это DLL файл, переопределяющий (или дополняющий) ту или иную функцию программы.

Стандартный механизм плагинов с одной стороны очень удобен, с другой стороны не лишен недостатков. Во-первых, для создания плагинов нужно не только владеть языком программирования, но и иметь у себя на компьютере среду для их написания и компиляции. Во-вторых, при переносе кампаний с одного компьютера на другой, нужно учитывать, что кампании могут использовать плагины, которые придется переносить отдельно с помощью механизма экспорта/импорта плагинов.

Чтобы исключить вышеописанные минусы — мы ввели технологию динамических плагинов. Ее суть в том, что плагин компилируется прямо во время запуска кампании. Технология динамических плагинов также позволяет расширять базовый функционал программы, при этом есть два основных преимущества по сравнению со стандартными плагинами Datacol:

  • Во-первых, теперь плагин можно писать прямо в интерфейсе Datacol. Это исключает необходимость устанавливать у себя на компьютере отдельную среду программирования, создавать и настраивать проект для компиляции, осуществлять телодвижения с созданными DLL файлами плагинов. Таким образом, простой динамический плагин сможет создать даже человек с начальными знаниями языка программирования C#.
  • Во-вторых, если настройка содержит плагины, к которым подключены дополнительные DLL библиотеки, то они автоматически выгружаются при экспорте и загружаются при импорте кампании. Соответственно мы исключаем необходимость отдельно экспортировать и импортировать сами плагины.

Как обновиться

Если у вас отключено автоматическое обновление, то для установки последней версии:
1. Скачайте инсталляционный пакет
2. Запустите программу установки. Если Datacol был активирован ранее на вашем компьютере, активация будет произведена автоматически.

Пример автоматизации бизнес процессов c Bitrix24

Здравствуйте, коллеги! Меня зовут Александр Присмотров. Я главный разработчик и руководитель команды Datacol. Вы не ослышались, я сказал именно “коллеги”, поскольку нас всех объединяет общее желание вывести свой бизнес на новый уровень (некоторые только создают свой бизнес или планируют это сделать, поэтому данное обращение в любом случае актуально).

Данный пост начинает новый раздел нашего блога, который не связан напрямую с универсальным парсером Datacol. Однако он может быть очень интересен и полезен нашим покупателям, ведь мы будем говорить об оптимизации бизнеса.

В свое время мы задались вопросом — как сделать так, чтобы:

  • Управление рабочим процессом нашей команды было автоматизированным.
  • Исключить ошибки управляющих наших отделов, связанные с человеческим фактором.
  • Максимально полезно использовать время наших управляющих.

Простое и бесплатное решение продемонстрировано на видео ниже. Будем благодарны за ваши пожелания, советы и объективную критику, которые можно написать в комментариях под данным постом.

Мы рады представить новые решения для парсинга на базе Datacol:

  • Парсер Купинатао (кампания shop-parsers/kupinatao.com.par). Парсер Купинатао автоматически получает информацию о товарах интернет магазина kupinatao.com из заданных категорий.
  • Парсер акций (кампания shop-parsers/blizko.ru-discounts.par). Парсер акций автоматически получает информацию об акциях с сайта blizko.ru из заданных категорий.
  • Парсер продавцов Яндекс Маркета (кампания shop-parsers/yandex-market-sellers-by-pricelist.par). Парсер продавцов Яндекс Маркета автоматически получает информацию о продавцах с площадки market.yandex.ru по заданному списку товаров.
  • Парсер Ulmart (настройка shop-parsers/ulmart.par). Парсер Ulmart автоматически получает информацию о товарах интернет магазина ulmart.ru из заданных категорий.

Обновление Datacol 7.06 (Easy Action)

Мы рады сообщить о выходе новой версии Datacol 7.06 (Easy Action). Ниже приведен структурированный перечень обновлений/корректировок:

Архитектура процесса парсинга

  • парсинг сайтов с пагинацией, реализованной посредством Javascript!!!
  • выполнение блока сценария ПОСЛЕ обработки данных и ссылок;
  • зацикливание обработки определенного элемента очереди посредством использования в сценарии действия REPEAT_ITEM_PROCESSING;

Сценарии

  • ожидание статуса загрузки документа INTERACTIVE или COMPLETE с помощью действия WAIT_DOCUMENT_STATE;
  • задание условия REGEX_MATCHING_WEB_ELEMENT (наличие на странице вебэлемента, исходный код которого соответствует регулярному выражению);

Selector

  • в контекстном меню области отображения исходного кода: выделение окружающего курсор блока (div,p), а также перенос выделенного исходного кода в браузер.

Исправлены баги

  • отсутствие лог сообщения про экспорт в Excel.

Правки/доработки базовых кампаний

  • Avito: обеспечена гибкость парсинга — возможность начинать парсинг на разных уровнях мобильной версии;
  • Taobao: добавлен проход по Javascript пагинации, чтобы собрать всю выдачу каталога;
  • Wordstat: добавлен проход по пагинации, чтобы собрать ВСЕ производные ключевики;
  • Яндекс Маркет: произведена корректировка полей данных.

По наиболее важным нововведениям в ближайшее время будут записаны видеоинструкции.

Как обновиться

Если у вас отключено автоматическое обновление, то для установки последней версии:
1. Скачайте инсталляционный пакет
2. Запустите программу установки. Если Datacol был активирован ранее на вашем компьютере, активация будет произведена автоматически.

Новая версия Datacol 7 (Easy Action)

Мы рады сообщить о выходе новой версии Datacol 7 (Easy Action). Пожалуйста, ознакомьтесь с ее видеоанонсом! Подробная инструкция по обновлению до новой версии приведена ЗДЕСЬ!

Список нововведений

Интерфейс главного окна

  • панель FAQ;
  • дерево быстрой настройки;
  • параметры сценария.

Мастера добавления кампании

  • Простой;
  • Продвинутый.

Новый помощник Datacol Picker

Datacol Picker предназначен для ускорения процесса подбора Xpath выражений на разных стадиях работы Datacol.

Видеоинструкции

К новой версии прилагается пачка видеоинструкций. Многие из них описывают пошаговую настройку программы для парсинга реальных сайтов.

Новый вид загрузчика — браузер

  • возможность загрузки вебстраниц с обработкой Javascript;
  • каждый экземпляр загрузчика может иметь собственные прокси, useragent, кэш и куки;
  • новый загрузчик поддерживает обработку сценариев имитации действий пользователя.

Другие усовершенствования

  • упрощенный интерфейс настройки/тестирования замен;
  • новый механизм кэширования вебстраниц;
  • возможность запуска программы из командной строки (в том числе с помощью планировщика Windows);
  • новый логгер;
  • удобный механизм диагностики ошибок процесса парсинга (в частности, взаимодействие логгера и механизма кэширования);
  • автоматическая генерация произвольного формата экспорта (опция Из CSV в мастере настройки);
  • новый более мощный функционал экспорта в Excel;
  • возможность изменения настроенных полей данных;
  • усовершенствованное окно настройки кампании;
  • исправлено множество багов предыдущей версии.

Новая концепция демо версии

Теперь демо версия позволяет выгружать результаты сбора данных в файл, CMS либо базу данных. Ограничение состоит только в количестве — до 25 результатов.

Мы рады сообщить о выходе новой версии Datacol 5.57

Datacol 5.57 включает следующие новые возможности:

  • автоматическое обновление программы: теперь Datacol будет обновляться самостоятельно!!!
  • оптимизация экспорта в Excel;
  • исправление мелких багов;
  • корректировка работы базовых настроек Datacol.

Чтобы установить последнюю версию, скачайте ДЕМО и запустите программу установки. Если Datacol был активирован ранее на вашем компьютере, активация будет произведена автоматически.

Рубрики