Отсеивание дубликатов данных

Плагин D5Plugin_UniquePlugin позволяет отсеивать дубликаты собранных данных. Дубликаты определяются по тому полю данных, к которому подключен плагин. Например, если плагин подключен к полю название, то в результирующей выгрузке не будет двух групп данных с одинаковым значением поля название.

Важно: Требования к настройке поля

Нам требуется сделать так, чтобы группы данных, содержащие уникальное значение поля, отфильтровывались (не сохранялись) в процессе парсинга (если парсер еще раз находит аналогичное значение). Для этого нужно установить следующие опции для поля, к которому подключается плагин: Значение не пустое, Осуществлять проверку после обработки и Поле обязательное.

кликните на изображении для увеличения

кликните на изображении для увеличения

Проверка работы плагина

Работу плагина можно протестировать не только в полной, но и в демо версии программы. После подключения плагина и соответствующей настройки поля (описанной выше), вы можете запустить тестирование сбора данных:

кликните на изображении для увеличения

Если плагин работает, то данные будут возвращены только при первом запуске теста:

кликните на изображении для увеличения

При последующих запусках результаты будут пустыми:

кликните на изображении для увеличения

Если вы хотите сбросить базу плагина (чтобы можно было заново перепарсить те же записи), вам необходимо удалить файл unifield_НАЗВАНИЕ_ПОЛЯ_НАЗВАНИЕ_НАСТРОЙКИ_.par.db, расположенный в папке Plugins (там же, где и файл D5Plugin_UniquePlugin.dll). Для вышеприведенного примера этот файл называется unifield_nazvanie_demo.par.db.

Стоимость плагина составляет 15$. Вы можете купить плагин прямо сейчас.

Импорт плагина в Datacol

Импорт плагинов в программу подробно описан в справке (доступной из интерфейса программы):

кликните на изображении для увеличения

Подключение плагина к настройке

Плагин D5Plugin_UniquePlugin подключается в качестве плагина для обработки значения поля. Плагин может подключаться одновременно к нескольким полям данных.

кликните на изображении для увеличения

ООО "Интернет-Автоматизация"

71700, Украина, Запорожская область,
г.Токмак, ул.Гоголя, 103/2

Datacol VKontakte Datacol Twitter Datacol Google Plus Datacol Facebook Datacol Telegram
карта сайта
X
У вас есть вопрос?
Менеджер проектов свяжется с вами в течении 1 рабочего дня.