Отсеивание дубликатов данных

Плагин D5Plugin_UniquePlugin позволяет отсеивать дубликаты собранных данных. Дубликаты определяются по тому полю данных, к которому подключен плагин. Например, если плагин подключен к полю название, то в результирующей выгрузке не будет двух групп данных с одинаковым значением поля название.

Важно: Требования к настройке поля

Нам требуется сделать так, чтобы группы данных, содержащие уникальное значение поля, отфильтровывались (не сохранялись) в процессе парсинга (если парсер еще раз находит аналогичное значение). Для этого нужно установить следующие опции для поля, к которому подключается плагин: Значение не пустое, Осуществлять проверку после обработки и Поле обязательное.

Проверка работы плагина

Работу плагина можно протестировать не только в полной, но и в демо версии программы. После подключения плагина и соответствующей настройки поля (описанной выше), вы можете запустить тестирование сбора данных:

Если плагин работает, то данные будут возвращены только при первом запуске теста:

При последующих запусках результаты будут пустыми:

Если вы хотите сбросить базу плагина (чтобы можно было заново перепарсить те же записи), вам необходимо удалить файл unifield_НАЗВАНИЕ_ПОЛЯ_НАЗВАНИЕ_НАСТРОЙКИ_.par.db, расположенный в папке Plugins (там же, где и файл D5Plugin_UniquePlugin.dll). Для вышеприведенного примера этот файл называется unifield_nazvanie_demo.par.db.

Стоимость плагина составляет 15$. Вы можете купить плагин прямо сейчас.

Импорт плагина в Datacol

Импорт плагинов в программу подробно описан в справке (доступной из интерфейса программы):

Подключение плагина к настройке

Плагин D5Plugin_UniquePlugin подключается в качестве плагина для обработки значения поля. Плагин может подключаться одновременно к нескольким полям данных.