Как можно исключить сохранение повторяющихся данных (дубликатов) при парсинге

Для этого есть специальный плагин. Более подробную информацию по техническим вопросам можно запросить у специалистов техподдержки на нашем форуме.