[ТРЕНЕР]

Есть еще простой вариант - сделать пакетное задание, которое будет постоянно искать и удалять дубли. Его разработка займет в десятки раз меньше времени, чем вы УЖЕ ПОТРАТИЛИ на поиск решения.